https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html NLP From Scratch: Translation with a Sequence to Sequence Network and Attention — PyTorch Tutorials 1.4.0 documentation Note Click here to download the full example code NLP From Scratch: Translation with a Sequence to Sequence Network and Attention Author: Sean Robertson This is the third and final tutorial on doing “N..

출처 1) Neural Machine Translation By Jointly Learning to Align and Translate 2) Attention: Illustrated Attention 3) Attention and Memory in Deep Learning and NLP 기존 Encoder-Decoder RNN/LSTM 모델의 문제점 - 아무리 긴 input sentence가 주어져도 고정 길이 벡터fixed-length vector로 압축해서 표현해야 함 - Decoder는 Encoder의 마지막 은닉상태만 전달받음 → 엄청 긴 문장이라면 엄청 많이 까먹음 기존 Encoder-Decoder RNN/LSTM 모델의 문제점 해결 - 고정길이벡터 X - input sentence는 여러 벡터..

출처 1) Encoder-Decoder Long Short-Term Memory Networks 2) A Gentle Introduction to LSTM Autoencoders 3) Step-by-step Understanding LSTM Autoencoder layers Encoder-Decoder LSTM (=seq2seq) - input도 sequencial 데이터, output도 sequencial 데이터 - (문제) input과 output의 sequence 길이가 다를 수 있음 - (해결) Encoding : 여러 길이의 input을 고정 길이 벡터로 변환 → Decoding : 이 고정 길이 벡터를 해독하여 출력 프린트 - 특히 input sequence가 반전되었을 때 성능 좋았음 LST..

https://www.deeplearningwizard.com/deep_learning/practical_pytorch/pytorch_lstm_neuralnetwork/ Long Short Term Memory Neural Networks (LSTM) - Deep Learning Wizard Long Short-Term Memory (LSTM) network with PyTorch About LSTMs: Special RNN Capable of learning long-term dependencies LSTM = RNN on super juice RNN Transition to LSTM Building an LSTM with PyTorch Model A: 1 Hidden Layer Unroll 28 ti..

https://towardsdatascience.com/illustrated-guide-to-recurrent-neural-networks-79e5eb8049c9 Illustrated Guide to Recurrent Neural Networks Understanding the Intuition towardsdatascience.com RNN과 은닉상태 초기화 → input 단어와 은닉상태를 RNN에 집어 넣기 → 그 단어의 output과 새로운 은닉상태가 출력됨 → 이 출력을 다시 RNN에 집어넣기 → 단어 없을 때까지 반복 → 출력을 FeedForward 레이어에 넣기 → 최종결과(prediction) 출력 은닉상태가 RNN의 기억장치 (저번 출력을 다음 입력으로 넘겨줌) tanh 함수는 출력을 [-..