https://towardsdatascience.com/illustrated-guide-to-recurrent-neural-networks-79e5eb8049c9 Illustrated Guide to Recurrent Neural Networks Understanding the Intuition towardsdatascience.com RNN과 은닉상태 초기화 → input 단어와 은닉상태를 RNN에 집어 넣기 → 그 단어의 output과 새로운 은닉상태가 출력됨 → 이 출력을 다시 RNN에 집어넣기 → 단어 없을 때까지 반복 → 출력을 FeedForward 레이어에 넣기 → 최종결과(prediction) 출력 은닉상태가 RNN의 기억장치 (저번 출력을 다음 입력으로 넘겨줌) tanh 함수는 출력을 [-..

https://www.deeplearningwizard.com/deep_learning/boosting_models_pytorch/weight_initialization_activation_functions/ Weight Initialization and Activation Functions - Deep Learning Wizard Weight Initializations & Activation Functions Recap of Logistic Regression Recap of Feedforward Neural Network Activation Function Sigmoid (Logistic) \sigma(x) = \frac{1}{1 + e^{-x}} Input number \rightarrow [0,..