데이터사이언스/ML & DL (3) 썸네일형 리스트형 [딥러닝] LSTM의 4가지 Gate LSTM의 복습 : 여러 노드를 가진 LSTM 실제 LSTM 모델은 이러한 과정을 거치는 노드가 여러 개 연결 되어 있는 형태를 가진다. 참고 : LTM = Long Term Memory , STM = Short Term Memory LSTM Architechure RNN의 수식적 표현과 tanh 함수를 지나 새로운 Memory를 형성하고 있다. 수식설명 STM_t-1 = Mt-1을 의미 Mt-1과 Et 벡터를 조인 후에, W(가중치) 매트릭스와 곱 + bias b 이 값을 하이퍼볼릭 탄젠트 (tanh) 에 넣으면 새로운 Mt 도출한다. 이 개념을 이용해 LSTM 내에 어떤 게이트에 어떤 연산과정을 거쳐 학습하는 지 이 포스트에서 소개할 예정이다. LSTM Gates LSTM 모델 내에는 4가지 게이트가.. [딥러닝] RNN 순환신경망과 LSTM 출처 : AIT-2 시작에 앞서.. PyTorch로 시작하는 딥러닝 입문 이 책에서도 RNN, LSTM, GRU 등의 순환신경망에 대해 설명을 아주 자새히.. 그리고 굉장히 공학적으로(?) 설명하고 있다. 심화학습을 원한다면 아래의 책 정독 필쑤🙌🏻 https://wikidocs.net/60762 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 또는 이 블로그 글에서도 RNN, LSTM, GRU에 대해 도식과 함께 잘 설명하고 있으니 참고. http://colah.github.io/posts/2015-08-Understanding-LSTMs/ [Deep Learning ] About Neural Networks, 딥러닝 기초개념 출처 : AIT2 (8단원 내용 정리) 신경망 (Neural Networks)를 학습시키는 방법 사실상 비선형모델이 학습데이터에 있어서는 지금 오답없이 정확히 두 그룹을 분류하고 있다. 내부가 하얀 색인 점들은 실전 테스트를 위한 데이터고, 우리는 실전테스트 데이터를 맞추기 위해서 train 데이터를 바탕으로 모델을 학습시킨다. 그러나 가끔은 비선형모델 (주로 신경망학습과 같이 복잡한 연산을 바탕으로 정답을 도출하는 모델)이 결코 정답을 잘 맞추리라는 보장은 없는데, 이를 " 과적합 현상"에서 찾을 수 있다. 위 사진에서 보았을 때, 선형모델은 오답이 하나의 점에 불과한 반면, 비선형 모델은 오답인 점이 2개나 발생했다. 이러한 현상은 train 데이터에 너무 과적합된 나머지, 새로운 데이터가 왔을 때 .. 이전 1 다음
