Attention Is All You Need (1) 썸네일형 리스트형 Attention Is All You Need 참조:https://arxiv.org/pdf/1706.03762.pdf HISTORY 1. RNN (Recurrent Neural Networks, 1986): 시퀀스 모델링의 초기 형태로 순환 신경망(RNN)이 등장했습니다. 시간적 의존성을 모델링할 수 있어 다양한 응용 분야에서 활용되었으나, 긴 시퀀스를 다루거나 장기 의존성(Long-Term Dependencies)을 처리하는 데 어려움이 있었습니다. 2. LSTM (Long Short-Term Memory, 1997): LSTM은 RNN의 한계를 극복하기 위해 제안된 모델로, 장기 의존성 모델링이 가능합니다. 주가 예측 및 주기 함수 예측과 같은 시계열 데이터 예측 문제에 적용되며 많은 응용 분야에서 좋은 성과를 얻었습니다. 3. Seq2Seq (.. 이전 1 다음
