논문 출처: Attention Is All You Need 1. RNN 기반 모델의 한계점 이전까지는 Encoder 와 Decorder 를 포함하여 Sequence 를 변형시키는 RNN/CNN 기반의 모델을 전적으로 사용하였다. 하지만 RNN 기반 모델의 한계점은 분명히 존재하였다. RNN 기반 모델중 2개의 RNN을 연결한 seq2seq 모델을 기반으로 한계점을 설명해보면 seq2seq ! 문장이 길어질수록 성능이 저하된다. : seq2seq 에서 Encoder(RNN)의 출력은 고정 크기의 벡터이다. 위 단계에서는 모든 데이터를 한번에 처리하는것이 아니라 h1,h2,..h4 로 순차적으로 입력에 넣어 마지막에 나온 h4를 똑같은 길이의 벡터로 밀어넣어야 하기 때문에 정보의 손실이 커지고 병목현상으로 ..