Attention is all you need로 발표된 논문 기존의 자연어 처리에서 RNN, LSTM, GRU 방식등을 사용하지 않고 Attention이란 개념만을 사용한 것이다 Translation을 예시로 들면 How was your day -> Comment se passe ta journee 로 번역을 시도할때 기존의 문제점 -> Encoder-Decoder 아키텍쳐의 경우에 Decoder에 들어가는 input이 번역하기전 단어들 ,즉 How was your day의 Encoding을 거친 Context vector를 모두 거쳐 "마지막" hidden state만 Decoder의 input으로 들어가는 문제점이 있다. 이게 왜 문제점이냐 하면은 순서대로 가정했을때 How-> comment , Ho..