어텐션 메커니즘만으로 충분하다

기존의 지배적인 시퀀스 변환 모델들은 인코더-디코더 구조의 복잡한 순환 또는 컨볼루션 신경망을 기반으로 하며, 최신 모델들은 어텐션 메커니즘을 통해 인코더와 디코더를 연결했습니다. 본 연구는 순환 및 컨볼루션을 완전히 배제하고 오직 어텐션 메커니즘에만 기반한 새로운 신경망 아키텍처인 트랜스포머(Transformer)를 제안합니다. 두 가지 기계 번역 태스크에 대한 실험 결과, 트랜스포머 모델은 기존 모델들보다 우수한 번역 품질을 보였으며, 병렬화가 용이하여 훈련 시간이 현저히 단축되었습니다. 특히 WMT 2014 영어-독일어 번역 태스크에서 28.4 BLEU를 달성하여 기존 최고 앙상블 모델보다 2 BLEU 이상 향상된 성능을 기록했습니다. 또한, WMT 2014 영어-프랑스어 번역 태스크에서는 8개의 GPU로 3.5일 훈련 후 41.8 BLEU라는 새로운 단일 모델 최고 기록을 수립했습니다. 이는 기존 최고 모델들의 훈련 비용에 비해 극히 일부에 불과합니다. 트랜스포머는 대규모 및 제한된 훈련 데이터 모두에서 영어 구성요소 파싱(constituency parsing)에 성공적으로 적용되어 다른 태스크에도 잘 일반화됨을 입증했습니다. 이 연구는 어텐션 메커니즘만으로도 시퀀스 변환 태스크에서 최첨단 성능을 달성할 수 있음을 보여주며, 향후 자연어 처리 모델 설계에 새로운 방향을 제시합니다.