컴퓨터 과학발표 2026.03· 327최근 1년 38회

임베딩 가설: 푸리에 회로에서 No-Q 어텐션까지

토큰 임베딩 레이어는 트랜스포머 어텐션의 기하학적 기반을 형성한다. 본 연구는 이 주장을 네 단계에 걸쳐 발전시킨다. 첫째, 임베딩 기울기에 나이퀴스트 주파수 모드를 부여하는 PFFT(Prescribed Fourier Frequency Training)가 모듈러 산술에서 그로킹(grokking) 도달 에포크를 92.7% 단축하고(782회→57회), 암기 단계를 97.9% 감소시킴을 보인다. 이는 임베딩의 기하학적 권위를 유지하고 기울기 노이즈를 줄여 달성된다. 둘째, Sounding Hammer 진단 결과, 기울기 영역 푸리에 조향(steering)은 BPE 어휘 기울기가 스펙트럼적으로 평탄하여(ρ=0.42) 언어 모델 임베딩에 안전하게 전이될 수 없음을 확인했다. 적용 시 BPC가 치명적으로 회귀(2.90→9.47)한다. 이에 푸리에 조향의 안전성을 특성화하는 NOC(Natural Ordering Conditions)를 도입한다. 셋째, 훈련 중 중요해지는 주파수 모드를 동적으로 추적하는 PFFT의 동적 변형인 FGP(Fourier Gradient Projection)를 일반적인 기울기 영역 도구로 제시한다. 이는 NOC의 제약을 공유한다. 넷째, TinyStories 및 FineWeb으로 훈련된 언어 모델의 가중치 궤적 분석을 통해 Q, K, V, MLP 등 모든 가중치 행렬이 잔여 연결을 통해 토큰 임베딩과 동일한 두 팔 형태의 궤적을 상속함을 발견했다. 이러한 보편적 상속성은 No-Q 어텐션을 제안하는 동기가 된다. 이는 모든 레이어에서 Q=x(투영 없음)로 설정하는 방식이다. W_Q가 없을 경우, 임베딩의 기하학적 구조가 어텐션 메커니즘에 직접 도달하며, W_Q와 임베딩 간의 경쟁적 기울기 간섭이 제거된다. No-Q 어텐션은 TinyStories에서 검증 BPC를 3.18%, FineWeb에서 2.24% 개선하며, 매개변수는 8% 적게 사용하고 모듈러 산술에서 그로킹을 51.0% 가속한다. 토큰 임베딩은 어텐션에 공급되는 조회 테이블이 아니라, 그 자체가 어텐션 쿼리이다.

분석 보기 원문

컴퓨터 과학발표 2025.08· 6,578최근 1년 110회

어텐션 메커니즘만으로 충분하다

기존의 지배적인 시퀀스 변환 모델들은 인코더-디코더 구조의 복잡한 순환 또는 컨볼루션 신경망을 기반으로 하며, 최신 모델들은 어텐션 메커니즘을 통해 인코더와 디코더를 연결했습니다. 본 연구는 순환 및 컨볼루션을 완전히 배제하고 오직 어텐션 메커니즘에만 기반한 새로운 신경망 아키텍처인 트랜스포머(Transformer)를 제안합니다. 두 가지 기계 번역 태스크에 대한 실험 결과, 트랜스포머 모델은 기존 모델들보다 우수한 번역 품질을 보였으며, 병렬화가 용이하여 훈련 시간이 현저히 단축되었습니다. 특히 WMT 2014 영어-독일어 번역 태스크에서 28.4 BLEU를 달성하여 기존 최고 앙상블 모델보다 2 BLEU 이상 향상된 성능을 기록했습니다. 또한, WMT 2014 영어-프랑스어 번역 태스크에서는 8개의 GPU로 3.5일 훈련 후 41.8 BLEU라는 새로운 단일 모델 최고 기록을 수립했습니다. 이는 기존 최고 모델들의 훈련 비용에 비해 극히 일부에 불과합니다. 트랜스포머는 대규모 및 제한된 훈련 데이터 모두에서 영어 구성요소 파싱(constituency parsing)에 성공적으로 적용되어 다른 태스크에도 잘 일반화됨을 입증했습니다. 이 연구는 어텐션 메커니즘만으로도 시퀀스 변환 태스크에서 최첨단 성능을 달성할 수 있음을 보여주며, 향후 자연어 처리 모델 설계에 새로운 방향을 제시합니다.

분석 보기 원문