차세대 네트워크를 위한 상태 공간 모델 연구
딥러닝 시대에 트랜스포머 아키텍처는 사전 학습된 대규모 모델과 다양한 다운스트림 작업에서 강력한 성능을 입증했습니다. 그러나 트랜스포머의 막대한 연산 요구량은 많은 연구자에게 큰 부담으로 작용하고 있습니다. 이에 따라 어텐션 모델의 복잡성을 줄이기 위한 효율적인 방법론 설계 노력이 활발히 이루어지고 있습니다. 이러한 노력 중 자기 회귀 기반 트랜스포머 모델의 잠재적 대안으로 상태 공간 모델(SSM)이 최근 주목받고 있습니다. 본 논문은 SSM 관련 연구들을 최초로 종합적으로 검토하고, SSM의 특징과 장점을 명확히 보여주기 위한 …