인간 뇌 시각 정보와 LLM 표현의 정렬

인간의 뇌는 시각 입력에서 객체, 공간적·의미론적 관계, 환경과의 상호작용 등 복잡한 정보를 추출하지만, 이를 정량적으로 연구하는 방법은 여전히 부족합니다. 본 연구는 대규모 언어 모델(LLM)에 인코딩된 맥락 정보가 뇌가 자연 장면에서 추출하는 복잡한 시각 정보를 모델링하는 데 유용한지 탐구합니다. 연구팀은 장면 캡션의 LLM 임베딩이 자연 장면을 볼 때 유발되는 뇌 활동을 성공적으로 특성화함을 보였습니다. 이 매핑은 다양한 뇌 영역의 선택성을 포착하며, 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있을 만큼 견고합니다. 엄격한 모델 비교를 통해, LLM 표현이 뇌 표현과 일치하는 정확도는 개별 단어가 전달하는 정보 이상으로 장면 캡션에 포함된 복잡한 정보를 LLM이 통합하는 능력에서 비롯됨을 입증했습니다. 나아가, 이미지 입력을 LLM 표현으로 변환하는 딥러닝 모델을 훈련했습니다. 놀랍게도 이 네트워크들은 훨씬 적은 데이터로 훈련되었음에도 불구하고, 수많은 최첨단 대안 모델보다 뇌 표현과 더 잘 정렬되는 표현을 학습했습니다. 종합적으로, 본 연구 결과는 장면 캡션의 LLM 임베딩이 뇌가 시각 입력에서 추출하는 복잡한 정보를 설명하는 효과적인 표현 형식을 제공함을 시사합니다. 이는 인간의 시각 정보 처리 메커니즘 이해를 심화하고, 인공지능 모델 개발에 새로운 방향을 제시할 수 있습니다.