LLM 동적 제어를 위한 신경조절 네트워크

트랜스포머 기반 대규모 언어 모델(LLM)은 뛰어난 성능을 보이지만, 학습 후 핵심 처리 메커니즘이 고정되어 동적인 적응에 한계가 있습니다. 이는 미묘한 맥락, 태스크 요구사항, 또는 탐색과 활용 간 전환과 같은 운영 모드에 따라 처리 전략을 유연하게 변경하기 어렵게 만듭니다. 본 연구는 척추동물 뇌의 신경조절 시스템에서 영감을 받은 신경조절 제어 네트워크(NCN)를 제안합니다. NCN은 전역 상태, 태스크 정보, 외부 제어 신호 등을 요약하는 맥락 입력을 받아 동적인 '조절 신호'를 계산하는 소규모 병렬 네트워크입니다. 이 신호들은 주 LLM으로 전달되어 순방향 전달 과정에서 계산 속성을 조절합니다. NCN은 단순히 정보를 라우팅하는 것을 넘어, 신경조절 물질이 뉴런의 이득, 가소성 및 네트워크 상태를 변경하는 방식과 유사하게, 어텐션 메커니즘(예: 온도), 레이어 이득, 활성화 함수와 같은 주요 구성 요소를 변조하여 기본 모델이 정보를 처리하는 방식을 변화시킵니다. 이 아키텍처는 LLM의 적응성, 제어 가능성 및 효율성을 향상시킬 개념적 이점을 제공합니다. 본 논문은 NCN 아키텍처를 소개하고 구성 요소 및 잠재적 메커니즘을 상세히 설명하며, 커뮤니티 탐색 및 향후 실증적 검증을 위한 오픈소스 PyTorch 구현을 제공합니다.