강화 학습 기반 LLM 추론 능력 강화

인공지능 분야에서 일반적인 추론 능력은 오랜 난제였습니다. 최근 대규모 언어 모델(LLM)과 CoT(사고의 사슬) 프롬프팅 기법의 발전으로 기본적인 추론 작업에서 상당한 성과를 보였으나, 이는 방대한 양의 인간 주석 데이터에 크게 의존하며 복잡한 문제 해결에는 여전히 한계가 있습니다. 본 연구는 인간이 직접 주석을 단 추론 궤적 없이 순수한 강화 학습(RL)만으로 LLM의 추론 능력을 효과적으로 향상시킬 수 있음을 입증합니다. 제안된 RL 프레임워크는 자기 성찰, 검증, 동적 전략 적응과 같은 고급 추론 패턴의 자발적인 발달을 촉진합니다. 그 결과, 훈련된 모델은 수학, 코딩 대회, STEM 분야와 같은 검증 가능한 작업에서 기존의 인간 주석 지도 학습 모델을 능가하는 우수한 성능을 달성했습니다. 또한, 이러한 대규모 모델에서 나타나는 추론 패턴은 소규모 모델의 추론 능력을 체계적으로 안내하고 향상시키는 데 활용될 수 있습니다.