LLM 시대, 소형 모델의 역할 재조명
거대 언어 모델(LLM)은 다양한 추론 작업에서 뛰어난 성능을 보이며 모델 크기 확장을 가속화하고 있습니다. 그러나 이러한 모델의 규모 증가는 막대한 계산 비용과 에너지 소비를 수반하여, 자원이 제한적인 학계 연구자나 기업에게는 실용성이 떨어지는 한계가 있습니다. 반면, 소형 모델(SM)은 실제 환경에서 자주 활용되지만 그 중요성은 종종 간과되고 있습니다. 본 연구는 LLM 시대에 소형 모델이 가지는 역할에 대한 중요한 질문을 제기하며, 기존 연구에서 충분히 다루어지지 않았던 이 주제를 심층적으로 탐구합니다. 특히, LLM과 SM…