거대 언어 모델의 지식과 인간의 인식

인공지능 시스템, 특히 거대 언어 모델(LLM)이 의사결정 과정에 깊이 통합되면서, 그 결과물에 대한 신뢰는 매우 중요해지고 있습니다. LLM이 인간의 신뢰를 얻으려면 예측의 정확도를 정확하게 평가하고 전달하는 능력이 필수적입니다. 기존 연구는 LLM의 내부 확신도에 초점을 맞췄으나, 사용자에게 불확실성을 얼마나 효과적으로 전달하는지에 대한 이해는 부족했습니다. 본 연구는 LLM이 생성한 답변에 대한 인간의 확신도와 모델의 실제 확신도 간의 차이인 '보정 격차'와, 인간과 모델이 정답과 오답을 얼마나 잘 구별하는지를 나타내는 '판별 격차'를 탐구합니다. 객관식 및 단답형 질문을 활용한 실험 결과, 기본 설명이 제공될 때 사용자는 LLM 답변의 정확도를 과대평가하는 경향을 보였습니다. 또한, 설명의 길이가 길어질수록 답변 정확도가 향상되지 않더라도 사용자 신뢰도는 증가했습니다. LLM 설명을 모델의 내부 확신도를 더 잘 반영하도록 조정함으로써 보정 격차와 판별 격차 모두 줄어들었으며, LLM 정확도에 대한 사용자 인식이 크게 개선되었습니다. 이러한 발견은 불확실성 정보의 정확한 전달의 중요성을 강조하고, 설명 길이가 인공지능 기반 의사결정 환경에서 사용자 신뢰에 미치는 영향을 부각합니다.