LLM과 휴먼-인-더-루프를 활용한 지식 그래프 검증

지식 그래프(KG)의 품질은 이를 기반으로 하는 지능형 애플리케이션의 성공에 필수적입니다. 최근 대규모 언어 모델(LLM)의 발전은 다양한 작업에서 인간 수준의 성능을 보여주며, KG 검증에서의 잠재력에 대한 질문을 제기합니다. 본 연구는 LLM과 도메인 전문가 간의 다양한 협업 전략을 탐색하며, 인간 중심의 KG 검증 워크플로우에서 LLM의 역할을 탐구합니다. 저자들은 완전 자동화된 검증부터 전문가 감독과 AI 지원을 결합한 하이브리드 방식에 이르기까지 9가지 접근 방식을 제안하고 평가했습니다. 이 워크플로우들은 과학계량학적 작업을 지원하는 대규모 자원인 컴퓨터 과학 지식 그래프(CS-KG) 구축 파이프라인 내에서 테스트되었습니다. CS-KG는 컴퓨터 과학 분야에서 3억 5천만 개의 트리플로 표현된 4천 1백만 개의 문장을 포함합니다. 연구 결과, CS-KG 검증 과정에 LLM을 통합하면 정밀도가 12% 향상되어 전문가 수준의 검증과 더 잘 일치함을 확인했습니다. 그러나 이는 재현율 감소로 이어져 전체 F1 점수가 5% 하락하는 결과를 초래했습니다. 반면, 휴먼-인-더-루프와 LLM 모듈을 모두 포함하는 하이브리드 접근 방식은 최소한의 인간 개입으로 F1 점수를 5% 향상시키며 최상의 전반적인 결과를 보였습니다. 이 연구는 LLM이 단독 KG 검증기로서는 약한 성능을 보이지만, 다른 자동화된 검증 방법과 결합될 때 인간 수준의 품질에 도달할 수 있음을 시사합니다. 인간-LLM 협업은 정밀도와 재현율 간의 균형을 맞추며, 자동화된 검증기 간의 충돌에 대한 휴먼-인-더-루프 개입은 수동 작업을 줄이는 데 기여합니다.