컴퓨터 과학발표 2025.04· 40최근 1년 40회

LLM과 휴먼-인-더-루프를 활용한 지식 그래프 검증

지식 그래프(KG)의 품질은 이를 기반으로 하는 지능형 애플리케이션의 성공에 필수적입니다. 최근 대규모 언어 모델(LLM)의 발전은 다양한 작업에서 인간 수준의 성능을 보여주며, KG 검증에서의 잠재력에 대한 질문을 제기합니다. 본 연구는 LLM과 도메인 전문가 간의 다양한 협업 전략을 탐색하며, 인간 중심의 KG 검증 워크플로우에서 LLM의 역할을 탐구합니다. 저자들은 완전 자동화된 검증부터 전문가 감독과 AI 지원을 결합한 하이브리드 방식에 이르기까지 9가지 접근 방식을 제안하고 평가했습니다. 이 워크플로우들은 과학계량학적 작업을 지원하는 대규모 자원인 컴퓨터 과학 지식 그래프(CS-KG) 구축 파이프라인 내에서 테스트되었습니다. CS-KG는 컴퓨터 과학 분야에서 3억 5천만 개의 트리플로 표현된 4천 1백만 개의 문장을 포함합니다. 연구 결과, CS-KG 검증 과정에 LLM을 통합하면 정밀도가 12% 향상되어 전문가 수준의 검증과 더 잘 일치함을 확인했습니다. 그러나 이는 재현율 감소로 이어져 전체 F1 점수가 5% 하락하는 결과를 초래했습니다. 반면, 휴먼-인-더-루프와 LLM 모듈을 모두 포함하는 하이브리드 접근 방식은 최소한의 인간 개입으로 F1 점수를 5% 향상시키며 최상의 전반적인 결과를 보였습니다. 이 연구는 LLM이 단독 KG 검증기로서는 약한 성능을 보이지만, 다른 자동화된 검증 방법과 결합될 때 인간 수준의 품질에 도달할 수 있음을 시사합니다. 인간-LLM 협업은 정밀도와 재현율 간의 균형을 맞추며, 자동화된 검증기 간의 충돌에 대한 휴먼-인-더-루프 개입은 수동 작업을 줄이는 데 기여합니다.

분석 보기 원문

컴퓨터 과학발표 2025.03· 42최근 1년 42회

FMEA 지식 그래프 RAG 시스템

신제품 출시 단계에서 잠재적 고장을 완화하는 데 필수적인 FMEA(고장 모드 및 영향 분석)는 기존 도구의 제한된 추론 능력으로 인해 효과가 저해됩니다. 대규모 언어 모델(LLM)은 자연어 처리에서 새로운 가능성을 제시하지만, 사실적 지식 요구 사항에서 약점을 보입니다. 이를 보완하기 위해 비모수적 데이터 저장소에서 정보를 검색하여 응답을 생성하는 RAG(검색 증강 생성) 접근 방식이 주목받고 있습니다. 본 연구는 RAG 프레임워크의 비모수적 데이터 저장소를 지식 그래프(KG)로 강화하는 방법을 제안합니다. FMEA 데이터를 위한 집합론적 표준화 및 스키마를 제시하고, FMEA-KG로부터 벡터 임베딩을 생성하는 알고리즘을 개발했습니다. 이 KG-강화 RAG 프레임워크는 FMEA 데이터에 대한 분석적, 의미론적 질의응답 능력을 향상시키는 것을 목표로 합니다. 제안된 접근 방식은 사용자 경험 설계 연구를 통해 검증되었으며, 컨텍스트 검색의 정밀도와 성능을 측정했습니다. 초기 결과에 따르면, 쿼리 검색 방식은 수치 정보 검색 시 벡터 검색에만 의존하는 기존 RAG 방식보다 우수한 성능을 보였습니다. 이 연구는 FMEA 데이터를 KG로 변환하고 활용하는 새로운 방법론을 제시하여, 복잡한 산업 정보 시스템에서 LLM의 사실적 정확성과 추론 능력을 강화하는 데 기여합니다. 이는 FMEA의 효율성을 높이고, 궁극적으로 제품 개발 및 품질 관리 프로세스를 개선하는 데 활용될 수 있습니다.

분석 보기 원문