2026년 39주차 · 급상승 연구 주제
컴퓨터 과학 · Explainable Artificial Intelligence (XAI)
연 1,629 → 5,347편
분야 평균 대비 +199%p
AI 모델의 복잡성 증가로 인해 예측 결과를 사람이 이해하고 신뢰하기 어려워졌다. XAI는 AI의 의사결정 과정을 투명하게 밝혀 신뢰성과 책임성을 높이는 데 필수적이다.
출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+199%p)으로 순위를 매겼어요.
학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.
의료 진단 AI의 예측 근거를 시각화하여 의료진의 진단 신뢰도 향상 연구
아이디에이션2금융 대출 심사 AI의 거부 사유를 사용자에게 설명하는 방법론 개발
아이디에이션3블랙박스 모델의 특정 예측에 대한 중요 피처를 추출하는 새로운 XAI 기법 제안
아이디에이션인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.
A Comprehensive Review of Neuro-symbolic AI for Robustness, Uncertainty Quantification, and Intervenability
의료, 자율 시스템, 금융 등 고위험 분야에서 인공지능(AI) 시스템의 활용이 증가함에 따라, AI의 신뢰성 확보가 매우 중요해지고 있습니다. 본 논문은 신경망의 학습 능력과 기호 AI의 추론 강점을 결합한 하이브리드 패러다임인 신경-기호 AI를 신뢰성, 불확실성 정량화(UQ), 개입 가능성이라는 세 가지 핵심 차원에서 종합적으로 탐구합니다. 순수 데이터 기반의 '블랙박스' 모델이 분포 변화, 모호한 입력, 인간 감독 처리에서 한계를 보이는 반면, 신경-기호 시스템은 향상된 해석 가능성, 검증 가능성, 제어 능력을 제공하여 실제 …
Explainable AI in healthcare: to explain, to predict, or to describe?
설명 가능한 인공지능(XAI)은 AI 모델의 예측 과정을 이해하기 위한 정보를 제공하도록 설계되었습니다. 의료 분야에서는 XAI가 환자부터 의료 전문가, AI 개발자에 이르기까지 다양한 이해관계자에게 모델 작동 방식에 대한 정확하고 관련성 높은 정보를 제공할 것이라는 기대가 큽니다. 그러나 이해관계자마다 '관련성 있는 정보'의 기준이 크게 다를 수 있어, 이러한 기대에 부응하는 것은 쉽지 않은 과제입니다. 많은 이해관계자에게는 인과적 설명이 중요하지만, 현재의 XAI 방법론은 이러한 인과적 정보를 제공하는 데 한계가 있습니다. 본…
From System 1 to System 2: A Survey of Reasoning Large Language Models
인간 수준의 지능을 달성하려면 빠르고 직관적인 시스템 1 사고에서 느리고 신중한 시스템 2 추론으로의 전환을 고도화해야 한다. 기존 대규모 언어 모델(LLM)은 빠른 의사결정에 능하지만, 복잡한 추론을 위한 단계별 분석 능력인 시스템 2 사고는 부족했다. 이는 편향을 줄이고 정확한 판단을 내리는 데 필수적인 논리적 추론 역량의 한계를 드러냈다. 최근 OpenAI의 o1/o3, DeepSeek의 R1과 같은 추론형 LLM은 수학, 코딩 등 전문 분야에서 전문가 수준의 성능을 보이며 시스템 2의 신중한 추론과 유사한 인지 능력을 입증…
Explainable AI for Clinical Decision Support Systems: Literature Review, Key Gaps, and Research Synthesis
인공지능(AI)은 임상 의사결정 지원 시스템(CDSS)을 크게 향상시킬 잠재력이 있지만, AI 모델의 불투명성은 임상 현장에서의 채택을 가로막는 주요 장벽입니다. 이는 주로 해석 가능성 및 신뢰 문제에서 기인합니다. 설명 가능한 AI(XAI)는 모델의 추론 과정을 임상의가 이해할 수 있도록 함으로써 이러한 격차를 해소하려 하지만, 기존 XAI 솔루션은 실제 임상가의 요구사항, 워크플로우 통합, 유용성 문제를 제대로 다루지 못했습니다. 본 연구는 XAI를 CDSS에 적용하는 데 있어 지속되는 과제들(예: 부적절한 설명 방법, 최적화…
Towards trustworthy artificial intelligence for decision-making: A lifecycle perspective on knowledge- and data-driven artificial intelligence systems
조직의 의사결정 과정에서 데이터 기반 인공지능(AI) 시스템의 활용이 증가하고 있으나, 이러한 시스템은 종종 해석 불가능한 블랙박스로 작동하여 의사결정의 근거를 이해하기 어렵게 만듭니다. 또한, 구조화된 도메인 지식을 활용하지 못해 의사결정 맥락이나 목표와 일치하지 않는 결과를 초래하고, 이는 잘못된 결정이나 AI 시스템에 대한 신뢰 저하로 이어질 수 있습니다. 이러한 문제 해결을 위해 최근 신경-상징 AI와 같이 도메인 지식과 데이터 기반 AI를 통합하려는 연구가 활발히 진행되고 있습니다. 본 연구는 의사결정을 위한 지식-데이터…
Generative Artificial Intelligence in Qualitative Data Analysis: Analyzing—Or Just Chatting?
연구자와 기업가들은 질적 데이터 분석에 생성형 인공지능(GenAI) 도구를 적용하는 방안을 적극적으로 모색하고 있습니다. 자동 코딩 및 주제 분석부터 가상 연구 보조 역할에 이르기까지, 질적 연구에서 GenAI의 잠재적 응용 분야는 광범위해 보입니다. 본 논문은 GenAI가 어떤 기술적 인공물인지 근본적인 질문을 던지고, 질적 데이터 분석에 적합한지 평가합니다. 특히 대규모 언어 모델(LLM)에 초점을 맞춰 GenAI에 대한 접근 가능하고 기술적으로 정보에 입각한 분석을 제공하며, 질적 데이터 분석에서 GenAI 사용의 혁신적 잠…
AI makes you smarter but none the wiser: The disconnect between performance and metacognition
인간-AI 상호작용 최적화를 위해서는 사용자의 비판적 성찰이 필수적이나, 생성형 AI가 사용자의 메타인지 판단에 미치는 영향은 잘 알려져 있지 않습니다. 본 연구는 AI 사용이 논리적 추론 과제에서 사용자의 메타인지 모니터링 및 성과에 어떻게 연관되는지 대규모 연구를 통해 탐구했습니다. 두 가지 대규모 연구에서, 참가자들은 AI를 활용하여 논리적 추론 문제를 해결했습니다. 특히, AI를 사용하는 사람들이 자신의 수행 능력을 얼마나 정확하게 모니터링하는지 분석했습니다. 연구 1에서는 246명의 참가자가 AI를 이용해 LSAT 논리 …
The human factor in explainable artificial intelligence: clinician variability in trust, reliance, and performance
설명 가능한 인공지능(XAI)은 의료와 같은 고위험 분야에서 사용자 신뢰를 높이는 데 필수적이라고 여겨지지만, 실제 사용자 평가보다는 자동화된 측정 방식에 의존하는 경향이 있습니다. 본 연구는 이미지 기반의 재태 연령(GA) 추정 프로토타입 XAI 모델을 적용하여, 신뢰, 의존성 및 성능에 미치는 영향을 평가하고, 적절한 의존성에 대한 새로운 측정 지표를 도입했습니다. 10명의 초음파 검사 전문가가 3단계 판독 연구를 통해 XAI 모델이 GA 추정치에 미치는 영향을 평가했습니다. 모델 예측은 임상의의 평균 절대 오차(MAE)를 2…
From Black Box to Glass Box: A Practical Review of Explainable Artificial Intelligence (XAI)
보안, 금융, 헬스케어 등 고위험 영역에서 머신러닝 시스템의 활용이 증가함에 따라 설명 가능한 인공지능(XAI)의 중요성이 커지고 있습니다. 기존 모델은 '블랙 박스'처럼 작동하여 신뢰와 책임성을 저해하지만, 기존 연구들은 설명 가능성을 기술적 또는 철학적 문제로만 다루며 실제 보안, 프라이버시, 거버넌스 함의와 연결하지 못했습니다. 본 연구는 이러한 간극을 메우고자 이론적 기반과 실제 적용, 사회적 관점을 통합하여 XAI를 조명합니다. 연구는 투명성과 해석 가능성을 핵심 개념으로 정의하고, 공개 및 설명의 한계 효용을 강조하기 …
Toward Autonomous LLM-Based AI Agents for Predictive Maintenance: State of the Art, Challenges, and Future Perspectives
최근 대규모 언어 모델(LLM)의 발전으로 지각, 추론, 행동을 결합한 에이전트 시스템이 기계 고장 진단을 포함한 예측 보전(PdM) 수명 주기 전반에 걸쳐 활용 가능해졌습니다. 그러나 PdM을 위한 LLM 기반 에이전트 연구는 파편화되어 있으며, Model Context Protocol과 같은 최신 프레임워크에 대한 통합된 관점이 부족합니다. 본 논문은 PdM을 위한 판별형, 생성형, LLM 기반 접근 방식을 검토하고, LLM 기반 AI 에이전트에 대한 파편화된 증거들을 통합합니다. 특히, PdM을 위한 에이전트 AI 개념을 소…
