웹 스케일 의료 데이터 활용 방사선과 범용 모델

본 연구는 방사선과 파운데이션 모델(RadFM) 개발의 가능성을 탐색한다. 이를 위해 데이터셋 구축, 모델 설계, 그리고 종합적인 평가의 세 가지 관점에서 접근했다. 연구팀은 1,300만 개의 2D 이미지와 61만 5천 개의 3D 스캔을 포함하는 4개의 멀티모달 데이터셋을 구축했으며, 기존 데이터셋과 통합하여 대규모 학습 데이터셋인 MedMD를 완성했다. 또한, 텍스트 입력과 2D 또는 3D 의료 스캔을 통합하여 진단, 시각 질의응답, 보고서 생성, 근거 기반 진단 등 다양한 방사선과 작업을 수행할 수 있는 새로운 모델 아키텍처를 제안한다. 기존 9개 데이터셋 외에 파운데이션 모델 평가를 위한 새로운 벤치마크인 RadBench를 제안하고, 자동 및 인간 평가를 수행했다. RadFM은 GPT-4V를 포함한 기존 멀티모달 파운데이션 모델을 능가하는 성능을 보였으며, 다양한 공개 벤치마크에서도 기존 SOTA(State-Of-The-Art) 기록을 경신했다. 이 연구는 텍스트와 2D/3D 의료 스캔을 통합하여 다양한 방사선과 작업을 수행하는 파운데이션 모델, 대규모 멀티모달 데이터셋, 그리고 포괄적인 벤치마크를 제시함으로써 범용 의료 파운데이션 모델 개발의 중요한 진전을 이뤘다.