SkyEyeGPT: 원격 탐사 시각-언어 모델 통합

최근 대규모 언어 모델(LLM)이 시각-언어 영역으로 확장되어 인상적인 다중 모달 능력을 보이고 있으나, 원격 탐사(RS) 데이터에 특화된 다중 모달 대규모 언어 모델(MLLM) 연구는 초기 단계이며, 관련 데이터셋 부족과 성능 한계가 존재합니다. 본 연구는 이러한 문제를 해결하고자 RS 다중 모달 지시 튜닝 데이터셋인 SkyEye-968k를 구축했습니다. 이 데이터셋은 단일 및 다중 작업 대화 지시를 포함하며, 수동 검증을 거쳐 968k개의 고품질 샘플로 구성됩니다. 이를 기반으로 RS 다중 세분화 시각-언어 이해를 위해 특별히 설계된 통합 다중 모달 대규모 언어 모델인 SkyEyeGPT를 제안합니다. SkyEyeGPT는 RS 시각 특징을 정렬 계층을 통해 언어 도메인으로 투영한 후, 작업별 지시와 함께 LLM 기반 RS 디코더에 입력하여 RS 개방형 작업의 답변을 예측합니다. 또한, 지시 따르기 및 다중 턴 대화 능력을 향상시키기 위해 2단계 튜닝 방법을 설계했습니다. 8개의 RS 시각-언어 작업 데이터셋에 대한 실험 결과, SkyEyeGPT는 캡셔닝 및 시각적 접지(visual grounding)와 같은 이미지 및 영역 수준 작업에서 우수한 성능을 보였습니다. 특히, 일부 정성적 테스트에서는 GPT-4V와 비교하여 고무적인 결과를 나타냈습니다. 본 연구는 RS MLLM 커뮤니티에 통합된 RS 시각-언어 지시 튜닝 데이터셋과 SkyEyeGPT 모델을 제공함으로써 실제 시나리오에서의 응용 가능성을 확장합니다. 관련 데모, 코드 및 데이터셋은 공개될 예정입니다.