Sa2VA: 이미지 및 비디오 밀집 접지 이해 통합 모델
기존 멀티모달 대규모 언어 모델(MLLM)은 특정 모달리티 및 작업에 국한되는 한계가 있습니다. 본 연구는 이미지와 비디오 모두에 대한 밀집 접지 이해를 위한 최초의 포괄적이고 통합된 모델인 Sa2VA를 제안합니다. Sa2VA는 참조 분할 및 대화를 포함한 광범위한 이미지 및 비디오 작업을 지원하며, 최소한의 단일 단계 지시 튜닝만 필요합니다. Sa2VA는 기반 비디오 분할 모델인 SAM-2와 고급 비전-언어 모델인 MLLM을 결합하여 텍스트, 이미지, 비디오를 공유 LLM 토큰 공간으로 통합합니다. LLM을 활용하여 Sa2VA는…