5편의 한국어 분석 — 최신순으로 정렬했어요
기존 멀티모달 대규모 언어 모델(MLLM)은 특정 모달리티 및 작업에 국한되는 한계가 있습니다. 본 연구는 이미지와 비디오 모두에 대한 밀집 접지 이해를 위한 최초의 포괄적이고 통합된 모델인 Sa2VA를 제안합니다. Sa2VA는 참조 분할 및 대화를 포함한 광범위한 이미지 및 비디오 작업을 지원하며, 최소한의 단일 단계 지시 튜닝만 필요합니다. Sa2VA는 기반 비디오 분할 모델인 SAM-2와 고급 비전-언어 모델인 MLLM을 결합하여 텍스트, 이미지, 비디오를 공유 LLM 토큰 공간으로 통합합니다. LLM을 활용하여 Sa2VA는…
시계열 예측은 다양한 동적 시스템에 필수적이며, 활발히 연구되는 분야입니다. 그러나 대부분의 기존 예측 모델은 단일 시계열 데이터 양식에 특화되어 있어, 자연어 처리나 컴퓨터 비전 분야와 달리 범용적인 대규모 모델 개발이 더디게 진행되었습니다. 이는 고품질의 대규모 시계열 코퍼스가 부족하기 때문입니다. 한편, 최근 연구들은 거대 언어 모델(LLM)이 긴 토큰 시퀀스를 이해하고 추론하는 데 탁월한 능력을 보임을 시사합니다. 이러한 LLM의 역량을 시계열 예측에 활용하기 위해, 본 연구는 숫자 시계열 신호와 언어 토큰을 연결하는 체계…
최근 멀티모달 대규모 언어 모델(MLLM)은 시각 질의응답 및 시각 이해·추론 분야에서 뛰어난 성능을 보였습니다. 그러나 방대한 모델 크기와 높은 학습 및 추론 비용은 학계와 산업 전반에 걸친 MLLM의 광범위한 적용을 저해하는 요인으로 작용했습니다. 특히 엣지 컴퓨팅 환경에서 효율적이고 경량화된 MLLM 연구의 잠재력은 매우 큽니다. 본 연구는 효율적인 MLLM의 현재 상태를 포괄적이고 체계적으로 검토합니다. 구체적으로 대표적인 효율적 MLLM의 발전 과정, 구조 및 전략에 대한 연구 현황, 그리고 다양한 응용 사례를 요약하여 …
본 연구는 방사선과 파운데이션 모델(RadFM) 개발의 가능성을 탐색한다. 이를 위해 데이터셋 구축, 모델 설계, 그리고 종합적인 평가의 세 가지 관점에서 접근했다. 연구팀은 1,300만 개의 2D 이미지와 61만 5천 개의 3D 스캔을 포함하는 4개의 멀티모달 데이터셋을 구축했으며, 기존 데이터셋과 통합하여 대규모 학습 데이터셋인 MedMD를 완성했다. 또한, 텍스트 입력과 2D 또는 3D 의료 스캔을 통합하여 진단, 시각 질의응답, 보고서 생성, 근거 기반 진단 등 다양한 방사선과 작업을 수행할 수 있는 새로운 모델 아키텍처를…
정교한 생성 기술로 오디오-시각 데이터 조작이 증가함에 따라 딥페이크 탐지는 중요한 과제가 되었습니다. 기존 방법은 주로 오디오-시각 특징을 이용한 립싱크 동기화에 초점을 맞추며, 컨볼루션 신경망(CNN)을 통한 지역 특징 추출에 의존합니다. 본 연구는 지역 및 전역 특징 통합을 통해 딥페이크 탐지를 강화하는 멀티모달 프레임워크를 제안합니다. 기존 파이프라인에 눈 움직임, 얼굴 영역 등 추가 시각 특징과 오디오 특징을 결합하여 교차 모달 의존성을 모델링합니다. CNN은 지역 특징을, 비전 트랜스포머(ViT)는 시각 및 오디오 양식…
