사전 학습된 확산 모델의 뛰어난 이미지 편집 능력 활용에 대한 연구가 활발합니다. 기존 접근 방식들은 모델 미세 조정 또는 잠재 공간에서의 이미지 역전을 사용하지만, 선택 영역의 불만족스러운 결과와 비선택 영역의 예상치 못한 변화, 그리고 입력 이미지의 모든 시각적 객체를 포함해야 하는 텍스트 프롬프트 편집의 어려움이라는 두 가지 문제에 직면합니다.
본 연구는 이러한 문제를 해결하기 위해 두 가지 개선 방안을 제안합니다. 첫째, 교차-어텐션 레이어의 값 선형 네트워크 입력만을 최적화하는 것으로 실제 이미지 재구성에 충분한 성능을 …
거대 언어 모델(LLM)은 다양한 분야에서 뛰어난 성능을 보이며, 2023년까지 AI 생성 콘텐츠(AIGC) 산업에 260억 달러 이상이 투자될 정도로 그 잠재력이 주목받고 있습니다. LLM 활용이 확산됨에 따라, 모델 파라미터 변경 없이 성능을 향상시키는 프롬프트 엔지니어링이 핵심 연구 분야로 부상했습니다. 그러나 기존 프롬프트 엔지니어링 기법들을 체계적으로 정리하고 종합적으로 분석한 연구는 부족한 실정입니다.
이 연구는 프롬프트 엔지니어링의 기존 기법과 응용 사례를 심층적으로 조사하고, 프롬프트 구성의 기초 프레임워크를 제공하…
대규모 언어 모델(LLM)은 유용성을 지향하는 훈련 과정에서 비논리적인 요청에도 순응하여 잘못된 정보를 생성할 수 있는 취약점을 보인다. 이는 모델이 해당 요청의 비논리성을 인지할 지식이 있음에도 불구하고 발생한다. 본 연구는 이러한 취약점이 의료 분야에서 어떻게 나타나는지 조사했으며, 동등 약물 관계를 오해하는 프롬프트를 사용하여 최신 LLM 5종을 평가했다.
연구는 기본 아첨 경향, 거부 허용 및 사실 회상을 강조하는 프롬프트의 영향, 그리고 비논리적 요청 데이터셋을 통한 미세 조정(분포 외 일반화 포함)의 효과를 테스트했다.…