DOI QR코드

DOI QR Code

Image Manipulation in Diffusion Model withDrag Input using Self-Attention Control

디퓨전 모델에서의 전 범위적 이미지 조작을 위한 셀프 어텐션 제어 및 드래그 특징 반영 연구

  • SungYoon Lim (Dept. of Global Media, Soongsil University) ;
  • YoungJoo Jo (Electronics and Telecommunications Research Institute) ;
  • Yong-Ju Lee (Electronics and Telecommunications Research Institute)
  • 임성윤 (숭실대학교 글로벌미디어학부) ;
  • 조영주 (한국전자통신연구원) ;
  • 이용주 (한국전자통신연구원)
  • Published : 2023.11.02

Abstract

디퓨전 모델에서 생성한 이미지를 조작하는 기존 프롬프트 기반 방법과 포인트 기반 방법에는 각각의 단점이 있다. 프롬프트 기반은 프롬프트로만 조작이 가능하고 세세하지 못하다. 포인트 기반은 입력 이미지의 스타일을 보존하려면 파인튜닝이 필요하다. 본 논문은 디퓨전 생성 모델에 셀프 어텐션 제어와 드래그 조작을 통해, 파라미터 학습 없이, 이미지의 스타일을 보존하며 다양한 범위의 이미지 조작이 가능한 방법을 제안한다.

Keywords

Acknowledgement

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No.RS-2022-00187238, 효율적 사전학습이 가능한 한국어 대형 언어모델 사전학습 기술개발)