Neural network model for detected object style transformation using Mask R-CNN and zi2zi

Mask R-CNN 과 zi2zi 모델을 활용하여 탐지된 객체의 스타일을 변환시키는 신경망 모델

스타일 변환 모델은 이미지 전체나 이미지 내에서 사용자가 지정한 영역을 대상으로 스타일을 변환시킨다. 이런 방식은 이미지 내의 다수의 객체에 대해 스타일 변환을 시행할 때 일일이 영역을 지정해 줘야 한다는 불편함과 결과물의 전체 해상도가 떨어진다는 한계를 가지고 있다. 본 논문에서는 이런 한계들을 극복하기 위해 객체탐지 모델과 스타일변환 모델을 연동한 객체스타일변환모델을 제안하고 모델 간 연동방법에 대해 자세히 서술한다. 객체탐지모델인 Mask R-CNN 을 통해 필요한 객체를 탐지하고 탐지한 객체의 특징맵들을 스타일변환 모델인 zi2zi 의 입력 값으로 전달하여 이미지 내의 필요한 객체들만 스타일변환이 이루어지도록 모델이 동작한다. 이러한 모델은 기존에 있는 두 모델을 재사용함으로써 모델을 처음부터 새로 설계할 필요가 없다는 장점이 있으며, 공개된 다양한 모델들을 서로 융합하여 사용할 수 있는 방법을 제시하는데 도움을 줄 것이다.