• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1464-1485
• /
• 2021

Emotional style of multimedia art works are abstract content information. This study aims to explore emotional style transfer method and find the possible way of matching music with appropriate images in respect to emotional style. DCNNs (Deep Convolutional Neural Networks) can capture style and provide emotional style transfer iterative solution for affective image generation. Here, we learn the image emotion features via DCNNs and map the affective style on the other images. We set image emotion feature as the style target in this style transfer problem, and held experiments to handle affective image generation of eight emotion categories, including dignified, dreaming, sad, vigorous, soothing, exciting, joyous, and graceful. A user study was conducted to test the synesthesia emotional image style transfer result with ground truth user perception triggered by the music-image pairs' stimuli. The transferred affective image result for music-image emotional synesthesia perception was proved effective according to user study result.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.31-38
• /
• 2023

딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

• 한국컴퓨터정보학회논문지
• /
• 제27권7호
• /
• pp.27-33
• /
• 2022

본 논문은 콘텐츠 이미지에 스타일 이미지를 입혀 스타일이 적용된 이미지를 생성하고자 기존의 이미지 대 이미지 방법이 아닌 다중 도메인 스타일 트랜스퍼(style transfer) 방법을 적용한다. 도메인별로 데이터 분포에 대한 다양한 특성을 고려하고, 콘텐츠 데이터의 특징을 잘 보존하면서 높은 품질의 이미지가 생성되도록 잠재 벡터(latent vector)와 가우시안 노이즈를 추가하는 새로운 GAN의 생성자(generator) 아키텍처를 제안한다. 콘텐츠 이미지가 도메인별 스타일을 잘 학습할 수 있도록 네트워크를 구성하고 사계절 이미지로 구성된 도메인에 적용하여 고해상도의 스타일 트랜스퍼 결과를 보여준다.

• Journal of Information Processing Systems
• /
• 제19권5호
• /
• pp.663-672
• /
• 2023

Most vehicle detection methods have poor vehicle feature extraction performance at night, and their robustness is reduced; hence, this study proposes a night vehicle detection method based on style transfer image enhancement. First, a style transfer model is constructed using cycle generative adversarial networks (cycleGANs). The daytime data in the BDD100K dataset were converted into nighttime data to form a style dataset. The dataset was then divided using its labels. Finally, based on a YOLOv5s network, a nighttime vehicle image is detected for the reliable recognition of vehicle information in a complex environment. The experimental results of the proposed method based on the BDD100K dataset show that the transferred night vehicle images are clear and meet the requirements. The precision, recall, mAP@.5, and mAP@.5:.95 reached 0.696, 0.292, 0.761, and 0.454, respectively.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.104-123
• /
• 2022

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

• 스마트미디어저널
• /
• 제5권4호
• /
• pp.63-68
• /
• 2016

텍스처전이(Texture Transfer) 기법은 타겟영상의 고주파 성분인 텍스쳐를 소스영상에 적용시키는 영상처리 방법이다. 이 텍스쳐 전이기법은 입력 영상에 표현되고 있는 질감 등의 스타일을 대상 영상에 전이시키는데 사용 될 수 있다. 본 연구에서는 이러한 텍스쳐 전이기법을 비디오에 적용시키기 위한 방법을 제안한다. 특히 동영상에 적용시키기 위한 실시간 병렬 처리 알고리즘을 제안한다. 이를 위해서 기존 텍스쳐 전이기법에 사용되는 커널의 모양을 변경하여 병렬화가 가능하도록 하였으며, 동영상 적용 시 발생하는 시간적 일관성문제를 해결하기 위한 방법으로 비디오 프레임 영상의 다중해상도를 사용한 광류측정법을 제안하여 적용함으로써 실시간 비디오 처리를 가능하게 하였다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.980-993
• /
• 2020

딥-러닝 기반 스타일 전이 기법은 영상의 고차원적 구조적 특성을 적절하게 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 딥-러닝 기반 스타일 전이 방식의 안정적이고 보다 다양한 스타일 전이 결과 제공에 대한 문제를 다룬다. 스타일 전이를 위한 광범위한 초-매개변수 설정에 따른 실험 결과에 대한 고찰을 바탕으로 스타일 전이 결과의 안정성 및 다양성에 대한 문제를 정의하고, 이러한 문제를 해결하기 위한 부분 손실 정규화 방법을 제안한다. 제안된 정규화 방식을 이용한 스타일 전이는 입력 영상의 특징에 상관없이 초-매개변수 설정을 통해 동일 수준의 스타일 전이 정도를 조절할 수 있을 뿐 아니라, 스타일 손실을 정의하는 계층 별 가중치 설정의 조절을 통해 기존 방식과 달리 보다 다양한 스타일 전이 결과를 제공하며, 입력 영상의 해상도 차이에 대해 보다 안정적인 스타일 전이 결과를 제공하는 특징을 가진다.

• 박물관보존과학
• /
• 제31권
• /
• pp.55-70
• /
• 2024

스타일 전이 알고리즘은 현재 활발히 연구되는 분야로 일반 이미지를 고전 회화 스타일로 전이시키는 알고리즘도 개발되었다. 그러나 우리나라의 문화유산 이미지에 적용하였을 때 적절한 성과를 보이지 않으며, 적용 사례도 부족한 실정이다. 이에 본 연구에서는 우리나라 문화유산 스타일로 응용할 수 있는 스타일 전이 알고리즘을 개발하고자 한다. 이는 표현 학습을 통해 유의미한 특성을 학습하여 데이터에 대한 이해도를 높였으며, 대상 이미지 내에서 배경과 문화유산을 분리하고, 스타일 이미지에서 원하는 색상과 질감의 스타일 영역을 추출할 수 있게 제작하였다. 이를 통해 대상 이미지의 형태를 유지하면서 스타일 이미지의 특징을 효과적으로 전이하여 새로운 이미지를 생성할 수 있으며, 다양한 문화유산 스타일을 전이시킬 수 있음을 확인하였다.

• 터널과지하공간
• /
• 제32권2호
• /
• pp.131-143
• /
• 2022

달 현지 탐사를 위해 무인 이동체가 활용되고 있으며, 달 지상 관심 지역의 지형 특성을 정확하게 파악하여 실시간으로 정보화 하는 작업이 요구된다. 하지만, 정확도 높은 지형/지물 객체 인식 및 영역 분할을 위해서는 다양한 배경조건의 영상 학습데이터가 필요하며 이러한 학습데이터를 구축하는 과정은 많은 인력과 시간이 요구된다. 특히 대상이 쉽게 접근하기 힘든 달이기에 실제 현지 영상의 확보 또한 한계가 있어, 사실에 기반하지만 유사도 높은 영상 데이터를 인위적으로 생성시킬 필요성이 대두된다. 본 연구에서는 가용한 중국의 달 탐사 Yutu 무인 이동체 및 미국의 Apollo 유인 착륙선에서 촬영한 영상을 통해 위치정보 기반 스타일 변환 기법(Style Transfer) 모델을 적용하여 실제 달 표면과 유사한 합성 영상을 인위적으로 생성하였다. 여기서, 유사 목적으로 활용될 수 있는 두 개의 공개 알고리즘(DPST, WCT2)를 구현하여 적용해 보았으며, 적용 결과를 시간적, 시각적 측면으로 비교하여 성능을 평가하였다. 평가 결과, 실험 이미지의 형태 정보를 보존하면서 시각적으로도 매우 사실적인 영상을 생성할 수 있음을 확인하였다. 향후 본 실험의 결과를 바탕으로 생성된 영상 데이터를 지형객체 자동 분류 및 인식을 위한 인공지능 학습용 영상 데이터로 추가 학습된다면 실제 달 표면 영상에서도 강인한 객체 인식 모델 구현이 가능할 것이라 판단된다.

• 로봇학회논문지
• /
• 제15권1호
• /
• pp.1-7
• /
• 2020

In this paper, we introduce the methodology that utilizes deep learning-based front-end to enhance underwater feature matching. Both optical camera and sonar are widely applicable sensors in underwater research, however, each sensor has its own weaknesses, such as light condition and turbidity for the optic camera, and noise for sonar. To overcome the problems, we proposed the opti-acoustic transformation method. Since feature detection in sonar image is challenging, we converted the sonar image to an optic style image. Maintaining the main contents in the sonar image, CNN-based style transfer method changed the style of the image that facilitates feature detection. Finally, we verified our result using cosine similarity comparison and feature matching against the original optic image.