• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1464-1485
• /
• 2021

Emotional style of multimedia art works are abstract content information. This study aims to explore emotional style transfer method and find the possible way of matching music with appropriate images in respect to emotional style. DCNNs (Deep Convolutional Neural Networks) can capture style and provide emotional style transfer iterative solution for affective image generation. Here, we learn the image emotion features via DCNNs and map the affective style on the other images. We set image emotion feature as the style target in this style transfer problem, and held experiments to handle affective image generation of eight emotion categories, including dignified, dreaming, sad, vigorous, soothing, exciting, joyous, and graceful. A user study was conducted to test the synesthesia emotional image style transfer result with ground truth user perception triggered by the music-image pairs' stimuli. The transferred affective image result for music-image emotional synesthesia perception was proved effective according to user study result.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.980-993
• /
• 2020

딥-러닝 기반 스타일 전이 기법은 영상의 고차원적 구조적 특성을 적절하게 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 딥-러닝 기반 스타일 전이 방식의 안정적이고 보다 다양한 스타일 전이 결과 제공에 대한 문제를 다룬다. 스타일 전이를 위한 광범위한 초-매개변수 설정에 따른 실험 결과에 대한 고찰을 바탕으로 스타일 전이 결과의 안정성 및 다양성에 대한 문제를 정의하고, 이러한 문제를 해결하기 위한 부분 손실 정규화 방법을 제안한다. 제안된 정규화 방식을 이용한 스타일 전이는 입력 영상의 특징에 상관없이 초-매개변수 설정을 통해 동일 수준의 스타일 전이 정도를 조절할 수 있을 뿐 아니라, 스타일 손실을 정의하는 계층 별 가중치 설정의 조절을 통해 기존 방식과 달리 보다 다양한 스타일 전이 결과를 제공하며, 입력 영상의 해상도 차이에 대해 보다 안정적인 스타일 전이 결과를 제공하는 특징을 가진다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.31-38
• /
• 2023

딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.475-478
• /
• 2019

Although the work of neural style transfer has shown successful applications in transferring the style of a certain type of artistic painting, it is less effective in transferring Oriental paintings. In this paper, we explore three methods which are effective in transferring Oriental paintings. Then, we take a typical network from each method to carry on the experiment, in view of three different methods to Oriental paintings style transfer effect has carried on the discussion.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.104-123
• /
• 2022

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제27권7호
• /
• pp.27-33
• /
• 2022

본 논문은 콘텐츠 이미지에 스타일 이미지를 입혀 스타일이 적용된 이미지를 생성하고자 기존의 이미지 대 이미지 방법이 아닌 다중 도메인 스타일 트랜스퍼(style transfer) 방법을 적용한다. 도메인별로 데이터 분포에 대한 다양한 특성을 고려하고, 콘텐츠 데이터의 특징을 잘 보존하면서 높은 품질의 이미지가 생성되도록 잠재 벡터(latent vector)와 가우시안 노이즈를 추가하는 새로운 GAN의 생성자(generator) 아키텍처를 제안한다. 콘텐츠 이미지가 도메인별 스타일을 잘 학습할 수 있도록 네트워크를 구성하고 사계절 이미지로 구성된 도메인에 적용하여 고해상도의 스타일 트랜스퍼 결과를 보여준다.

• Journal of Information Processing Systems
• /
• 제19권5호
• /
• pp.663-672
• /
• 2023

Most vehicle detection methods have poor vehicle feature extraction performance at night, and their robustness is reduced; hence, this study proposes a night vehicle detection method based on style transfer image enhancement. First, a style transfer model is constructed using cycle generative adversarial networks (cycleGANs). The daytime data in the BDD100K dataset were converted into nighttime data to form a style dataset. The dataset was then divided using its labels. Finally, based on a YOLOv5s network, a nighttime vehicle image is detected for the reliable recognition of vehicle information in a complex environment. The experimental results of the proposed method based on the BDD100K dataset show that the transferred night vehicle images are clear and meet the requirements. The precision, recall, mAP@.5, and mAP@.5:.95 reached 0.696, 0.292, 0.761, and 0.454, respectively.

• 스마트미디어저널
• /
• 제5권4호
• /
• pp.63-68
• /
• 2016

텍스처전이(Texture Transfer) 기법은 타겟영상의 고주파 성분인 텍스쳐를 소스영상에 적용시키는 영상처리 방법이다. 이 텍스쳐 전이기법은 입력 영상에 표현되고 있는 질감 등의 스타일을 대상 영상에 전이시키는데 사용 될 수 있다. 본 연구에서는 이러한 텍스쳐 전이기법을 비디오에 적용시키기 위한 방법을 제안한다. 특히 동영상에 적용시키기 위한 실시간 병렬 처리 알고리즘을 제안한다. 이를 위해서 기존 텍스쳐 전이기법에 사용되는 커널의 모양을 변경하여 병렬화가 가능하도록 하였으며, 동영상 적용 시 발생하는 시간적 일관성문제를 해결하기 위한 방법으로 비디오 프레임 영상의 다중해상도를 사용한 광류측정법을 제안하여 적용함으로써 실시간 비디오 처리를 가능하게 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권5호
• /
• pp.33-43
• /
• 2021

본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.

• ETRI Journal
• /
• 제37권2호
• /
• pp.406-416
• /
• 2015

Timing plays a key role in expressing the qualitative aspects of a character's motion; that is, conveying emotional state, personality, and character role, all potentially without changing spatial positions. Temporal editing of locomotion style is particularly difficult for a novice animator since observers are not well attuned to the sense of weight and energy displayed through motion timing; and the interface for adjusting timing is far less intuitive to use than that for adjusting pose. In this paper, we propose an editing system that effectively captures the timing variations in an example locomotion set and utilizes them for style transfer from one motion to another via both global and upper-body timing transfers. The global timing transfer focuses on matching the input motion to the body speed of the selected example motion, while the upper-body timing transfer propagates the sense of movement flow - succession - through the torso and arms. Our transfer process is based on key times detected from the example set and transferring the relative changes of angle rotation in the upper body joints from a timing source to an input target motion. We demonstrate that our approach is practical in an interactive application such that a set of short locomotion cycles can be applied to generate a longer sequence with continuously varied timings.