• 방송공학회논문지
• /
• 제25권6호
• /
• pp.980-993
• /
• 2020

딥-러닝 기반 스타일 전이 기법은 영상의 고차원적 구조적 특성을 적절하게 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 딥-러닝 기반 스타일 전이 방식의 안정적이고 보다 다양한 스타일 전이 결과 제공에 대한 문제를 다룬다. 스타일 전이를 위한 광범위한 초-매개변수 설정에 따른 실험 결과에 대한 고찰을 바탕으로 스타일 전이 결과의 안정성 및 다양성에 대한 문제를 정의하고, 이러한 문제를 해결하기 위한 부분 손실 정규화 방법을 제안한다. 제안된 정규화 방식을 이용한 스타일 전이는 입력 영상의 특징에 상관없이 초-매개변수 설정을 통해 동일 수준의 스타일 전이 정도를 조절할 수 있을 뿐 아니라, 스타일 손실을 정의하는 계층 별 가중치 설정의 조절을 통해 기존 방식과 달리 보다 다양한 스타일 전이 결과를 제공하며, 입력 영상의 해상도 차이에 대해 보다 안정적인 스타일 전이 결과를 제공하는 특징을 가진다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.31-38
• /
• 2023

딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.104-123
• /
• 2022

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.432-434
• /
• 2022

우리는 전이 학습을 이용하여 원하는 특정 패션 스타일 분류기를 학습하였다. 패션 스타일 검색 결과물을 온라인 쇼핑몰과 연결하는 웹 서비스를 사용자에게 제공한다. 패션 스타일 분류기는 구글에서 이미지 검색을 통해 수집된 데이터를 이용하여 ResNet34[1]에 전이 학습하였다. 학습된 분류 모델을 이용하여 사용자 이미지로부터 패션 스타일을 17가지 클래스로 분류하였고 F1 스코어는 평균 65.5%를 얻었다. 패션 스타일 분류 결과를 네이버 쇼핑몰과 연결하여 사용자가 원하는 패션 상품을 구매할 수 있는 서비스를 제공한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1339-1342
• /
• 2022

예술적 스타일 전이는 예술 작품이 지닌 특징을 다른 이미지에 적용하는 이미지 처리의 오랜 화두 중 하나로, 최근에는 StyleGAN 과 같이 미리 학습된 GAN(생성적 적대 신경망)을 통해 제한된 데이터로도 고해상도의 예술적 초상화를 생성하도록 학습하는 연구가 다양한 방면에서 성과를 내고 있다. 본 논문에서는 2 가지 경로의 StyleGAN과 Facial Destylization 을 통해 고해상도의 예시 기반 스타일 전이를 달성한 DualStyleGAN 연구에 대해 소개하고, 기존 연구에서 사용된 Facial Destylization 방법이 지닌 한계점을 분석한 뒤, 이를 개선한 새로운 방법, Re-Destyle을 제안한다. 새로운 Re-Destyle 방법으로 Facial Destylization 을 적용할 경우 학습 시간을 기존 연구의 방법보다 20 배 이상 개선할 수 있으며 그 결과 1000 개 이하의 적은 데이터와 1~2 시간의 추가 학습만으로도 원하는 타겟 초상화 스타일에 대해 1024×1024 수준의 고해상도의 예시 기반 초상화 스타일 전이 및 이미지 생성 모델을 학습할 수 있다.

• 박물관보존과학
• /
• 제31권
• /
• pp.55-70
• /
• 2024

스타일 전이 알고리즘은 현재 활발히 연구되는 분야로 일반 이미지를 고전 회화 스타일로 전이시키는 알고리즘도 개발되었다. 그러나 우리나라의 문화유산 이미지에 적용하였을 때 적절한 성과를 보이지 않으며, 적용 사례도 부족한 실정이다. 이에 본 연구에서는 우리나라 문화유산 스타일로 응용할 수 있는 스타일 전이 알고리즘을 개발하고자 한다. 이는 표현 학습을 통해 유의미한 특성을 학습하여 데이터에 대한 이해도를 높였으며, 대상 이미지 내에서 배경과 문화유산을 분리하고, 스타일 이미지에서 원하는 색상과 질감의 스타일 영역을 추출할 수 있게 제작하였다. 이를 통해 대상 이미지의 형태를 유지하면서 스타일 이미지의 특징을 효과적으로 전이하여 새로운 이미지를 생성할 수 있으며, 다양한 문화유산 스타일을 전이시킬 수 있음을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.786-791
• /
• 2006

색상 전이는 스타일 전이, 색이 바랜 사진의 복원, 색상화, 색상의 보정에 사용될 수 있는 기법이다. 본 연구에서는 기존 색상 전이의 문제점을 해결하기 위해서 영상 분할 기반의 색상전이 기법을 제시한다. 영상에서 색상의 가장 의미있는 최소 단위를 픽셀로 보고 있는 기존 연구에 반해서, 본 연구에서는 영상 조각을 영상에서 가장 의미 있는 최소 단위로 보고 색상 전이를 수행한다. 영상 분할 기반의 색상 전이를 통해서 기존 연구에서 발생할 수 있었던 픽셀간의 코헤런스 문제를 해결한다. 또한 영상 분할 기반으로 했을 때에 생길 수 있는 경계 문제를 해결하기 위한 새로운 방법을 제시한다. 제시된 기법을 이용해서 색상 전이의 응용인 스타일 전이에 적용한다.

• 스마트미디어저널
• /
• 제5권4호
• /
• pp.63-68
• /
• 2016

텍스처전이(Texture Transfer) 기법은 타겟영상의 고주파 성분인 텍스쳐를 소스영상에 적용시키는 영상처리 방법이다. 이 텍스쳐 전이기법은 입력 영상에 표현되고 있는 질감 등의 스타일을 대상 영상에 전이시키는데 사용 될 수 있다. 본 연구에서는 이러한 텍스쳐 전이기법을 비디오에 적용시키기 위한 방법을 제안한다. 특히 동영상에 적용시키기 위한 실시간 병렬 처리 알고리즘을 제안한다. 이를 위해서 기존 텍스쳐 전이기법에 사용되는 커널의 모양을 변경하여 병렬화가 가능하도록 하였으며, 동영상 적용 시 발생하는 시간적 일관성문제를 해결하기 위한 방법으로 비디오 프레임 영상의 다중해상도를 사용한 광류측정법을 제안하여 적용함으로써 실시간 비디오 처리를 가능하게 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.741-744
• /
• 2021

본 논문은 사전 학습된 심층생성모델을 기반으로 가수 별 가사의 특성을 반영하여 새로운 가사를 생성하는 모델을 소개한다. 베이스 모델로 한국어 사전 학습 모델 KoGPT-2 를 사용하였으며, 총 가수 10 명의 노래 823 곡을 수집하여 미세조정 기법을 바탕으로 학습하였다. 특히, 가수 별로 구분한 가사를 학습 데이터로 구축하여, 가수 별로 독특하게 나타나는 가사 스타일이 전이되도록 하였다. 가수의 이름과 시작 단어를 입력으로 주고 작사를 수행한 실험 결과, (i) 가수 별로 생성되는 가사의 어휘와 스타일이 그 가수의 기존 곡들의 가사와 유사함을 확인하였고, (ii) 작사 결과 가수 별 차이를 확인하였다. 추후 설문을 통해, 개별 가수들의 가사와 생성된 가사의 어휘와 스타일 유사성을 확인하고, 가수 별 차이 또한 확인하고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
• /
• pp.235-240
• /
• 2003

본 논문에서는 영한 자동번역 시스템에 한국어 스타일 생성 패턴을 적용함으로써 영한 번역 품질을 향상하고자 하는 것이 목표이다. 이러한 목표는 기존의 원문에 대한 번역문의 정보 전달 정확성을 측정하는 1차원적인 번역률 평가 방법에서 벗어나 번역문의 정보 정확성뿐만 아니라 자연스러움도 평가할 수 있는 2차원적인 번역률 평가방법으로써 정확성과 스타일을 동시에 평가하는 방법을 제안한다. 2차원적인 번역률 평가 방법에 따라 스타일 생성 패턴이 적용되기 전과 적용된 후의 평가 결과는 100문자의 샘플문을 대상으로 하였을 때, 스타일 생성 패턴에 의해서만 0.5%의 번역률이 향상되는 것을 관찰하였다. 본 논문에서의 스타일 생성 패턴은 단순히 언어간 스타일 차이만 적용한 것이며 향후에는 신문, 일기예보, 기술 매뉴얼과 같은 특정 그룹을 위한 스타일 생성 패턴을 적용할 계획이다.