• 한국컴퓨터정보학회논문지
• /
• 제25권5호
• /
• pp.1-9
• /
• 2020

본 논문에서는 머리카락과 모자 영역의 마스크 정보를 활용하여 더 자연스러운 얼굴 속성 편집(facial attribute editing)을 수행하는 모델을 제안한다. 최신 얼굴 속성 편집 연구인 STGAN은 다중 얼굴 속성을 자연스럽게 편집하는 성과를 보였다. 그러나 머리카락과 관련된 속성을 편집할 때 부자연스러운 결과를 생성할 수 있다. 제안하는 방법의 핵심 아이디어는 기존 모델에서 부족했던 얼굴 영역의 정보를 모델에 추가로 반영하는 것이다. 이를 위해 세 가지 아이디어를 적용한다. 첫째로 마스크를 통해 머리카락 면적 속성을 추가하여 머리카락 정보를 보완한다. 둘째로 순환 일관성 손실(cycle consistency loss)을 추가하여 영상의 불필요한 변화를 억제한다. 셋째로 모자 분할 신경망을 추가하여 모자 영역 왜곡을 방지한다. 정성적 평가를 통해 제안하는 방법 적용 여부에 따른 유효성을 평가 및 분석한다. 실험 결과에서 제안하는 방법이 머리카락 및 얼굴 영역을 더 자연스럽게 생성하고, 모자 영역의 왜곡을 성공적으로 방지했다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.619-628
• /
• 2022

얼굴 인식 및 얼굴 생성이 다양한 분야에서 큰 주목을 받고 있지만, 얼굴 이미지를 모델 학습에 사용하는데 따른 개인 정보 문제는 최근 큰 문제가 되고 있다. 본 논문에서는 소수의 실제 얼굴 이미지와 안면 마스크 정보로부터 다양한 속성을 가진 얼굴 이미지를 생성함으로써 개인 정보 침해 이슈를 줄일 수 있는 얼굴 편집 네트워크를 제안한다. 다수의 실제 얼굴 영상을 이용하여 얼굴 속성을 학습하는 기존의 방법과 달리 제안하는 방법은 얼굴 분할 마스크와 얼굴 부분 텍스처 영상을 스타일 정보로 사용하여 새로운 얼굴 이미지를 생성한다. 이후 해당 이미지는 각 참조 이미지의 스타일과 위치를 학습하기 위한 훈련에 사용된다. 제안하는 네트워크가 학습되면 소수의 실제 얼굴 영상과 얼굴 분할 정보만을 사용하여 다양한 얼굴 이미지를 생성할 수 있다. 실험에서 제안 기법이 실제 얼굴 이미지를 매우 적게 사용함에도 불구하고 새로운 얼굴을 생성할 뿐만 아니라 얼굴 속성 편집을 지역화하여 수행할 수 있음을 보인다.

• 한국컴퓨터정보학회논문지
• /
• 제25권5호
• /
• pp.37-46
• /
• 2020

최근 얼굴 속성 편집(facial attribute editing)의 연구는 GAN(Generative Adversarial Net)과 인코더-디코더(encoder-decoder) 구조를 활용하여 사실적인 결과를 얻고 있다. 최신 연구 중 하나인 SaGAN(Spatial attention GAN)은 공간적 주의 기제(spatial attention mechanism)를 활용하여 얼굴 영상에서 원하는 속성만을 변경할 방법을 제안하였다. 그러나 불충분한 얼굴 영역 정보로 인하여 때로 부자연스러운 결과를 얻는 경우가 발생한다. 본 논문에서는 기존 연구의 한계점을 개선하기 위하여 유도 마스크(guide mask)를 학습에 활용하고, 다중작업 학습(multitask learning) 접근을 적용한 개선된 SaGAN(MSaGAN)을 제안한다. 폭넓은 실험을 통해 마스크 손실 함수와 신경망 구조에 따른 얼굴 속성 편집의 결과를 비교하여 제안하는 방법이 기존보다 더 자연스러운 결과를 효율적으로 얻을 수 있음을 보인다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권3호
• /
• pp.51-59
• /
• 2024

시선 벡터 정답값을 갖는 대규모 데이터의 수집은 시선 추적 분야에서 많은 비용을 필요로 한다. 본 논문에서는 원본 사진의 시선을 수정하는 데이터 증강 기법을 사용하여 제한된 개수의 시선 정답값이 주어진 상황에서 시선 추적 모델의 정확도를 향상시키는 방법을 제안한다. 시선 구간 다중 클래스 분류를 보조 작업으로 학습하고, 디퓨전 오토인코더의 잠재 변수를 조정하여 원본 사진의 시선을 편집한 사진을 생성한다. 기존의 얼굴 속성 편집과 달리, 우리는 이진 속성이 아닌 시선 벡터의 피치와 요를 지정한 범주 내로 변경하며, 편집된 사진을 시선 추적 모델의 증강된 학습 데이터로 활용한다. 시선 정답값이 5만 개 이하일 때 준지도 학습에서의 시선 추적 모델의 정확도 향상은 제안한 데이터 증강 기법의 효과를 입증한다.