• 대한전자공학회논문지SP
• /
• 제41권3호
• /
• pp.155-162
• /
• 2004

본 논문은 오디오 비디오 신호에 대한 유한한 DTV 디지털 스트림을 사용한 립싱크 테스트에 관한 것이다. 본 논문에서는 프로그램 시청이 가능하면서, 과도 효과 영역 테스트 신호(transient effect area test signals, TATS) 및 오디오 비디오 시간 인덱스 립싱크 테스트 신호를 이용한 새로운 립싱크 테스트 방법을 제안한다. 실험 결과에서 제안된 방법은 오실로스코프의 비디오 트리거 모드를 사용하여 오디오 및 비디오 신호간의 시간차를 쉽게 측정할 수 있음이 확인되었다.

• 만화애니메이션 연구
• /
• 통권13호
• /
• pp.97-114
• /
• 2008

본 논문은 선 녹음을 전제로 이루어지는 미국권 애니메이션 영어 립싱크(Lip-sync)의 제작 방법을 분석하여, 한국 애니메이션에 응용이 되도록 한글 자음과 모음의 형태에 입각한 입모양을 연구한다. 현업에 종사하는 캐릭터 애니메이터들을 위해 선 녹음으로 행해지는 한국어 립싱크에 대한 개념의 이해를 돕도록 하고, 특성이 다른 각 캐릭터들에게 응용이 가능하도록 한국어 표현을 위한 최소한의 기본 입모양들이 소개가 되도록 연구를 진행하였다. 서론에서는 국산 애니메이션의 한국어 립싱크의 필요성을 언급하고 미국의 한 프로덕션의 예를 들어 영어 립싱크 데이터에 근거한 한국어 립싱크 데이터의 연구방법을 소개하였다. 본론에서는 영어발음의 표현방법에 필요한 8가지 기본 입모양으로 각각의 특성과 역할을 보여주고 영어 표현에서는 필요하지만 한국어 표현에서는 필요치 않은 입모양을 삭제하고, 반대로 영어 표현에서는 필요하지 않지만 한국어 표현을 위해 필요한 입모양을 새로 만들어서 정리하였다. 이 결과를 가지고 한국어 표현을 위해 각 입모양이 어떻게 쓰이는지 각종 예를 들어 도표로 만들고 자음과 모음, 그리고 받침에 쓰일 때 어떻게 입모양이 달라지는지 연구하였다. 사례연구에서는 대사를 익스포져 시트(Exposure sheet)에 옮겨 적는 법과 립싱크에 맞도록 입모양들을 나열하는 방법을 제시하여 실제 작품제작에 사용될 수 있도록 하였으나 우리나라에서는 체계적인 한국어 립싱크 데이터를 가지고 애니메이션 프로덕션을 진행한 전례가 없기 때문에 부득이하게 한국 영화중 대사의 한 부분을 예로 사용하였다.

• 한국인터넷방송통신학회논문지
• /
• 제18권3호
• /
• pp.127-134
• /
• 2018

본 논문에서는 한국어를 기반으로 음성 데이터와 텍스트 정보에서 한국어 음소를 추출하고 분할된 음소들을 사용하여 정확하고 자연스러운 3D 립싱크 애니메이션을 제작하기 위한 오토 립싱크 Maya 플러그인을 개발하였다. 여기서 개발된 시스템에서는 음소 분할은 Microsoft Speech API 엔진 SAPI에서 제공하는 49개의 음소를 참조하여 한글에 사용되는 음소들을 모음 8개, 자음 13개로 분류하였다. 또한 모음과 자음의 발음들은 다양한 입모양을 가지지만 일부 동일한 입모양에 대하여 같은 Viseme을 적용할 수 있도록 구현하였다. 이를 바탕으로 파이썬(Python) 기반의 오토 립싱크 Maya 플러그인을 개발하여 립싱크 애니메이션이 한 번에 자동으로 구현할 수 있게 하였다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 디지털융복합연구
• /
• 제10권7호
• /
• pp.253-259
• /
• 2012

본 연구에서는 대화구문 기반 영상 콘텐츠를 위한 캐릭터 제작 흐름을 설정하고, 폼 노아의 마우스 차트를 활용하여 3D 캐릭터에 lip-sync Animation을 적용해 캐릭터를 제작해보았다. 애니메이션 프레임 간 부드러운 연출이 가능한 Vertex Animation Morphing 기법은 자연스러운 입 모양을 표현함으로써 시각적인 정보의 전달을 통해 캐릭터에 대한 몰입감을 높이고 학습자에게 종전보다 높은 전달력을 가질 수 있을 것으로 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 추계학술발표대회
• /
• pp.523-526
• /
• 2024

Recent progress in audio-driven talking face generation has focused on achieving more realistic and emotionally expressive lip movements, enhancing the quality of virtual avatars and animated characters for applications in entertainment, education, healthcare, and more. Despite these advances, challenges remain in creating natural and emotionally nuanced lip synchronization efficiently and accurately. To address these issues, we introduce a novel method for audio-driven lip-sync that offers precise control over emotional expressions, outperforming current techniques. Our method utilizes Conditional Deep Variational Autoencoder to produce lifelike lip movements that align seamlessly with audio inputs while dynamically adjusting for various emotional states. Experimental results highlight the advantages of our approach, showing significant improvements in emotional accuracy and the overall quality of the generated facial animations, video sequences on the Crema-D dataset [1].

• 한국정보전자통신기술학회논문지
• /
• 제6권4호
• /
• pp.201-207
• /
• 2013

음성인식에 관한 연구는 꾸준히 발전되어 다양한 분야에서 제품에 적용되고 있으며, 특히 스마트폰과 차량의 내비게이션 시스템과 같은 정보기기에서의 적용은 매우 활발히 이루어지고 있는 것이 현실임에도 불구하고 음성인식 연구에서 한국어의 음운 특성을 고려한 연구는 미흡한 것도 현실이다. 디지털 콘텐츠에서 일반적으로 립 싱크의 제작은 애니메이터의 수작업을 반드시 필요로 하며, 이는 시간의 투입을 요하는 지루한 작업이다. 립 싱크를 자동 생성하는 응용 소프트웨어를 사용하기도 하나 반드시 수작업으로 수정과 보정 단계가 요구될 뿐만 아니라 영어 기반으로 제작된 립 싱크 자동생성 소프트웨어를 적용하므로 한국어 음운체계가 달라 자연스러운 립 싱크를 얻기 위하여 많은 시간과 노력이 요구된다. 따라서 본 연구에서는 한국어 음운체계를 고려한 가상 오브젝트들의 립 싱크를 자동 생성하기 위한 화자 독립 기반 한국어 단모음 실시간 인식 알고리즘을 개발을 목표로 하며, 그 인식 결과는 립 싱크의 애니메이션 키로 활용하고자 한다.

• 한국융합학회논문지
• /
• 제1권1호
• /
• pp.69-75
• /
• 2010

영상매체를 이용한 영어 교육은 단순히 청각만을 이용한 방법보다 피교육생에게 사실적인 발음표현과 콘텐츠 몰입감 증대등의 측면에서 중요성이 높아지고 있다. 영어교육 콘텐츠에 등장하는 캐릭터들은 음성에 영어 발음에 맞추어진 사실적인 입모양을 표현키 위하여 많은 노력을 들이 있다. 이 논문에서는 교사가 손쉽게 영상 콘텐츠를 제작할 수 있도록 도와줄, 대화구문기반 교육용 콘텐츠 저작시스템을 이용하는 사용자에게 사실적인 lip-sync 애니메이션을 제작할 수 있도록 하여 교육의 능률을 높일 수 있도록 3D 캐릭터를 사례로 제작하였다. 폼 노아 마우스 차트를 활용한 입모양과 발음의 연관구조를 분석하고, 캐릭터의 컨셉 디자인에서 모델링, 맵핑, 애니메이팅 과정을 거쳐 익스포트로 최적화된 캐릭터데이터를 추출해 보았다. 입모양과 연계되는 손동작, 몸동작도 추후 연구에서 다루어질 때 보다 효율적인 교육용콘텐츠를 위한 3D캐릭터 제작이 될 것으로 사료된다.

• 문화기술의 융합
• /
• 제9권4호
• /
• pp.409-414
• /
• 2023

본 연구는 로우폴리곤 캐릭터 애니메이션에서 감정과 성격을 표현하는 데 중요한 역할을 차지하는 캐릭터 표정과 애니메이션을 구현하는 방법을 기술하였다. 영상 산업의 발달로 애니메이션에서의 캐릭터 표정과 입 모양 립싱크는 실사와 가까운 수준으로 자연스러운 모션을 구현할 수 있게 되었다. 그러나 비전문가의 경우 전문가 수준의 고급 기술을 사용하기에 어려움이 있다. 따라서 우리는 저예산의 로우폴리곤 캐릭터 애니메이션 제작자나 비전문가를 위해 접근이 쉽고 사용성이 높은 기능을 사용하여 입 모양 립싱크를 조금 더 자연스럽게 연출할 수 있도록 가이드를 제시하는 것을 목적으로 하였다. 입 모양 립싱크 애니메이션은 'ㅏ', 'ㅔ', 'ㅣ', 'ㅗ', 'ㅜ', 'ㅡ', 'ㅓ'와 구순음을 표현하는 입 모양 총 8가지를 개발하였다. 표정 애니메이션의 경우 폴 에크먼이 분류한 인간의 기본감정인 놀람, 두려움, 혐오, 분노, 행복, 슬픔의 여섯 가지에 선행 연구를 참고로 활용도가 높은 흥미, 지루함, 통증을 더하여 총 아홉 가지 애니메이션을 제작하였다. 본 연구는 복잡한 기술이나 프로그램을 사용하지 않고 모델링 프로그램에 내장된 기능을 사용하여 자연스러운 애니메이션을 손쉽게 제작할 수 있도록 함에 의의가 있다.

• 한국음향학회지
• /
• 제20권3호
• /
• pp.63-69
• /
• 2001

본 논문에서는 자연스러운 얼굴 합성을 위한 코퍼스 기반의 립싱크 알고리듬을 제안한다. 립싱크 알고리듬을 개발하기 위하여 여성 아나운서의 시청각 코퍼스를 구축하였다 코퍼스 구축시, 입술파라미터 추출하기 위하여 여성화자의 얼굴에 스티커를 붙이고, 이의 위치를 영상처리기법에 의하여 얻었다. 그리고 길이, 세기 그리고 피치의 운율정보를 얻기 위하여 음성을 HTK (hidden Markov tool kit)를 사용하여 레이블 하였다. 립싱크의 기본단위로는 자음-모음-자음의 음절단위를 사용하였는데, 구축된 시청각 코퍼스는 입술의 정보 그리고 음운론적, 운율적 정보를 포함하는 음절들로 구성된다. 입술합성시에는 입력된 텍스트로부터 음절의 열을 만들고 각 음절에 적절한 대표들을 코퍼스로부터 N개씩 선정후, 최적의 열은 비터비탐색을 통하여 얻었다. 이를 위하여 음운론적 거리와 운율거리 함수가 정하였다. 컴퓨터 모의실험결과 제안된 알고리듬이 좋은 성능을 보임을 확인할 수 있었으며, 특히 립싱크에서는 길이정보뿐 아니라 길이와 피치의 정보도 유용함을 밝혔다.