Lip and Voice Synchronization with SMS Messages for Mobile 3D Avatar

SMS 메시지에 따른 모바일 3D 아바타의 입술 모양과 음성 동기화

There have been increasing interests in 3D mobile content service with emergence of a terminal equipping with a mobile 3D engine and growth of mobile content market. Mobile 3D Avatar is the most effective product displaying the character of a personalized mobile device user. However, previous studies on the method of expressing 3D Avatar have been mainly focused on natural and realistic expressions according to the change in facial expressions and lip shape of a character in PC based virtual environments. In this paper, we propose a method of synchronizing the lip shape with voice by applying a SMS message received in mobile environments to 3D mobile Avatar. The proposed method enables to realize a natural and effective SMS message reading service of mobile Avatar by disassembling a received message sentence into units of a syllable and then synchronizing the lip shape of 3D Avatar with the corresponding voice.

모바일 3D 엔진을 탑재한 단말기의 등장과 모바일 콘텐츠 시장의 성장에 따라 3D 모바일 콘텐츠 서비스에 대한 관심이 고조되고 있다. 모바일 3D 아바타는 개인화된 모바일 기기 사용자의 개성을 표출할 수 있는 가장 효과적인 상품이다. 그러나 3D 아바타 표현 방법은 PC기반의 가상환경에서 캐릭터의 얼굴 표정 및 입술 모양 변화에 따른 자연스럽고 사실적인 표현에 대한 연구들이 주로 이루어 졌다. 본 논문에서는 모바일 환경에서 수신된 SMS 메시지를 3D 모바일 아바타에 적용하여 입술 모양 및 음성과 동기화 시키는 방법을 제안한다. 제안된 방법은 수신된 메시지 문장을 음절단위로 분해하여 모바일 3D 아바타의 입술 모양과 해당 음성을 동기화 시킴으로써, 모바일 아바타의 자연스럽고 효과적인 SMS 메시지 읽기 서비스를 구현할 수 있도록 해준다.