Embodiment of Low-cost Real Time Lip-Sync Animation System Using Neural Network

신경회로망을 이용한 저가의 실시간 립싱크 애니메이션 시스템의 구현

최근 인터넷 기술의 발달로 인한 실시간 인터넷 동영상 서비스 등 인터넷을 이용한 방송사업이 활성화되어지고 이에 부가적으로 애니메이션이 감각적 서비스를 지원하고 있는 실정이나 고가의 모션캡쳐 시스템을 통한 캡쳐된 좌표를 적절한 보정을 한 후에 캐릭터를 움직이는 방법으로 이루어지고 있다. 이러한 모션캡쳐 시스템을 통한다면 시스템 및 장비 자체가 고가이고 또한 실시간으로 처리하기 위하여는 좌표값 보정 등이 필요하지만 본 논문에서 제안하는 좌표 추출 및 추적 기법을 이용하여 저가의 가정용 멀티미디어 오버레이 캡쳐보드와 CCD 카메라를 통하여 영상을 캡쳐하고 캡쳐된 영상좌표와 실험용 GDI object를 링크시켜 실시간으로 사람의 입술의 움직임 모양대로 애니메이션이 립싱크되어서 움직여지는 것을 볼 수 있으며, 더 나아가서 외화의 우리말 더빙시 영상처리를 통한 정교한 화면 더빙 및 가상 캐릭터를 이용한 사이버 미팅가지 가능할 것이다.