Case Study : Cinematography using Digital Human in Tiny Virtual Production

초소형 버추얼 프로덕션 환경에서 디지털 휴먼을 이용한 촬영 사례

In this paper, we introduce a case study of cinematography using digital human in virtual production. This case study deals with the system overview of virtual production using LEDs and an efficient filming pipeline using digital human. Unlike virtual production using LEDs, which mainly project the background on LEDs, in this case, we use digital human as a virtual actor to film scenes communicating with a real actor. In addition, to film the dialogue scene between the real actor and the digital human using a real-time engine, we automatically generated speech animation of the digital human in advance by applying our Korean lip-sync technology based on audio and text. We verified this filming case by using a real-time engine to produce short drama content using real actor and digital human in an LED-based virtual production environment.

본 논문에서는 디지털 휴먼을 활용한 버추얼 프로덕션에서의 촬영 사례를 소개한다. 본 촬영 사례는 LED를 활용한 버추얼 프로덕션의 시스템 구성과 디지털 휴먼을 활용한 효율적인 촬영 파이프라인을 다루고 있다. LED를 이용한 버추얼 프로덕션은 주로 LED에 배경을 투사하여 촬영하는 것과 달리 본 사례는 디지털 휴먼을 가상 배우로 사용하여 실제 배우와 소통하는 장면을 촬영하였다. 또한, 실제 배우와 디지털 휴먼의 대화 장면을 실시간 엔진을 이용하여 촬영하기 위해 음성과 텍스트 기반 한국어 립싱크 모션 자동 생성 기술을 적용하여 디지털 휴먼의 발화 애니메이션을 사전에 제작해 사용하였다. 우리는 실시간 엔진을 활용하여 LED 기반의 버추얼 프로덕션 환경에서 실제 배우와 디지털 휴먼을 이용한 짧은 드라마 콘텐츠를 제작함으로써 본 촬영 사례에 대하여 검증하였다.