Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Case Study : Cinematography using Digital Human in Tiny Virtual Production

초소형 버추얼 프로덕션 환경에서 디지털 휴먼을 이용한 촬영 사례

  • Received : 2023.06.09
  • Accepted : 2023.07.05
  • Published : 2023.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we introduce a case study of cinematography using digital human in virtual production. This case study deals with the system overview of virtual production using LEDs and an efficient filming pipeline using digital human. Unlike virtual production using LEDs, which mainly project the background on LEDs, in this case, we use digital human as a virtual actor to film scenes communicating with a real actor. In addition, to film the dialogue scene between the real actor and the digital human using a real-time engine, we automatically generated speech animation of the digital human in advance by applying our Korean lip-sync technology based on audio and text. We verified this filming case by using a real-time engine to produce short drama content using real actor and digital human in an LED-based virtual production environment.

본 논문에서는 디지털 휴먼을 활용한 버추얼 프로덕션에서의 촬영 사례를 소개한다. 본 촬영 사례는 LED를 활용한 버추얼 프로덕션의 시스템 구성과 디지털 휴먼을 활용한 효율적인 촬영 파이프라인을 다루고 있다. LED를 이용한 버추얼 프로덕션은 주로 LED에 배경을 투사하여 촬영하는 것과 달리 본 사례는 디지털 휴먼을 가상 배우로 사용하여 실제 배우와 소통하는 장면을 촬영하였다. 또한, 실제 배우와 디지털 휴먼의 대화 장면을 실시간 엔진을 이용하여 촬영하기 위해 음성과 텍스트 기반 한국어 립싱크 모션 자동 생성 기술을 적용하여 디지털 휴먼의 발화 애니메이션을 사전에 제작해 사용하였다. 우리는 실시간 엔진을 활용하여 LED 기반의 버추얼 프로덕션 환경에서 실제 배우와 디지털 휴먼을 이용한 짧은 드라마 콘텐츠를 제작함으로써 본 촬영 사례에 대하여 검증하였다.

Keywords

Acknowledgement

이 논문은 2022년도 정부(문화체육관광부)의 재원으로 한국콘텐츠진흥원의 지원을 받아 수행된 연구임 (No. R2022020123, 가상공연 참여를 위한 감정 표현이 가능한 소통형 관객 아바타 생성 기술 개발)

References

  1. V. Helzle, S. Spielmann, and J. Trottnow, "Green screens, green pixels and green shooting," in ACM SIGGRAPH 2022 Talks, ser. SIGGRAPH '22. New York, NY, USA: Association for Computing Machinery, 2022. . 
  2. C. Payne and F. L. Giardiello, ""openvpcal": An open source in-camera visual effects calibration framework," in ACM SIGGRAPH 2022 Talks, ser. SIGGRAPH '22. New York, NY, USA: Association for Computing Machinery, 2022. 
  3. D. Ring, K. T. Haug, P. Verga, D. Stump, N. Redmond, D. Caffrey, and P. Canning, ""comandante'': Braving the waves with near real-time virtual production workflows," in ACM SIGGRAPH 2022 Talks, ser. SIGGRAPH '22. New York, NY, USA: Association for Computing Machinery, 2022. 
  4. J. Song, "Digital double creation with unreal metahuman and facial scan," 한국컴퓨터그래픽스학회 학술대회, pp. 105-106, 2022. 
  5. J. N. Minjung Jang, Sunjin Jung, "Speech animation synthesis based on a korean co-articulation model," 한국컴퓨터그래픽스학회논문지, vol. 26, no. 3, pp. 49-59, 2020 https://doi.org/10.15701/kcgs.2020.26.3.49