DOI QR코드

DOI QR Code

Creating and Utilization of Virtual Human via Facial Capturing based on Photogrammetry

포토그래메트리 기반 페이셜 캡처를 통한 버추얼 휴먼 제작 및 활용

  • Ji Yun (Department of Film&Visual Effect, Dongseo University) ;
  • Haitao Jiang (Department of Film&Visual Effect, Dongseo University) ;
  • Zhou Jiani (Department of Film&Visual Effect, Dongseo University) ;
  • Sunghoon Cho (Department of Film&Visual Effect, Dongseo University) ;
  • Tae Soo Yun (Department of Game, Dongseo University)
  • 길운 (동서대학교 Film&Visual Effect학과) ;
  • 강해도 (동서대학교 Film&Visual Effect학과) ;
  • 저우자니 (동서대학교 Film&Visual Effect학과) ;
  • 조성훈 (동서대학교 Film&Visual Effect학과) ;
  • 윤태수 (동서대학교 게임학과)
  • Received : 2024.03.25
  • Accepted : 2024.06.30
  • Published : 2024.06.30

Abstract

Recently, advancements in artificial intelligence and computer graphics technology have led to the emergence of various virtual humans across multiple media such as movies, advertisements, broadcasts, games, and social networking services (SNS). In particular, in the advertising marketing sector centered around virtual influencers, virtual humans have already proven to be an important promotional tool for businesses in terms of time and cost efficiency. In Korea, the virtual influencer market is in its nascent stage, and both large corporations and startups are preparing to launch new services related to virtual influencers without clear boundaries. However, due to the lack of public disclosure of the development process, they face the situation of having to incur significant expenses. To address these requirements and challenges faced by businesses, this paper implements a photogrammetry-based facial capture system for creating realistic virtual humans and explores the use of these models and their application cases. The paper also examines an optimal workflow in terms of cost and quality through MetaHuman modeling based on Unreal Engine, which simplifies the complex CG work steps from facial capture to the actual animation process. Additionally, the paper introduces cases where virtual humans have been utilized in SNS marketing, such as on Instagram, and demonstrates the performance of the proposed workflow by comparing it with traditional CG work through an Unreal Engine-based workflow.

최근 들어 인공지능, 컴퓨터 그래픽기술이 진화하면서 영화,광고, 방송, 게임, SNS 등 여러매체를 통해 다양한 가상휴먼이 등장하고 있다. 특히, 가상인플루언서를 중심으로 한 광고 마케팅 시장에서 가상휴먼은 시간과 비용 측면에서 기업의 중요한 홍보수단으로 이미 중요성이 입증된 상태이다. 국내는 가상 인플루언서 시장의 태동기 단계로 대기업 및 스타트업 경계없이 가상인플루언서 관련 신규 서비스를 출시 준비를 하고자 하나, 그 개발 프로세스가 공개되어 있지 않아 많은 비용을 지불해야 하는 상황이다. 이런 기업의 요구사항과 애로사항을 해결하기 위해 본 논문에서는 실사기반의 가상휴먼을 제작하기 위한 포토그래메트리기반 페이셜 캡춰 시스템을 구현하고, 이를 활용한 가상휴먼 모델링 및 활용사례에 대하여 고찰한다. 페이셜 캡처 후 실제 애니메이션이 가능한 과정까지의 복잡한 CG 작업 단계를 간소화할 수 있는 언리얼엔진기반의 메타휴먼 모델링을 통해 비용과 품질면에서 최적의 워크플로우에 대해서도 고찰하고, 또한 인스타그램 등 SNS마케팅에 활용한 사례에 대해서도 소개한다. 언리얼엔진기반의 워크플로우를 통해 기존의 CG작업과의 비교를 통해 제안한 워크플로우의 성능을 입증한다.

Keywords

References

  1. H. Jiang, " A Study on Real-Time Graphic Workflow for Achieving The Photorealistic Virtual Influencer", Journal of advanced smart convergence, Vol. 12, no.1, pp130-139, 2023
  2. Digital Human Avatar Market By Product, By Industry Vertical, and By Region Forecast to 2030, https://www.emergenresearch.com/ industry-report/digital-human-avatar-market.
  3. W. Linder, Digital Photogrammetry: Theory and Applications, Spring Science & Bussiness Media, 2013.
  4. P. Debevec, " Acquiring the Reflectance Field of a Human Face", In Proceedings of the 27th annual conference on Computer graphics and interactive techniques , pp145-156, 2000.
  5. C.H. Kim, "Facial Motion Capture System Based on Facial Electromyogram and Electrooculogram for Immersive Social Virtual Reality Applications", Sensors, Vol 23, no.7, 2023.
  6. H.W. Xu, "High-Quality Real Time Facial Capture Based on Single Camera", arXiv, 2021.
  7. M. Kocabas, "HUGS: Human Gaussian Splats", arXiv, 2023.