Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

실감형 원격 미팅을 위한 3차원 실사 아바타 생성 기술

  • Published : 2021.07.30
Download PDF
⟨ Previous Next ⟩

Abstract

최근 메타버스가 장안의 화제로 떠오르면서 많은 사람들의 관심이 쏠리고 있다. 회사의 공간을 극단적으로 줄이고 메타버스로 출근하는 IT기업들이 생겨나는가 하면, 커리큘럼에 메타버스를 적용한 실습교육을 도입하는 의대가 생기기도 했다. 이처럼 사회 생활 전반에 걸쳐 새로운 혁신을 주는 미래의 먹거리로 도약하고 있지만, 그 구현에 있어서 여전히 해결해야 할 기술적 과제가 존재한다. 본 고에서는 회의 참가자가 자신과 똑같은 3차원 실사 아바타를 통해 원격 미팅에 참여하고 다른 참가자와 상호작용할 수 있도록 구성되는 실감형 원격 미팅 시스템을 소개한다. 특히 가장 핵심적 요소 기술인 실사 아바타를 구현하는 방법에 대해 구체적으로 설명한다.

Keywords

References

  1. 메타버스, https://ko.wikipedia.org/wiki/%EB%A9%94%ED%83%80%EB%B2%84%EC%8A%A4
  2. Mirella Walker, Changing the Personality of a Face: Perceived Big Two and Big Five Personality Factors Modeled in Real Photographs, Journal of Personality and Social Psychology 110(4): 609-624 https://doi.org/10.1037/pspp0000064
  3. Pascal Paysan, Reinhard Knothe, Brian Amberg, Sami Romdhani, and Thomas Vetter, A 3D Face Model for Pose and Illumination Invariant Face Recognition, AVSS 2009
  4. Richard Hartley, Andrew Zisserman, Multiple View Geometry in computer vision
  5. 허재영, 장성걸, 박종일, 실감 영상회의 시스템을 위한 헤어스타일 탐색 방법, 한국방송미디어공학회 하계학술대회, 2021
  6. AVATAR SDK, https://avatarsdk.com/
  7. Xuehan Xiong, Fernando De la Torre, Supervised Descent Method and its Applications to Face Alignment, CVPR 2013
  8. Marek Kowalski, Jacek Naruniec, and Tomasz Trzcinski, Deep Alignment Network: A convolutional neural network for robust face alignment, CVPR 2017
  9. Xiaojie Guo, Siyuan Li, Jinke Yu, Jiawan Zhang, Jiayi Ma, Lin Ma, Wei Liu, Haibin Ling, PFLD: A Practical Facial Landmark Detector, arXiv preprint arXiv:1902.10859 (2019)
  10. Xinyao Wang, Liefeng Bo, Li Fuxin, Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression, ICCV 2019
  11. Li, Zuoxin, and Fuqiang Zhou, FSSD: feature fusion single shot multibox detector, arXiv preprint arXiv:1712.00960 (2017)
  12. P. Huber, Z. Feng, W. Christmas, J. Kittler, M. Ratsch, Fitting 3D Morphable Models using Local Features, ICIP 2015
  13. P. Huber, G. Hu, R. Tena, P. Mortazavian, W. Koppen, W. Christmas, M. Ratsch, J. Kittler, A Multiresolution 3D Morphable Face Model and Fitting, VISAPP 2016
  14. Jungsik Park, Byung-Kuk Seo, Jong-Il Park, A Framework for Real-Time 3D Freeform Manipulation of Facial Video, November 2019, Applied Sciences 9(21): 4707 https://doi.org/10.3390/app9214707
  15. Zhou, Yi, et al, Hairnet: Single-view hair reconstruction using convolutional neural networks, ECCV 2018
  16. Zhang, Meng, and Youyi Zheng, Hair-GAN: Recovering 3D hair structure from a single image using generative adversarial networks, Visual Informatics 3.2 (2019): 102-112 https://doi.org/10.1016/j.visinf.2019.06.001
  17. Doersch, Carl, Tutorial on variational autoencoders, arXiv preprint arXiv: 1606.05908 (2016)
  18. Bank, Dor, Noam Koenigstein, and Raja Giryes, Autoencoders, arXiv preprint arXiv: 2003.05991 (2020)
  19. Zhou, Yijun, and James Gregson, WHENet: Real-time Fine-Grained Estimation for Wide Range Head Pose, arXiv preprint arXiv:2005.10353 (2020)
  20. Bertok, Kornel, Levente Sajo, and Attila Fazekas, A robust head pose estimation method based on POSIT algorithm, Argumentum 7 (2011): 348-356
  21. 차세대 실감형 원격미팅 시스템 개발, 과학기술정보통신부 과제 No. 2020-0-0271