Digital Twin Classroom using 360 Camera

360 카메라를 이용한 디지털 트윈 강의실

  • Yoo, Hyeontae (Department of Information and Communication Engineering, Inha University) ;
  • Kim, Jinho (Department of Information and Communication Engineering, Inha University) ;
  • Kim, Yoosung (Department of Information and Communication Engineering, Inha University) ;
  • Park, Inkyu (Department of Information and Communication Engineering, Inha University)
  • 유현태 (인하대학교 정보통신공학과) ;
  • 김진호 (인하대학교 정보통신공학과) ;
  • 김유성 (인하대학교 정보통신공학과) ;
  • 박인규 (인하대학교 정보통신공학과)
  • Published : 2021.06.23

Abstract

본 논문에서는 딥러닝 얼굴 인식을 이용하여 실시간 360 공간 Classroom 과 실시간을 기반으로 한 가상 360 공간 Classroom 을 제안한다. MTCNN 을 이용한 얼굴 검출 및 Inception Resnet V1 모델을 이용한 딥러닝 기법을 통해 얼굴인식을 진행하고 HSV 색공간 기반의 화자 판별, 아바타 Rendering, 출석 체크 등을 진행한다. 이후 시각화를 위해 제작한 Web UI/UX 를 통해 사용자에게 현실과 가상 공간을 넘나드는 Twin Classroom 을 제공한다. 따라서 사용자는 새로운 화상 교육 플랫폼에서 보다 개선되고 생동감 있는 Classroom 에서 교육을 받을 수 있다.

Keywords

Acknowledgement

본 논문은 2021 년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(2020-0-01389, 인공지능융합연구센터지원(인하대학교)).