Proceedings of the Korean Society for Emotion and Sensibility Conference (한국감성과학회:학술대회논문집)

Korean Society for Emotion and Sensibility (한국감성과학회)
권호 표지

A study on AR(Augmented Reality) game platform design using multimodal interaction

멀티모달 인터렉션을 이용한 증강현실 게임 플랫폼 설계에 관한 연구

  • 김치중 (상명대학교 일반대학원 컴퓨터과학과) ;
  • 황민철 (상명대학교 디지털미디어학부) ;
  • 박강령 (동국대학교 전자공학과) ;
  • 김종화 (뇌정보통신연구소) ;
  • 이의철 (상명대학교 일반대학원 컴퓨터과학과) ;
  • 우진철 (상명대학교 일반대학원 컴퓨터과학과) ;
  • 김용우 (상명대학교 일반대학원 컴퓨터과학과) ;
  • 김지혜 (상명대학교 일반대학원 컴퓨터과학과) ;
  • 정용무 (전자부품연구원 SoC플랫폼 연구센터)
  • Published : 2009.11.20
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 HMD(Head Mounted Display), 적외선 카메라, 웹 카메라, 데이터 글러브, 그리고 생리신호 측정 센서를 이용한 증강현실 게임 플랫폼 설계를 목적으로 하고 있다. HMD 는 사용자의 머리의 움직임을 파악하고, 사용자에게 가상 물체를 디스플레이화면에 제공한다. 적외선 카메라는 HMD 하단에 부착하여 사용자의 시선을 추적한다. 웹 카메라는 HMD 상단에 부착하여 전방 영상을 취득 후, 현실영상을 HMD 디스플레이를 통하여 사용자에게 제공한다. 데이터 글러브는 사용자의 손동작을 파악한다. 자율신경계반응은 GSR(Galvanic Skin Response), PPG(PhotoPlethysmoGraphy), 그리고 SKT(SKin Temperature) 센서로 측정한다. 측정된 피부전기반응, 맥파, 그리고 피부온도는 실시간 데이터분석을 통하여 집중 정도를 파악하게 된다. 사용자의 머리 움직임, 시선, 그리고 손동작은 직관적 인터랙션에 사용되고, 집중 정도는 직관적 인터랙션과 결합하여 사용자의 의도파악에 사용된다. 따라서, 본 연구는 멀티모달 인터랙션을 이용하여 직관적 인터랙션 구현과 집중력 분석을 통하여 사용자의 의도를 파악할 수 있는 새로운 증강현실 게임 플랫폼을 설계하였다.

Keywords