Abstract
Recently, interest in flight simulators based on HMD and mixed reality is increasing. However, they have limitations in providing various interactions and a sense of presence to pilot wearing HMD. To overcome these limitations, a mixed reality image corresponding to the interaction under the actual cockpit environment must be generated in real time and provided to the pilot. For this purpose, we proposed a mixed reality image generation method, in which the cockpit area including the pilot's body could be extracted from real image obtained from the camera attached to the HMD and then composed with virtual image to generate a high-resolution mixed reality image. Simulation results showed that the proposed method could provide mixed reality images to HMD at 30 Hz frame rate with 99% image composition accuracy.
최근 HMD와 혼합현실에 기반한 비행 시뮬레이터에 많은 관심이 증가하고 있다. 그러나 기존 혼합현실 기반 비행 시뮬레이터는 HMD를 착용한 조종사에게 다양한 상호작용과 실재감을 제공하는 데 한계가 있다. 이를 해결하기 위해서는 실제 조종석 환경하에서 상호작용에 대응하는 혼합현실 영상이 실시간으로 생성되어 조종사에게 제공되어야 한다. 본 논문에서는 HMD에 부착된 카메라에서 얻어지는 현실 영상에서 조종사의 신체를 포함한 조종석 영역을 검출하고, 이를 가상영상과 합성하여 고해상도의 혼합현실 영상을 실시간으로 생성하는 혼합현실 영상 생성기법을 제안하였다. 모의실험 결과는 99%의 영상합성 정확도를 지니고 30Hz 프레임율로 HMD에 혼합현실 영상을 제공할 수 있음을 보여준다.