The User Interface of Button Type for Stereo Video-See-Through

Stereo Video-See-Through를 위한 버튼형 인터페이스

This paper proposes a user interface based on video see-through environment which shows the images via stereo-cameras so that the user can control the computer systems or other various processes easily. We include an AR technology to synthesize virtual buttons; the graphic images are overlaid on the captured frames taken by the camera real-time. We search for the hand position in the frames to judge whether or not the user selects the button. The result of judgment is visualized through changing of the button color. The user can easily interact with the system by selecting the virtual button in the screen with watching the screen and moving her fingers at the air.

본 논문은 두 대의 카메라로부터 들어온 영상을 보여주는 see-through 장치의 사용 환경하에서 일반적인 사용자도 쉽고 편리하게 컴퓨터 시스템 또는 여러 프로세스들을 제어할 수 있는 사용자 인터페이스를 제안한다. 이를 위해 AR기술을 접목하여 영상이 보이는 화면에 가상의 버튼들을 합성하였으며, 화면상에 보이는 손의 위치를 추적하여 손가락에 의한 버튼의 선택 유무를 판단하고 각 상황에 따른 버튼의 색상 변경을 통해 결과를 나타내었다. 사용자는 단순히 화면을 보며 공중에서 손가락을 움직여 버튼을 선택함으로써 관련 작업을 수행 할 수 있다.