Bare-Hand Tracking Based on Automatic Color Calibration in Front Projection Environment

정면 투영 환경에서의 자동 칼라 보정에 의한 손 영역 추적 알고리즘

최근 대형 디스플레이 및 웨어러블 컴퓨터의 등장과 함께 키보드와 마우스를 사용하는 일반 데스크탑 환경에서 벗어난 컴퓨터와의 자연스러운 상호 작용 연구가 활발히 진행되고 있다. 본 논문에서는 스크린 정면에 놓인 프로젝터가 스크린과 그 위에 놓인 사용자의 손 위에 화면을 투영할 때 PC 카메라로 입력된 프레임 속에서 손의 영역을 인식하여 컴퓨터와 상호작용하게 하고자 한다. 이 경우에 투영된 빛이 사용자의 손 위에도 합쳐짐으로 인하여 피부의 고유색이 사라진다. 또한, 투영되는 화면이 사용자와 컴퓨터의 상호 작용에 따라 추정할 수 없이 변함에 따른 적응적 인식 방법이 필요하다. 따라서, 본 논문에서는 손을 인식하기에 앞서 스크린에 투영될 원본 이미지에 대해 칼라 보정을 수행하여 추정되는 카메라 입력 프레임을 생성한다. 이를 위해 우선 백색 영상을 투영하여 프레임 내의 자기 오차 맵을 생성한 후 R,G,B 채널 별로 원본 값에 대한 카메라 반응 값들을 룩업 테이블에 저장한다. 이를 통해 원본 이미지에 대해 칼라보정을 수행하고, 생성된 카메라 추정 프레임과 실제 카메라로 입력된 프레임 간 자기 성분을 비교하여 손 영역을 검출한다. 실험 결과, 주변의 조명 상태나 프로젝터 및 카메라의 위치에 관계없이 안정적인 인식 결과를 보였다.