• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.775-777
• /
• 2004

본 논문에서는 테트리스 게임을 위한 비젼 기반의 인터페이스를 제안하고 있다 제안된 인터페이스는 카메라로부터 실시간으로 입력되는 연속 영상에서 손의 제스처를 인식하고, 인식된 제스처를 게임의 명령으로 사용한다 테트리스 게임에 필요만 6개의 명령은 손의 자세로 정의되는 세 종류의 정적 제스처와 손의 자세와 움직임으로 정의되는 세 종류의 동적 제스처 정의된다. 손의 자세는 손 영역의 불변 모멘트로 표현하였고, 입력된 손 영역의 자세는 미리 학습된 불변 모멘트 값들과의 거리차이를 비교하여 분류한다. 실험 결과에서 제안된 시스템이 실시간 테트리스 게임의 인터페이스로 적용가능함을 보였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.169-174
• /
• 2006

본 논문에서는 Video see-through HMD 에 기반 하여 증강 현실을 위한 손 인터페이스를 제안한다. 착용형 컴퓨터의 입력 장치로써 Video see-through HMD 에 부착된 USB 카메라로부터 영상을 입력 받은 후, HSV 컬러 공간에서 탐색 윈도우 안의 개체를 이중 임계 값을 이용해 손과 팔이 포함된 객체로 분리한다. 그 다음 거리 변형 행렬을 이용하여 손과 팔을 분리하고, 볼록 다각형 외각점 추출을 통해 손 끝의 좌표를 검출한다. 이를 기반으로 한 어플리케이션 "AR-Memo"은 현실세계에서 손끝에 가상의 펜을 증강하여 메모를 하고 이동중에 손바닥을 통해 메모를 볼 수 있다. 증강 현실 기반 손 인터페이스를 사용함으로써 사용자는 이동중에도 직관적으로 입력을 할 수 있다. 또한 어떠한 물리적인 장치나 마커를 손에 부착하지 않기 때문에 자연스러운 인터페이스이다. 본 시스템은 착용형 컴퓨터와 결합되어 사용자에게 편리한 인터페이스를 제공할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.367-370
• /
• 2009

증강현실에서 자연스럽고 인간 친화적인 인터페이스로는 비전 기반의 손동작을 이용한 인터페이스가 가장 각광받고 있다. 그러나 복잡한 배경에서 손을 찾고 손동작을 인식하는 것은 여전히 어려운 문제로 남아 있다. 특히, 배경에 살색을 가진 물체가 많이 있다면 이 문제는 더욱 해결하기 어려워진다. 이 논문은 손 영역을 정확하게 검출 하는 방법에 초점이 맞춰져 있으며, 효과적인 방법을 제안한다. 제안하는 방법은 기본적으로 손과 팔을 포함하는 영역이 다른 피부색 영역과 다른 밝기를 가지고 있다고 가정한다. 구체적으로 제안하는 방법은 밝기 차이를 이용하여 피부색 영역으로부터 손과 팔을 포함하는 영역을 검출한다. 본 논문에서는 밝기 차이를 구분하는 방법으로 �o지(edge) 영상을 이용한다. 그 다음 손과 팔의 기하학적 특징을 이용하여 손목을 찾고 손을 포함하는 사각형 영역을 검출한다. 마지막으로 사각형 영역으로부터 손을 찾아낸다. 손을 찾는 방법 또한 약간 다르지만 비슷한 밝기 기반의 추출 방법을 사용한다. 우리는 간단한 손동작 기반의 증강현실 인터페이스를 구현함으로써 제안한 방법의 효용성을 검증한다.

• Korean Journal of Cognitive Science
• /
• v.8 no.4
• /
• pp.35-53
• /
• 1997

본 논문은 컴퓨터 시각을 이용하여 제스처를 인식함으로써 사용자에게 보다 편리한 인터페이스를 제공하는 것을 목표로 한다. 제안하는 제스처 인식 방법은 손영역을 획득하는 손영역 획득 모듈？손영역을 인식하는 인식 모듈로 나누어 수행한다. 손영역 획득 모듈에서는 손색상 모델？손색상 결정함수를 정의하여 칼라영상의 영역 분리를 수행하였고, 칼만필터를 이용하여 손색상 모델을 갱신하고 탐색영역을 제한하여 영역 추적을 용이하게 하였다. 영역 추적은 전 시점의 손영역 정보를 이용하여 현 시점의 손영역을 획득한다. 인식 모듈에서는 정적인 제스처를 표현하는 객체 프레임？행동 프레임, 그리고 동적인 제스처를 표현하는 스키마를 정의한다. 그리고 획득된 손영역？정합을 수행함으로써 제스처를 인식한다. 실험 결갬灌？제안하는 제스처 기반 인터페이스를 적용한 삼목(Tic-Tac-Toe) 게임 프로그램을 구현하였다. 사용자는 제스처를 이용하여 컴퓨터와 게임을 진행한다. 제안하는 시스템은 다른 종류의 게임 프로그램이나 마우스의 역할을 수행하는 윈도우 시스템의 제어, 그리고 가상 현실 시스템에 적용될 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.147-149
• /
• 2011

사용자에게 편리한 인터페이스를 제공하는 IT 기기가 널리 보급되면서 직관적인 인터페이스 기술에 대한 관심이 높아지고 있다. 이미지 센서로 입력된 사람의 손 모양이나 움직임을 이용하는 인터페이스가 그 중 하나이다. 한 편 이미지 센서 영상을 저장하기 위하여 H.264/AVC와 같은 영상 압축 기술이 사용된다. 영상을 압축하기 위해 부호기는 모든 Macroblock에서 움직임 추정을 수행한다. 추정된 움직임 정보는 손 움직임을 인식하는데 사용될 수 있고 이를 통해 전자 기기에 명령을 내리는 인터페이스 기술의 한 부분을 구현하는 것이 가능하다. 본 논문은 H.264/AVC 부호기의 Motion Vector를 이용하는 손 추적 알고리즘을 제시한다. 제시된 알고리즘은 손 움직임 추적의 정확도를 향상시키기 위하여 Motion Vector보다 신뢰도가 높은 Motion Density Map 정보를 사용한다. 이 정보를 이용하여 이동한 손을 포함하는 손 윈도우를 결정한다. 실험 결과를 통하여 제시된 알고리즘이 손의 움직임을 추적하는 것을 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.61-64
• /
• 2011

본 논문은 휴대폰 상에서 손(손가락) 동작을 이용한 가상 정보(객체)와의 자연스러운 상호작용을 제공하는 비전 기반 인터페이스를 제안한다. 이 인터페이스는 사용자가 한 손에 휴대폰을 들고 휴대폰의 카메라를 통해서 다른 손의 손바닥을 바라보는 상황을 가정한다. 사용자의 손바닥 위에 가상 객체가 증강되고, 사용자는 자신의 손과 손가락의 움직임을 통해서 가상 객체와 상호작용 할 수 있다. 제안하는 인터페이스는 사용자에게 친숙한 손동작 기반으로 동작하며 추가적인 센서나 마커를 요구하지 않기 때문에, 사용자는 별도의 훈련 과정 없이 원하는 시간과 장소에서 자유롭게 가상 객체와 상호작용 할 수 있다. 일부 시간이 많이 걸리는 처리 과정을 모바일 환경에 맞도록 최적화, 고속화함으로써, 제안하는 인터페이스는 상용화된 휴대폰(Galaxy S2)에서 5fps 로 동작한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.129-132
• /
• 2009

컴퓨터의 소형화로 휴대성과 공간의 제약이 없는 컴퓨터 인터페이싱 방법의 필요성이 증가하고 있으며, 이와 관련하여 인간-컴퓨터 상호작용(HCI)을 위한 제스처 기반의 제어방식에 대한 연구가 활발하게 진행되고 있다. 기존의 손동작 인터페이스 구현들은 컴퓨터를 제어하기 위하여 사용방법에 대한 선행학습이 필요하였다. 이 논문은 사용자의 손 모양과 손끝 정보만을 가지고 선행학습이 요구되지 않는 간편한 인터페이스 구현방법을 제안하였다. 이를 위해 1대의 웹캠과 인텔의 오픈소스 영상처리 라이브러리 OpenCv를 사용하였다. 차영상과 화소값 기반의 영상처리과정을 통해 실시간으로 손 영역을 추적하고 이를 이진화 시켰다. 손가락의 움직임도 값이 변하지 않도록 중심모멘트를 설정하여 마우스 커서 움직임을 상대적으로 활용하였다. 상황에 따라 손 끝점을 절대적 좌표로 활용하여 손이 웹캠에서 벋어날 때 움직임을 자연스럽게 연결시켰다. 마지막으로 검지의 움직임 하나 만으로 마우스 클릭 이벤트를 수행함으로써 보다 사용자에게 친숙한 핸드마우스 인터페이스를 구현하였다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.897-902
• /
• 2007

인간과 컴퓨터간의 전통적인 인터페이스는 인간이 요구하는 다양한 인터페이스를 제공하지 못한다는 점에서 점차 사용하기 불편하게 되었고 이는 새로운 형태의 인터페이스에 대한 요구로 이어지게 되었다. 본 논문에서는 이러한 추세에 맞추어 카메라를 통해 인간의 손 제스처를 인식하는 새로운 인터페이스를 연구하였다. 손은 자유도가 높고 3차원의 view direction에 의해 형상이 매우 심하게 변한다. 따라서 윤곽선 기반방법과 같은 2차원으로 투영된 영상에서 contour나 edge의 정보로 손 제스처를 인식하는 데는 한계가 있다. 그러나 모델기반 방법은 3차원 정보를 이용하기 때문에 손 제스처를 인식하는데 좋으나 계산량이 많아 실시간으로 처리하기가 쉽지 않다. 이러한 문제점을 해결하기 위해 손 형상에 대한 대규모 데이터베이스를 구성하고 정규화된 공간에서 Feature 간의 연관성을 파악하여 훈련 데이터 모델을 구성하여 비교함으로써 실시간으로 손 포즈를 구별할 수 있다. 이러한 통계적 학습 기반의 알고리즘은 다양한 데이터와 좋은 feature의 검출이 최적의 성능을 구현하는 것과 연관된다. 따라서 배경으로부터 노이즈를 최대한 줄이기 위해 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고 검출된 후보 영역으로부터 HLF(Haar-like Feature)를 이용하여 손 영역을 검출한다. 검출된 손 영역으로부터 패턴 분류 과정을 거쳐 손 포즈를 인식 하게 된다. 패턴 분류 과정은 HLF를 이용하여 손 포즈를 인식하게 되는데 미리 학습된 각 포즈에 대한 HLF를 이용하여 손 포즈를 인식하게 된다. HLF는 Violar가 얼굴 검출에 적용한 것으로 얼굴 검출에 좋은 결과를 보여 주었으며, 이는 적분 이미지로부터 추출한 HLF를 이용한 Adaboost 학습 알고리즘을 사용하였다. 본 논문에서는 피부색의 색상 정보를 이용 배경과 손 영상을 최대한 분리하여 배경의 대부분이 Adaboost-Haar Classifier의 첫 번째 스테이지에서 제거되는 방법을 이용하여 그 성능을 더 향상 시켜 손 형상 인식에 적용하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.25 no.2
• /
• pp.1-9
• /
• 2019

This study compares hand-based interfaces to improve a user's virtual reality (VR) presence by enhancing user immersion in VR interactions. To provide an immersive experience, in which users can more directly control the virtual environment and objects within that environment using their hands and, to simultaneously minimize the device burden on users using immersive VR systems, we designed two experimental interfaces (hand motion recognition sensor- and controller-based interactions). Hand motion recognition sensor-based interaction reflects accurate hand movements, direct gestures, and motion representations in the virtual environment, and it does not require using a device in addition to the VR head mounted display (HMD). Controller-based interaction designs a generalized interface that maps the gesture to the controller's key for easy access to the controller provided with the VR HMD. The comparative experiments in this study confirm the convenience and intuitiveness of VR interactions using the user's hand.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.715-717
• /
• 2004

본 논문에서는 HTPC를 제어하기 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스를 이용하여 사용자는 HTPC와 떨어진 장소에서 쉽게 HTPC를 제어할 수 있다. 제스처를 인식하기 위해 인터페이스는 실시간 연속 영상으로부터 사용자의 손을 검출하고, 손의 움직임, 모양, 위치 정보를 추출한다. 사용자의 제스처를 인식하기 위해 추출된 정보와 HMMs 을 사용한다. 실험 결과는 제안한 인터페이스가 멀티미디어 응용프로그램뿐만 아니라 다른 종류의 컴퓨터 응용프로그램에서 사용자와 HTPC간에 상호작용하여 접근할 수 있음을 보인다.