• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.516-520
• /
• 2010

컴퓨터와 인간과의 상호작용에서 다양한 형태의 인터페이스에 대한 요구가 날로 커지고 있다. 그 가운데 실생활에서도 사물을 지칭하거나 의사소통의 수단으로 사용되는 손과 관련한 인터페이스에 대한 연구가 주목 받고 있다. 기존의 대부분의 연구들은 손을 입력 받으면 영상을 기반으로 손의 중심점을 찾아 그것의 위치를 인식하였는데 이는 물체에 의해 손이 가려진 것과 같이 잘못된 영상을 입력 받았을 때 원하는 결과를 얻지 못하는 상황을 야기할 수 있다. 본 논문은 이러한 점을 보완하기 위하여 손의 중심점을 찾을 때 방해 받는 물체에 덜 민감하게 반응하도록 칼만 필터를 적용하여 문제점을 개선할 수 있도록 하였다. 또한 결과의 정확도를 높일 수 있도록 손가락 끝점을 추출하여 칼만 필터의 매개변수에 반영시켜주었다. 그 결과 예기치 못한 상황이 발생했을 때에도 이것에 덜 민감하게 반응하면서 손의 위치를 비교적 정확하게 측정할 수 있었으며 시스템의 과정이 간단하여 실시간으로 응용하기에 적합한 것을 알 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.140-143
• /
• 2012

사람간의 상호작용에서 손은 중요한 역할을 담당하고 있기 때문에, 사람과 컴퓨터 사이의 인터페이스에 관한 연구에서 역시 손을 이용한 자연스러운 상호작용은 중요한 화두 중 하나이다. 따라서 본 논문에서는 손 기반 인터페이스를 위한 손 모양 인식 방법을 제안한다. 제안하는 방법은 비전 기반의 방법을 이용하기 때문에 사용자의 몰입을 방해할 수 있는 마커 혹은 센서의 부착을 요구하지 않으며, 간단하지만 효과적인 방법을 사용함으로써 실시간 연산을 보장한다. 또한 사용자의 양 손을 추적하고 손의 모양을 인식함으로써, 보다 자연스러운 양손 기반의 상호작용을 제공한다.

• Journal of Korea Game Society
• /
• v.17 no.6
• /
• pp.113-120
• /
• 2017

With the development of virtual reality technology, in recent years, user-friendly hand gesture interface has been more studied for natural interaction with a virtual 3D object. Most earlier studies on the hand-gesture interface are using relatively simple hand gestures. In this paper, we suggest an intuitive hand gesture interface for interaction with 3D object in the virtual reality applications. For hand gesture recognition, first of all, we preprocess various hand data and classify the data through the binary decision tree. The classified data is re-sampled and converted to the chain-code, and then constructed to the hand feature data with the histograms of the chain code. Finally, the input gesture is recognized by MCSVM-based machine learning from the feature data. To test our proposed hand gesture interface we implemented a 'Virtual Block' game. Our experiments showed about 99.2% recognition ratio of 16 kinds of command gestures and more intuitive and user friendly than conventional mouse interface.

• Journal of KIISE:Software and Applications
• /
• v.36 no.6
• /
• pp.471-478
• /
• 2009

Recently, researches for user interface are remarkably processed due to the explosive growth of 3-dimensional contents and applications, and the spread class of computer user. This paper proposes a novel method to manipulate windows efficiently using only the intuitive motion of hand. Previous methods have some drawbacks such as burden of expensive device, high complexity of gesture recognition, assistance of additional information using marker, and so on. To improve the defects, we propose a novel visual touchless interface. First, we detect hand region using hue channel in HSV color space to control window using hand. The distance transform method is applied to detect centroid of hand and curvature of hand contour is used to determine position of fingertips. Finally, by using the hand motion information, we recognize hand gesture as one of predefined seven motions. Recognized hand gesture is to be a command to control window. In the proposed method, user can manipulate windows with sense of depth in the real environment because the method adopts stereo camera. Intuitive manipulation is also available because the proposed method supports visual touch for the virtual object, which user want to manipulate, only using simple motions of hand. Finally, the efficiency of the proposed method is verified via an application based on our proposed interface.

• Journal of Digital Convergence
• /
• v.11 no.7
• /
• pp.157-163
• /
• 2013

In this paper, we propose a vision and depth information based real-time hand gesture interface method using finger joint estimation. For this, the areas of left and right hands are segmented after mapping of the visual image and depth information image, and labeling and boundary noise removal is performed. Then, the centroid point and rotation angle of each hand area are calculated. Afterwards, a circle is expanded at following pattern from a centroid point of the hand to detect joint points and end points of the finger by obtaining the midway points of the hand boundary crossing and the hand model is recognized. Experimental results that our method enabled fingertip distinction and recognized various hand gestures fast and accurately. As a result of the experiment on various hand poses with the hidden fingers using both hands, the accuracy showed over 90% and the performance indicated over 25 fps. The proposed method can be used as a without contacts input interface in HCI control, education, and game applications.

• The Journal of the Korea Contents Association
• /
• v.10 no.5
• /
• pp.20-28
• /
• 2010

In this paper, we propose a hand gesture interface for the manipulation of augmented objects in 3D space using a camera. Generally a marker is used for the detection of 3D movement in 2D images. However marker based system has obvious defects since markers are always to be included in the image or we need additional equipments for controling objects, which results in reduced immersion. To overcome this problem, we replace marker by planar hand shape by estimating the hand pose. Kalman filter is for robust tracking of the hand shape. The experimental result indicates the feasibility of the proposed algorithm for hand based AR interfaces.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1653-1656
• /
• 2013

본 논문에서는 키넥트를 사용하여 제스처를 인식해 프리젠테이션이 가능한 인터페이스를 제작하였다. 키넥트 카메라는 Microsoft Kinect SDK1.7 라이브러리를 사용해서 신체의 좌표값을 받아 손의 위치와 손의 제스처를 인식하는데 사용했으며, 파워포인트를 제어하기 위해 후킹 기능을 사용한다. 기존 키넥트에서 사용하던 제스처인 sweep을 기본으로, grip과 push 제스처로 프리젠테이션에 필요한 기능을 추가했다. 제스처 인식의 결과를 후킹을 통해 파워포인트로 전달해서, 슬라이드의 이동 뿐 아니라 메모 기능과 지우기 기능이 추가된 인터페이스를 제공한다. 인터페이스는 발표자의 발표능력 향상과 더불어, 제스처 인식 인터페이스를 타 콘텐츠에 적용이 가능하므로 추후 콘텐츠의 제작 및 상용화가 가능하다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02b
• /
• pp.1-6
• /
• 2007

최근 다양한 기기와 환경에서 문자 입력에 대한 요구가 높아지고 있다. 이에 따라 효율적인 문자 입력 인터페이스 설계를 위해 문자 입력 인터페이스의 평가가 필요한 실정이다. 기존 연구를 살펴보면 문자 입력 시간을 시각 탐색 시간과 손가락 이동 시간으로 나누고 정보처리 이론인 Hick-Hyman Law와 Fitts’ Law를 통해 예측, 평가 하였다. 하지만 위 두 과정은 연속적(serial)인 과정으로 눈과 손의 coordination(협응)에 대해 관과 하는 한계가 있다. 또한, 기존 문자 입력 시간 예측 모델은 전문가라는 특정 숙련도를 가정하고 만들어졌기 때문에 실제 문자 입력 시간에 비해 과대 측정되어 왔다. 이에 본 연구는 문자 입력 시간 예측 모델에 눈-손 coordination 매개변수를 삽입하고자 눈-손 coordination의 시간을 측정하고 행태를 분석하였다. 또한, 비숙련자와 숙련자의 구분을 통해 시각 탐색 시간과 손 움직임 시간 그리고 눈-손 coordination의 시간 과 행태가 어떻게 변화하는 지 분석하였다. 그 결과 눈-손 coordination 시간은 문자 입력 시간과 밀접한 관계가 있었다, 그리고, 눈-손 coordination 시간은 숙련도에 상관없이 문자 입력 시간의 22%를 차지하였다. 또한, 숙련자와 비숙련자의 문자 입력 시간과 비교해 손과 coordination 시간 비율은 차이가 없었다. 하지만, 눈의 움직임 시간 비율은 큰 차이를 나타내었다. 이 결과는 눈-손 coordination과 숙련도 차이를 기존 문자 입력 예측 모델에 매개변수로써 적용하기 위한 기초 자료가 될 것이다.

• Journal of the Korean Institute of Telematics and Electronics S
• /
• v.36S no.4
• /
• pp.70-82
• /
• 1999

본 논문에서는 복잡한 영상에서 추출해낸 손 영역으로부터 제스처를 인식하여 인간과 컴퓨터의 상호작용(HCI, Human-Computer Interaction)을 위한 보다 자연스러운 인터페이스를 제공한다. 제안하는 방법은 정규화된 RGB 색상 공간에 정의한 피부색의 가우시안 분포를 이용해 조명의 변화나 개인의 차이에도 안정적으로 손 영역을 추출하며, 배경에 대한 상대적인 움직임을 이용해 복잡한 영상에서도 효과적으로 손 영역을 추출해 낸다. 추출된 손 영역은 RBF(Radial Basis Function) 신경망을 이용해 각 제스처로 인식된다. 가상 환경과의 상호작용을 제공하기 위해 두 종류의 기본적인 정적 제스처들을 정의하며 간단한 구문론적 규칙을 사용해 하나 이상의 인식 결과들을 조합함으로써 적은 수의 제스처들만으로 보다 효율적이고 다양한 상호작용이 가능하게 한다. 제안하는 시스템은 TM320C80 DSP 칩을 사용하여 구현되었으며 300×240 영상을 12Hz로 처리함으로써 빠른 속도로 가상 환경의 인터페이스를 제공한다.

• Journal of the HCI Society of Korea
• /
• v.6 no.1
• /
• pp.1-8
• /
• 2011

As virtual realty has become an issue of providing immersive services, in the area of virtual realty, it has been actively investigated to develop user interfaces for immersive interaction. In this paper, we propose a gesture recognition based immersive user interface by using an IR LED embedded helmet and data gloves in order to reflect the user's movements to the virtual reality environments effectively. The system recognizes the user's head movements by using the IR LED embedded helmet and IR signal transmitter, and the hand gestures with the data gathered from data gloves. In case of hand gestures recognition, it is difficult to recognize accurately with the general recognition model because there are various hand gestures since human hands consist of many articulations and users have different hand sizes and hand movements. In this paper, we applied the Mixture-of-Experts based gesture recognition for various hand gestures of multiple users accurately. The movement of the user's head is used to change the perspection in the virtual environment matching to the movement in the real world, and the gesture of the user's hand can be used as inputs in the virtual environment. A head mounted display (HMD) can be used with the proposed system to make the user absorbed in the virtual environment. In order to evaluate the usefulness of the proposed interface, we developed an interface for the virtual orchestra environment. The experiment verified that the user can use the system easily and intuituvely with being entertained.