• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.16 no.4
• /
• pp.117-123
• /
• 2016

A hand-gesture interface to manipulate a 3D object of augmented reality is implemented by recognizing the user hand-gesture in this paper. Proposed method extracts the hand region from real image, and creates augmented object by hand marker recognized user hand-gesture. Also, 3D object manipulation corresponding to user hand-gesture is performed by analyzing a hand region ratio, a numbet of finger and a variation ratio of hand region center. In order to evaluate the performance of the our proposed method, after making a 3D object by using the OpenGL library, all processing tasks are implemented by using the Intel OpenCV library and C++ language. As a result, the proposed method showed the average 90% recognition ratio by the user command-modes successfully.

• Journal of Platform Technology
• /
• v.11 no.1
• /
• pp.38-51
• /
• 2023

We propose an intelligent interface algorithm using hand gesture recognition information based on artificial intelligence. This method is functionally an interface that recognizes various motions quickly and intelligently by using MediaPipe and artificial intelligence techniques such as KNN, LSTM, and CNN to track and recognize user hand gestures. To evaluate the performance of the proposed algorithm, it is applied to a self-made 2D top-view racing game and robot control. As a result of applying the algorithm, it was possible to control various movements of the virtual object in the game in detail and robustly. And the result of applying the algorithm to the robot control in the real world, it was possible to control movement, stop, left turn, and right turn. In addition, by controlling the main character of the game and the robot in the real world at the same time, the optimized motion was implemented as an intelligent interface for controlling the coexistence space of virtual and real world. The proposed algorithm enables sophisticated control according to natural and intuitive characteristics using the body and fine movement recognition of fingers, and has the advantage of being skilled in a short period of time, so it can be used as basic data for developing intelligent user interfaces.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2012.05a
• /
• pp.22-25
• /
• 2012

본 논문에서는 키보드나 마우스와 같은 인풋 디바이스 없이 손동작만으로 컴퓨터를 조작할 수 있는 차세대 인터페이스인 에어 인터페이스를 구현하였다. 이 시스템 구현을 위해 먼저 적외선 카메라와 적외선 LED를 사용하였고, 또한 적외선의 전반사의 원리를 이용하였다. 이를 통해 획득된 적외선 영상은 다양한 영상처리 기술을 통해 손 영역을 분할, 검출하게 되고, 검출된 정보를 이용하여 다양한 메타포를 구현 하였으며, 최종적으로 개별적인 제어 이벤트에 각각 맵핑되어 컴퓨터를 제어 및 동작하는 과정을 수행하게 된다. 본 연구에서는 손 영역의 검출과 추적, 인식과정 등을 자세히 서술하였으며, 다양한 메타포도 함께 소개가 된다. 그리고 본 연구에서 사용된 기술을 더욱 발전시키면 사회 전반적으로 다양한 부분에서 적극 활용될 것으로 기대된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.62-63
• /
• 2013

본 논문에서는 실제 수술환경에서 자연스러운 손 동작을 이용해 의료영상을 제어하고 동시에 관심 있는 환부의 영상을 획득할 수 있는 인터페이스를 제안한다. 특히 제안하는 인터페이스는 손을 들어올리는 등의 수술을 방해하는 동작을 강요하지 않음으로써 자연스러운 상호작용을 가능하게 하며, 또한 수술 영역에 수술 부위를 표시하고 저장하는 것과 같은 부가적인 기능을 제공하여 의사의 수술여건과 편의를 보장한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.507-511
• /
• 2008

컴퓨터 비전을 기반으로 한 영상처리 및 제스처인식 기술을 이용하여 편리하게 응용프로그램을 제어 할 수 있는 인터페이스를 구성하였다. 카메라로 얻어진 영상을 HSV 색상계로 변환 후 색상 정보를 이용하여 손 영역을 추출한다. 추출된 손 영역의 무게중심과 크기 변화를 추적하여 제스처를 인식한다. 인식한 제스처는 응용프로그램의 동작을 제어하거나 마우스의 입력을 대체하는데 사용된다. 이는 별도의 입력장치 없이 컴퓨터 비전 기술만으로 제스처를 인식하여 응용프로그램을 실행할 수 있어 자연스러우며 사용자 친화적인 인터페이스 환경을 제공한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.232-233
• /
• 2011

본 논문에서는 사용자의 손바닥 위에 증강되는 가상 객체와의 자연스러운 상호 작용을 제공하는 혁신적인 손 기반 인터페이스를 제안한다. 본 인터페이스에서는 한 손바닥 위에 다른 쪽 손의 손가락으로 미리 정의된 패턴을 그린 후 그 패턴을 인식함으로써 가상 객체들이 용이하게 선택되도록 한다. 이렇게 선택된 가상 객체들은 계산된 손바닥 포즈를 이용해서 손바닥 위에 증강된다. 손가락으로 그려진 패턴을 효과적으로 검출하기 위해 손가락을 감쌀 수 있는 마커를 사용하여 손가락의 궤적을 추적한다. 넓은 범위의 손바닥 포즈를 계산하고 손가락의 움직임을 인식함으로써 사용자는 다양한 시각에서 손바닥 위의 증강된 가상 객체와 자연스럽게 상호 작용할 수 있다.

• Proceedings of the ESK Conference
• /
• 1997.10a
• /
• pp.267-276
• /
• 1997

현대는 자동차 제조업체나 차종이 매우 다양하다. 따라서 이들은 보다 고객들이 좋아하고 만족할 만한 자동차를 제조하려고 노력하는 실정이다. 하지만 현재 우리 나라에서는 자동차와 같은 인간-기계 시스템의 설계 요소들의 인터페이스 구축이 디자이너의 이상적 설계(good design)와 제품 개발자의 공학적 기능 기술에만 상당 부분 의존하고 있다. 따라서 이러한 자동차 내부 인터페이스의 설계에 있어서 인간 의 정신적, 육체적 능력을 고려한 HMI설계에 대해서는 상대적으로 등한시하고 있는 실정이다. 이에 기계의 사용성이나 인간의 인지 능력, 그리고 시스템의 성능을 고려한 인간-기계-시스템 인지 모형 개발 및 사용자 중심의 인터페이스 구축이 시급하다고 여겨진다. 본 연구에서는 동작 분석을 통한 운전 Performance를 설명하고 이에 걸리는 시간을 예측할 수 있는 모델에 대하여 연구하였다. 본 연구결과, 운전자의 Object조작에 대한 손의 움직임은 크게 세가지로 나눌 수 있었으며, 이를 바탕으로 하여, 시각과 손의 조합에 의한 모델을 제시하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.540-543
• /
• 2011

최근 멀티 터치 인터랙션을 반영한 인터랙티브 인터페이스에 대하여 많은 연구가 진행중에 있다. 손을 이용한 터치 인터랙션은 여러 가지 제약이 따르므로 본 논문에서는 증강현실 기술의 하나인 마커인식 인터페이스와 멀티 터치 인터랙션 인터페이스를 이용한 체감형 적외선 멀티 카드 터치 기반 인식 시스템을 제안한다. 이를 위해 DI기반의 인식 알고리즘을 적용하여 카드의 고유한 정보와 위치정보, 각도 등을 인식 할 수 있도록 하였다. 또한 사용자의 손 제스처 정보를 트래킹 하여 다양한 인터랙션 메타포를 제공한다. 다양한 인터랙션 메타포는 시스템에 높은 몰입감을 제공하여서 아케이드 게임기기 에도 활용이 가능하다.

• Journal of Broadcast Engineering
• /
• v.19 no.1
• /
• pp.83-95
• /
• 2014

Hand posture recognition is an important technique to enable a natural and familiar interface in HCI(human computer interaction) field. In this paper, we introduce a hand posture recognition method by using a depth camera. Moreover, the hand posture recognition method is incorporated with MPEG-U based advanced user interaction (AUI) interface system, which can provide a natural interface with a variety of devices. The proposed method initially detects positions and lengths of all fingers opened and then it recognizes hand posture from pose of one or two hands and the number of fingers folded when user takes a gesture representing a pattern of AUI data format specified in the MPEG-U part 2. The AUI interface system represents user's hand posture as compliant MPEG-U schema structure. Experimental results show performance of the hand posture recognition and it is verified that the AUI interface system is compatible with the MPEG-U standard.

• The Journal of Korean Institute of Next Generation Computing
• /
• v.14 no.6
• /
• pp.66-74
• /
• 2018

Recently, there has been active studies on hand gesture recognition to increase immersion and provide user-friendly interaction in a virtual reality environment. However, most studies require specialized sensors or equipment, or show low recognition rates. This paper proposes a hand gesture recognition method using Deep Learning technology without separate sensors or equipment other than camera to recognize static and dynamic hand gestures. First, a series of hand gesture input images are converted into high-frequency images, then each of the hand gestures RGB images and their high-frequency images is learned through the DenseNet three-dimensional Convolutional Neural Network. Experimental results on 6 static hand gestures and 9 dynamic hand gestures showed an average of 92.6% recognition rate and increased 4.6% compared to previous DenseNet. The 3D defense game was implemented to verify the results of our study, and an average speed of 30 ms of gesture recognition was found to be available as a real-time user interface for virtual reality applications.