• ETRI Journal
• /
• 제33권3호
• /
• pp.415-422
• /
• 2011

In this paper, we present a novel vision-based method of recognizing finger actions for use in electronic appliance interfaces. Human skin is first detected by color and consecutive motion information. Then, fingertips are detected by a novel scale-invariant angle detection based on a variable k-cosine. Fingertip tracking is implemented by detected region-based tracking. By analyzing the contour of the tracked fingertip, fingertip parameters, such as position, thickness, and direction, are calculated. Finger actions, such as moving, clicking, and pointing, are recognized by analyzing these fingertip parameters. Experimental results show that the proposed angle detection can correctly detect fingertips, and that the recognized actions can be used for the interface with electronic appliances.

• 한국멀티미디어학회논문지
• /
• 제17권12호
• /
• pp.1430-1436
• /
• 2014

We propose an algorithm which detects the touch of the fingertip on a general wall using the shadow information. Nowadays, there is a demand for presentation systems which can perceive the presenter's action so that the presenter can use natural movements without extra interface hardware. One of the most fundamental techniques in this area is the detection of the fingertip and the recognition of the touch of the fingertip on the screen. The proposed algorithm recognizes the touch of the fingertip without using the depth information, and therefore needs no depth or touch sensing devices. The proposed method computes the convex hull points of both the fingertip and the shadow of the fingertip, and then computes the distance between those points to decide whether a touch event has occured. Using the proposed method, it is possible to develop a new projector device which can perceive a fingertip touch on a general wall.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권4호
• /
• pp.618-632
• /
• 2010

This paper presents a novel approach to control the augmented reality (AR) objects robustly in a marker-less AR system by fingertip tracking and hand pattern recognition. It is known that one of the promising ways to develop a marker-less AR system is using human's body such as hand or face for replacing traditional fiducial markers. This paper introduces a real-time method to manipulate the overlaid virtual objects dynamically in a marker-less AR system using both hands with a single camera. The left bare hand is considered as a virtual marker in the marker-less AR system and the right hand is used as a hand mouse. To build the marker-less system, we utilize a skin-color model for hand shape detection and curvature-based fingertip detection from an input video image. Using the detected fingertips the camera pose are estimated to overlay virtual objects on the hand coordinate system. In order to manipulate the virtual objects rendered on the marker-less AR system dynamically, a vision-based hand control interface, which exploits the fingertip tracking for the movement of the objects and pattern matching for the hand command initiation, is developed. From the experiments, we can prove that the proposed and developed system can control the objects dynamically in a convenient fashion.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권5호
• /
• pp.11-20
• /
• 2019

딥러닝 기술의 발전으로 가상 현실이나 증강 현실 응용에서 사용하기 적절한 사용자 친화적 인터페이스에 관한 연구가 활발히 이뤄지고 있다. 본 논문은 사용자의 손을 이용한 인터페이스를 지원하기 위하여 손 끝 좌표를 추적하여 가상의 객체를 선택하거나, 공중에 글씨나 그림을 작성하는 행위가 가능하도록 딥러닝 기반 손 끝 객체 탐지 방법을 제안한다. 입력 영상에서 Grad-CAM으로 해당 손 끝 객체의 대략적인 부분을 잘라낸 후, 잘라낸 영상에 대하여 Atrous Convolution을 이용한 합성곱 신경망을 수행하여 손 끝의 위치를 찾는다. 본 방법은 객체의 주석 전처리 과정을 별도로 요구하지 않으면서 기존 객체 탐지 알고리즘 보다 간단하고 구현하기에 쉽다. 본 방법을 검증하기 위하여 Air-Writing 응용을 구현한 결과 평균 81%의 인식률과 76 ms 속도로 허공에서 지연 시간 없이 부드럽게 글씨 작성이 가능하여 실시간으로 활용 가능함을 알 수 있었다.

• 제어로봇시스템학회논문지
• /
• 제18권4호
• /
• pp.328-336
• /
• 2012

In this paper, we propose a robust fingertip extraction and extended Continuously Adaptive Mean Shift (CAMSHIFT) based robust hand gesture recognition for natural human-like HRI (Human-Robot Interaction). Firstly, for efficient and rapid hand detection, the hand candidate regions are segmented by the combination with robust $YC_bC_r$ skin color model and haar-like features based adaboost. Using the extracted hand candidate regions, we estimate the palm region and fingertip position from distance transformation based voting and geometrical feature of hands. From the hand orientation and palm center position, we find the optimal fingertip position and its orientation. Then using extended CAMSHIFT, we reliably track the 2D hand gesture trajectory with extracted fingertip. Finally, we applied the conditional density propagation (CONDENSATION) to recognize the pre-defined temporal motion trajectories. Experimental results show that the proposed algorithm not only rapidly extracts the hand region with accurately extracted fingertip and its angle but also robustly tracks the hand under different illumination, size and rotation conditions. Using these results, we successfully recognize the multiple hand gestures.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.65-75
• /
• 2013

본 논문에서는 깊이 영상만을 이용하여 손 영역 추적 및 손 끝점 검출 방법을 제안한다. 조명 조건의 영향을 제거하고 빠르고 안정적인 정보 획득을 위해 깊이 정보만을 이용하는 추적 방법을 제안하고, 영역 확장 방법을 통해 추적 과정 중에 발생할 수 있는 오류에 대한 판단 방법과 다양한 제스처 인식에 응용이 가능한 손 끝점 검출 방법을 제안한다. 먼저 추적점을 찾기 위해 중심점 전이 과정을 통해 최근접점을 찾고 그 점으로부터 영역 확장을 통해 손 영역과 경계선을 검출한다. 그리고 영역 확장을 통해 획득한 무효경계선의 비율을 이용하여 추적영역에 대한 신뢰도를 계산함으로써 정상 추적 여부를 판단한다. 정상적인 추적인 경우, 검출된 손 영역으로부터 윤곽선을 추출하고 곡률 및 RANSAC, 컨벡스 헐(Convex-Hull)을 이용하여 손 끝점을 검출한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 추적 및 손 끝점 검출 알고리즘의 효율성을 입증한다.

• 한국콘텐츠학회논문지
• /
• 제11권10호
• /
• pp.1-10
• /
• 2011

본 논문은 CCTV 관제에서 동작 인식을 위한 색상 기반 손과 손가락 탐지 기술을 제안하였다. 논문의 목표는 피부색을 기반으로 한 손 영역 탐지 및 손동작 인식에 대한 강인한 방법을 제안하는 것이다. 탐지된 손 영역과 손동작 인식 기술은 에어 마우스 및 스마트 TV를 조정하는데 적용될 수 있으며 홈시어터 및 감성 센서를 기반으로 하는 장치들을 조종하기 위하여도 사용될 수 있다. 입력 영상으로부터 손 영역을 구분하기 위하여 색상 기반 윤곽선 추출 방법이 사용되어지고 윤곽이 구분된 손으로부터 y좌표값을 계산하여 손가락 끝점을 탐지한다. 손가락 끝점의 위치를 탐지한 후에, R채널만을 이용하여 추적을 하며 손동작 인식에 있어서 차영상 기법을 적용하여 잡영상 제거와 같은 강인한 면을 보여준다. 제안하는 방법으로 손가락 끝점의 추적과 손동작 인식에 관련된 많은 실험을 진행하였고, 실험 결과는 기존의 방법보다 성능 면에 있어서 96% 이상의 정확도를 보여준다.

• Journal of Computational Design and Engineering
• /
• 제1권4호
• /
• pp.289-297
• /
• 2014

Although big-sized markers are good for accurate marker recognition and tracking, they are easily occluded by other objects and deteriorate natural visualization and level of immersion during user interaction in AR environments. In this paper, we propose an approach to exploiting the use of rectangular markers to support tangible AR interaction based on fingertip touch using small-sized markers. It basically adjusts the length, width, and interior area of rectangular markers to make them more suitably fit to longish objects like fingers. It also utilizes convex polygons to resolve the partial occlusion of a marker and properly enlarges the pattern area of a marker while adjusting its size without deteriorating the quality of marker detection. We obtained encouraging results from users that the approach can provide better natural visualization and higher level of immersion, and be accurate and tangible enough to support a pseudo feeling of touching virtual products with human hands or fingertips during design evaluation of digital handheld products.

• 전기전자학회논문지
• /
• 제18권4호
• /
• pp.478-484
• /
• 2014

본 논문에서는 Kinect Depth 카메라에서 손가락의 방향을 이용한 마우스 커서의 위치 선정에 관한 새로운 방법을 제안한다. 제안하는 방법은 손가락의 방향이 카메라를 향해 있을 경우는 거리변환을 이용한 손의 중점좌표를 이용한다. 손가락의 방향이 카메라를 향해 있지 않을 경우에는 손가락의 끝점 좌표를 이용한다. 손의 중점좌표는 전처리를 거친 영상의 거리변환 결과에서 가장 밝은 픽셀의 좌표를 이용하여 구한다. 손가락의 방향이 카메라를 향해 있을 경우에는 손가락의 끝점 좌표와 손의 중점 좌표 사이의 거리가 가까워지므로 중점좌표를 이용하여, 위치 선정의 정확도를 향상시킬 수 있게 된다. 손가락의 끝점 좌표는 손 영역만을 추출한 영상에서 팔 부분을 제거하여 영상의 중심에서 가장 멀리 떨어져있는 픽셀을 이용하여 구한다. 본 논문에서 제안하는 커서 위치 선정의 정확도를 측정하기 위해 임의의 5개의 기준 좌표를 선정하고 기준 좌표와 측정된 마우스 좌표사이의 오차를 500회 반복하여 측정하여 에러율을 측정한 결과, 평균 11 % 미만의 오차율을 나타내어 제안한 방법의 정확도를 확인할 수가 있었다.

• 한국CDE학회논문집
• /
• 제18권5호
• /
• pp.374-383
• /
• 2013

Various interaction techniques have been studied for providing the feeling of touch and improve immersion in augmented reality (AR) environments. Tangible AR interaction exploiting two types (product-type and pointer-type) of simple objects has earned great interest for cost-effective design evaluation of digital handheld products. When the sizes of markers attached to the objects are kept big to obtain better marker recognition, the pointer-type object frequently and significantly occludes the product-type object, which deteriorates natural visualization and level of immersion in an AR environment. In this paper, in order to overcome such problems, we propose tangible AR interaction using fingertip touch combined with small-sized markers. The proposed approach facilitates the use of convex polygons to recover the boundaries of AR markers which are partially occluded. It also properly enlarges the pattern area of each AR marker to reduce the sizes of AR markers without sacrificing the quality of marker detection. We empirically verified the quality of the proposed approach, and applied it in the process of design evaluation of digital products. From experimental results, we found that the approach is comparably accurate enough to be applied to the design evaluation process and tangible enough to provide a pseudo feeling of manipulating virtual products with human hands.