• Proceedings of the Korean Society of Computer Information Conference
• /
• 2008.06a
• /
• pp.231-235
• /
• 2008

컴퓨터 및 주변기기의 성능이 발전함에 따라 영상처리에 대한 관심이 높아지고, 영상으로부터 원하는 정보를 얻기 위한 연구가 활발히 진행되고 있다. 이러한 연구에서 움직임 추적, 특정 사물 추출, 동영상 검색 등으로 정보를 추출하는 과정은 높은 시스템 자원을 요구하기 때문에 멀티태스킹이 어렵다. 따라서 본 논문에서는 시스템 자원의 사용을 최소화하는 제스쳐 인식시스템을 설계하고 구현한다. 이 시스템은 동적테이블 마스킹을 이용하여 노이즈를 제거하고, 가이드라인 인식 방법을 적용하여 손동작 제스쳐를 인식한다, 또한 안면 비율 분할 방법과 음영 측정 방법을 이용하여 눈과 입술의 제스쳐를 인식한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.924-927
• /
• 2018

본 논문에서는 거동이 불편한 환자나 장애인들을 위해 신체에 착용하는 부가적인 장비 없이 멀리 있는 가전을 직접 움직이지 않고 편리하게 제어할 수 있는 RGB-D 카메라를 활용한 손 인식과 딥러닝 기반 IoT 장치 컨트롤 시스템을 제안한다. 특히, 제어하고자 하는 장치의 위치를 알기 위하여 YOLO 알고리즘을 이용하여 장치를 인식한다. 또한 그와 동시에 RGB-D 카메라의 라이브러리를 이용하여 사용자의 손을 인식, 현재 사용자 손의 위치와 사용자가 취하는 손동작을 통하여 해당 위치의 장치를 제어한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.289-290
• /
• 2020

본 논문에서는 오픈 소스인 openpose skeleton tracking 기술을 이용하여 특정 운동 동작을 영상처리 기술과 딥러닝 기술로 인체 자세에 대해서 인지와 상황 판단하여 운동 동작에 대한 인식 결과를 도출할 수 있다. 먼저 입력받은 영상을 전달받아서 딥러닝 인식 시스템를 통해 인식 결과을 추출한 뒤 비교, 분석한 후에 사전 등록된 운동 동작 명칭으로 화면에 표시하여 이용자가 정확한 동작을 취할 수 있도록 지도하는 데 활용할 수 있다. 또한, 이 기술은 행동 인식부터 얼굴 인식, 손동작 인식 등에 다양하게 활용할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.577-580
• /
• 2022

본 논문에서는 마이크로소프트(Microsoft, MS) 홀로렌즈v2를 이용하여 물리 기반 애니메이션은 유체와 로프를 제어할 수 있는 새로운 방법에 대해 소개한다. 물리 기반 시뮬레이션 혼합현실, 메타버스, 게임 등 다양한 콘텐츠에서 몰입감을 개선하기 위해 활용되고 있는 기술이다. 하지만, 계산양이 크고 사용자가로 인한 직관적인 제어 시스템의 부재로 많은 시장에 활용되기에는 어려운 구조이다. 이러한 문제를 완화하기 위해 본 논문에서는 혼합현실 환경에서 무선으로 사용자 인터페이스를 구현한 홀로렌즈v2를 이용하여 물리 애니메이션을 제어하고자 한다. 이러한 도전은 혼합현실에서도 사용자의 손동작, 음성, 눈 추적 등 다양한 인터페이스를 통해 시뮬레이션을 제어할 수 있다는 가능성을 열어줌으로써, 관련시장도 확장 될 수 있다. 본 논문에서는 대표적으로 유체와 로프 시뮬레이션을 홀로렌즈를 통해 제어하는 결과를 보여준다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.21 no.7
• /
• pp.685-691
• /
• 2020

In this study, an algorithm that recognizes numbers from 0 to 9 was developed using the data obtained after tracking hand movements using the echo signal of a millimeter-wave radar sensor at 77 GHz. The echo signals obtained from the radar sensor by detecting the motion of a hand gesture revealed a cluster of irregular dots due to the difference in scattering cross-sectional area. A valid center point was obtained from them by applying a K-Means algorithm using 3D coordinate values. In addition, the obtained center points were connected to produce a numeric image. The recognition rate was compared by inputting the obtained image and an image similar to human handwriting by applying the smoothing technique to a CNN (Convolutional Neural Network) model trained with MNIST (Modified National Institute of Standards and Technology database). The experiment was conducted in two ways. First, in the recognition experiments using images with and without smoothing, average recognition rates of 77.0% and 81.0% were obtained, respectively. In the experiment of the CNN model with augmentation of learning data, a recognition rate of 97.5% and 99.0% on average was obtained in the recognition experiment using the image with and without smoothing technique, respectively. This study can be applied to various non-contact recognition technologies using radar sensors.

• Journal of the Korea Computer Graphics Society
• /
• v.26 no.3
• /
• pp.9-19
• /
• 2020

With the recent development of various kinds of virtual reality devices, there has been an active research effort to increase the sense of reality by recognizing the physical behavior of users rather than by classical user input methods. Among such devices, the Leap Motion controller recognizes the user's hand gestures and can realistically trace the user's hand in a virtual reality environment. However, manipulating an object in virtual reality using a recognized user's hand often causes the hand to pass through the object, which should not occur in the real world. This study presents a way to build a visual feedback system for enhancing the user's sense of interaction between hands and objects in virtual reality. In virtual reality, the user's hands are examined precisely by using a ray tracing method to see if the virtual object collides with the user's hand, and when any collision occurs, visual feedback is given through the process of reconstructing the user's hand by moving the position of the end of the user's fingers that enter the object through sign distance field and reverse mechanics. This enables realistic interaction in virtual reality in real time.

• KIPS Transactions on Software and Data Engineering
• /
• v.1 no.3
• /
• pp.177-186
• /
• 2012

In this paper, we propose a real-time approach for detecting and tracking a hand region by analyzing depth images. We build a hand model in advance. The model has the shape information of a hand. The detecting process extracts out moving areas in an image, which are possibly caused by moving a hand in front of a camera. The moving areas can be identified by analyzing accumulated difference images and applying the region growing technique. The extracted moving areas are compared against a hand model to get justified as a hand region. The tracking process keeps the track of center points of hand regions of successive frames. For this purpose, it involves three steps. The first step is to determine a seed point that is the closest point to the center point of a previous frame. The second step is to perform region growing to form a candidate region of a hand. The third step is to determine the center point of a hand to be tracked. This point is searched by the mean-shift algorithm within a confined area whose size varies adaptively according to the depth information. To verify the effectiveness of our approach, we have evaluated the performance of our approach while changing the shape and position of a hand as well as the velocity of hand movement.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2005.11a
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.

• Journal of Broadcast Engineering
• /
• v.14 no.3
• /
• pp.366-377
• /
• 2009

In this paper, we implement the real-time system which extracts 3-dimensional coordinates from right and left images captured by a stereo camera and provides users with reality through a virtual space operated by the 3-dimensional coordinates. In general, all pixels in correspondence region are compared for the disparity estimation. However, for a real time process, the central coordinates of the correspondence region are only used in the proposed algorithm. In the implemented system, 3D coordinates are obtained by using the depth information derived from the estimated disparity and we set user's hand as a region of interest(ROI). After user's hand is detected as the ROI, the system keeps tracking a hand's movement and generates a virtual space that is controled by the hand. Experimental results show that the implemented system could estimate the disparity in real -time and gave the mean-error less than 0.68cm within a range of distance, 1.5m. Also It had more than 90% accuracy in the hand recognition.

• Journal of Digital Convergence
• /
• v.13 no.9
• /
• pp.259-267
• /
• 2015

In this paper, we proposed the straight line determination method and the algorithm for 8 directions determination of straight line using the coordinate information and the property of trigonometric function. We conduct an experiment that is 8 hand gestures are carried out 100 times each, a total of 800 times. And the accuracy for the 8 derection determination algorithm is showed the diagonal direction to the left upper side shows the highest accuracy as 92%, and the direction to the left side, the diagonal direction to the right upper side and the diagonal direction to the right bottom side show the lowest accuracy as 82%. This method with coordinate information through image processing than the existing recognizer and the recognition through learning process is possible using a hand gesture recognition gesture.