• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1693-1696
• /
• 2013

현재까지, 사람과 컴퓨터간의 인터페이스로 키보드와 마우스를 사용하여 왔다. 최근, 유비쿼터스 시대가 도래하면서 스마트 폰의 활용이 대두 되었고, 각 디바이스들은 하나로 통합되고 있다. 이에 따라 인터페이스도 NUI로 발전하였고 터치, 모션 트래킹, 음성, 표정 인식과 같은 멀티 모달 형식으로 더욱 높은 인지 능력과 직관적인 인터페이스가 되도록 각 디바이스 단계에서 개발되고 있다. 본 논문에서는 키넥트를 이용한 마커 없는 직관적인 손동작 인식과 XML 클라우드 기반의 각종 디바이스 통합 인터페이스 구현 설계를 제안한다.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.17 no.4
• /
• pp.229-237
• /
• 2022

Motion recognition is very useful for implementing an intuitive HMI (Human-Machine Interface). In particular, hands are the body parts that can move most precisely with relatively small portion of energy. Thus hand motion has been used as an efficient communication interface with other persons or machines. In this paper, we design and implement a light-weight ANN (Artificial Neural Network)-based hand motion recognition using a state-of-the-art flex sensor. The proposed design consists of data collection from a wearable flex sensor, preprocessing filters, and a light-weight NN (Neural Network) classifier. For verifying the performance and functionality of the proposed design, we implement it on a low-end embedded device. Finally, our experiments and prototype implementation demonstrate that the accuracy of the proposed hand motion recognition achieves up to 98.7%.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.659-662
• /
• 2020

최근 코로나 19로 인한 사회적 거리 두기 확산에 따라 언택트 문화가 새로운 패러다임으로 등장해 사회 전반으로 확산되고 있다. 언택트 문화의 확산으로 컴퓨터를 사용할 때 직접적인 접촉이 있는 키보드나 마우스 같은 입력장치는 공공장소에서 여러 사람이 접촉할 경우 문제가 생길 수 있다. 본 논문에서는 웹캠을 통해 입력된 영상에서 손동작을 인식하는 합성곱 신경망을 학습하고 결과로 나온 추론 모델을 이용하여 비접촉 가위바위보 게임을 구현하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.553-554
• /
• 2023

본 연구에서는 손가락의 움직임을 입력받는 햅틱 컨트롤러를 이용하여 물체를 잡거나 놓는 손의 포즈를 생성하여 가상의 물체를 제어할 수 있는 방법을 제안한다. 다섯 개의 손가락을 움직일 수 있는 경우의 수는 무수히 많아서 이를 위한 모든 모션을 캡쳐하는 것은 매우 힘든 작업이고, 캡쳐한 모든 모션을 수동으로 연결시키는 것도 어려운 일이다. 제안 방법은 햅틱 컨트롤러에서 입력된 다섯 개의 신호를 인공 신경망을 사용하여 손가락의 포즈로 변경해 준다. 이를 위해 입력 신호와 매칭되는 손의 포즈를 이용하여 인공 신경망을 훈련시킨 후, 그 결과를 이용하여 사용자의 입력에 대응하는 손의 포즈를 생성한다. 결과 포즈의 사실성을 높이기 위해 모션 캡쳐 장비로부터 훈련용 데이터를 생성하였다. 본 논문의 방법은 햅틱 컨트롤러에서 동일한 입력을 받더라도 물체의 모양에 대응하는 손의 모션을 생성하는 결과를 보여준다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.433-434
• /
• 2023

본 논문에서는 미디어파이프와 아이트래킹의 손동작 및 눈 위치 인식을 이용하여 차량 내 조작할 수 있는 다양한 기능을 감압식 버튼이 아닌 카메라를 이용한 동작 기능을 제공해주는 차량 인포테인먼트시스템을 제안한다. 인공지능 모델은 Open-CV 구조를 활용하여 학습을 진행하였고, 라즈베리파이를 이용하여 구현하였다. 제안된 시스템은 운전자를 위해 설계된 다양한 동작들을 시각 정보로 전달해 운전 중 불편함을 대체할 수 있을 뿐만 아니라, 설치 및 사용방법이 간편하여 활용도가 높을 것으로 기대된다.

• Smart Media Journal
• /
• v.5 no.3
• /
• pp.35-41
• /
• 2016

In this paper, we propose hand-gesture signal recognition based on EPS(Electronic Potential Sensor) using Deep learning model. Extracted signals which from Electronic field based sensor, EPS have much of the noise, so it must remove in pre-processing. After the noise are removed with filter using frequency feature, the signals are reconstructed with dimensional transformation to overcome limit which have just one-dimension feature with voltage value for using convolution operation. Then, the reconstructed signal data is finally classified and recognized using multiple learning layers model based on deep learning. Since the statistical model based on probability is sensitive to initial parameters, the result can change after training in modeling phase. Deep learning model can overcome this problem because of several layers in training phase. In experiment, we used two different deep learning structures, Convolutional neural networks and Recurrent Neural Network and compared with statistical model algorithm with four kinds of gestures. The recognition result of method using convolutional neural network is better than other algorithms in EPS gesture signal recognition.

• The Journal of the Acoustical Society of Korea
• /
• v.36 no.2
• /
• pp.130-135
• /
• 2017

In this paper, we propose an interface for interactive sound experience in the virtual concert hall. The proposed interface consists of two systems, called 'virtual acoustic position' and 'virtual active listening'. To provide these systems, we applied an artificial reverberation algorithm, multi-channel source separation and head-related transfer function. The proposed interface was implemented by using Unity. The interface provides the virtual concert hall to user through Oculus Rift, one of the virtual reality headsets. Moreover, we used Leap Motion as a control device to allow a user experience the system with free-hand. And user can experience the sound of the system through headphones.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2018.10a
• /
• pp.286-287
• /
• 2018

As the number of single-person households is increasing in Korea, the demand for emergency support networks for the elderly and women is also growing. To meet the need, systemic solutions, such as a wide distribution of cell phones with embedded motion sensors that can alert the first responders or police in case of health or safety crisis, are regarded as critical issues. This paper introduces a design which registers the user's motions to process emergency reports via a mobile app running in the background. The method offers an affordable solution to reporting emergencies taking place both indoors and outdoors as it does not require an addition of hardware but only simple hand gestures.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.148-153
• /
• 2006

인간-컴퓨터 상호작용(HCI) 기술은 과거 컴퓨터란 어렵고 소수의 숙련자만이 다루는 것이라는 인식을 바꾸어 놓았다. HCI 는 컴퓨터 사용자인 인간에게 거부감 없이 수용되기 위해 인간과 컴퓨터가 조화를 이루는데 많은 성과를 거두어왔다. 컴퓨터 비전에 기반을 두고 인간과 컴퓨터의 상호작용을 위하여 사용자 의도 및 행위 인식 연구들이 많이 행해져 왔다. 특히 손을 이용한 제스처는 인간과 인간, 인간과 컴퓨터 그리고 최근에 각광받고 있는 인간과 로봇의 상호작용에 중요한 역할을 해오고 있다. 본 논문에서 제안하는 손 추출 및 추적 알고리즘은 비전에 기반한 호출자 인식과 손 추적 알고리즘을 병행한 자연스러운 손 추출 및 추적 알고리즘이다. 인간과 인간 사이의 상호간의 주의집중 방식인 호출 제스처를 인식하여 기반하여 사용자가 인간과 의사소통 하는 것과 마찬가지로 컴퓨터/로봇의 주의집중을 끌도록 하였다. 또한 호출 제스처에 의해서 추출된 손동작을 추적하는 알고리즘을 개발하였다. 호출 제스처는 카메라 앞에 존재할 때 컴퓨터/로봇의 사용자가 자신에게 주의를 끌 수 있는 자연스러운 행동이다. 호출 제스처 인식을 통해 복수의 사람이 존재하는 상황 하에서 또한 원거리에서도 사용자는 자신의 의사를 전달하고자 함을 컴퓨터/로봇에게 알릴 수 있다. 호출 제스처를 이용한 손 추출 방식은 자연스러운 손 추출을 할 수 있도록 한다. 현재까지 알려진 손 추출 방식은 피부색을 이용하고 일정 범위 안에 손이 존재한다는 가정하에 이루어져왔다. 이는 사용자가 제스처를 하기 위해서는 특정 자세로 고정되어 있어야 함을 의미한다. 그러나 호출 제스처를 통해 손을 추출하게 될 경우 서거나 앉거나 심지어 누워있는 상태 등 자연스러운 자세에서 손을 추출할 수 있게 되어 사용자의 불편함을 해소 할 수 있다. 손 추적 알고리즘은 자연스러운 상황에서 획득된 손의 위치 정보를 추적하도록 고안되었다. 제안한 알고리즘은 색깔정보와 모션 정보를 융합하여 손의 위치를 검출한다. 손의 피부색 정보는 신경망으로 다양한 피부색 그룹과 피부색이 아닌 그룹을 학습시켜 얻었다. 손의 모션 정보는 연속 영상에서 프레임간에 일정 수준 이상의 차이를 보이는 영역을 추출하였다. 피부색정보와 모션정보로 융합된 영상에서 블랍 분석을 하고 이를 민쉬프트로 추적하여 손을 추적하였다. 제안된 손 추출 및 추적 방법은 컴퓨터/로봇의 사용자가 인간과 마주하듯 컴퓨터/로봇의 서비스를 받을 수 있도록 하는데 주목적을 두고 있다.

• Journal of KIISE:Software and Applications
• /
• v.37 no.1
• /
• pp.80-84
• /
• 2010

Tracking hands is an essential technique for hand gesture recognition which is an efficient way in Human Computer Interaction (HCI). Recently, many researchers have focused on hands tracking using a 3D hand model and showed robust tracking results compared to using 2D hand models. In this paper, we propose a novel 3D hand tracking method based on a coupled particle filter. This provides robust and fast tracking results by estimating each part of global hand poses and local finger motions separately and then utilizing the estimated results as a prior for each other. Furthermore, in order to improve the robustness, we apply a multi-cue based method by integrating a color-based area matching method and an edge-based distance matching method. In our experiments, the proposed method showed robust tracking results for complex hand motions in a cluttered background.