• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.584-589
• /
• 2008

The in put system using the touch screen directly makes the input signals by the contact on the screen without the assistance of peripherals such as a pen or hands. These kinds of input systems using the flexible hands is maximizing suppleness and intuition of the input rather than those systems using a keyboard or a mouse which are moving a cursor or typing a word. However, using hands for an input may give rise to a mistake in control. And there are few interfaces utilizing the touch screen. Incorrectness and insufficiency of the interface are the weak point of the touch screen systems. In this paper, we propose the dial menu user interface for the mobile devices using touch screen for an efficient input. In this method, it consists of 2 states(Inactive states, Active states) and 4 actions(Rotation, Zoom in, and Zoom out, and Click). The intuitive control utilizing the suggested method overcomes the incorrect pointing, weak point of the touch screen system, and boosts the searching menu by utilizing the drag function of the touch screen.

• Journal of the Institute of Electronics Engineers of Korea SC
• /
• v.47 no.4
• /
• pp.47-54
• /
• 2010

We propose a smart human-computer interface replacing conventional mouse interface. The interface is able to control cursor and command action with only hand performing without object. Four finger motions(left click, right click, hold, drag) for command action are enough to express all mouse function. Also we materialize cursor movement control using image processing. The measure what we use for inference is entropy of EMG signal, gaussian modeling and maximum likelihood estimation. In image processing for cursor control, we use color recognition to get the center point of finger tip from marker, and map the point onto cursor. Accuracy of finger movement inference is over 95% and cursor control works naturally without delay. we materialize whole system to check its performance and utility.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.5
• /
• pp.1060-1065
• /
• 2011

In this paper, the proposed method is recognized the hands using color information with input image of the camera. It controls the mouse pointer using recognized hands. In addition, specific commands with the mouse pointer is designed to perform. Most users felt uncomfortable since existing interaction multimedia systems depend on a particular external input devices such as pens and mouse However, the proposed method is to compensate for these shortcomings by hand without the external input devices. In experimental methods, hand areas and backgrounds are separated using color information obtaining image from camera. And coordinates of the mouse pointer is determined using coordinates of the center of a separate hand. The mouse pointer is located in pre-filled area using these coordinates, and the robot will move and execute with the command. In experimental results, the recognition of the proposed method is more accurate but is still sensitive to the change of color of light.

• Archives of design research
• /
• v.20 no.3 s.71
• /
• pp.257-268
• /
• 2007

The development of Human Computer Interface has been relied on the development of technology. Mice and keyboards are the most popular HCI devices for personal computing. However, device-based interfaces are quite different from human to human interaction and very artificial. To develop more intuitive interfaces which mimic human to human interface has been a major research topic among HCI researchers and engineers. Also, technology in the TV industry has rapidly developed and the market penetration rate for big size screen TVs has increased rapidly. The HDTV and digital TV broadcasting are being tested. These TV environment changes require changes of Human to TV interface. A gesture recognition-based interface with a computer vision system can replace the remote control-based interface because of its immediacy and intuitiveness. This research focuses on how people use their hands or arms for command gestures. A set of gestures are sampled to control TV set up by focus group interviews and surveys. The result of this paper can be used as a reference to design a computer vision based TV interface.

• Journal of KIISE:Software and Applications
• /
• v.36 no.12
• /
• pp.1028-1033
• /
• 2009

This paper presents a real-time hand gesture recognition approach for controlling a computer. We define hand gestures as continuous hand postures and their movements for easy expression of various gestures and propose a Two-layered Bayesian Network (TBN) to recognize those gestures. The proposed method can compensate an incorrectly recognized hand posture and its location via the preceding and following information. In order to vertify the usefulness of the proposed method, we implemented a Virtual Mouse interface, the gesture-based interface of a physical mouse device. In experiments, the proposed method showed a recognition rate of 94.8% and 88.1% for a simple and cluttered background, respectively. This outperforms the previous HMM-based method, which had results of 92.4% and 83.3%, respectively, under the same conditions.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.1088-1091
• /
• 2017

최근 그래픽스 기반의 가상현실 기술의 발전과 관심이 증가하면서 3D 객체와의 자연스러운 상호작용을 위한 방법들 중 손 제스처 인식에 대한 연구가 활발히 진행되고 있다. 본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반의 손 제스처 인식을 제안한다. 먼저 다양한 손 제스처들을 립모션을 통해 입력 받아 전처리를 수행한 손 데이터를 전달한다. 그 후 이진 결정 트리로 1차 분류를 한 손 데이터를 리샘플링 한 뒤 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 MCSVM 학습을 통해 2차 분류를 수행하여 제스처를 인식한다. 실험 결과 3D 오브젝트와 상호작용을 위한 16개의 명령 제스처에 대해 평균 99.2%의 인식률을 보였고 마우스 인터페이스와 비교한 정서적 평가 결과에서는 마우스 입력에 비하여 직관적이고 사용자 친화적인 상호작용이 가능하다는 점에서 게임, 학습 시뮬레이션, 설계, 의료분야 등 많은 가상현실 응용 분야에서의 입력 인터페이스로 활용 될 수 있고 가상현실에서 몰입도를 높이는데 도움이 됨을 알 수 있었다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.45 no.1
• /
• pp.75-83
• /
• 2008

We propose a welfare interface using multiple fecial features tracking, which can efficiently implement various mouse operations. The proposed system consist of five modules: face detection, eye detection, mouth detection, facial feature tracking, and mouse control. The facial region is first obtained using skin-color model and connected-component analysis(CCs). Thereafter the eye regions are localized using neutral network(NN)-based texture classifier that discriminates the facial region into eye class and non-eye class, and then mouth region is localized using edge detector. Once eye and mouth regions are localized they are continuously and correctly tracking by mean-shift algorithm and template matching, respectively. Based on the tracking results, mouse operations such as movement or click are implemented. To assess the validity of the proposed system, it was applied to the interface system for web browser and was tested on a group of 25 users. The results show that our system have the accuracy of 99% and process more than 21 frame/sec on PC for the $320{\times}240$ size input image, as such it can supply a user-friendly and convenient access to a computer in real-time operation.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2012.05a
• /
• pp.22-25
• /
• 2012

본 논문에서는 키보드나 마우스와 같은 인풋 디바이스 없이 손동작만으로 컴퓨터를 조작할 수 있는 차세대 인터페이스인 에어 인터페이스를 구현하였다. 이 시스템 구현을 위해 먼저 적외선 카메라와 적외선 LED를 사용하였고, 또한 적외선의 전반사의 원리를 이용하였다. 이를 통해 획득된 적외선 영상은 다양한 영상처리 기술을 통해 손 영역을 분할, 검출하게 되고, 검출된 정보를 이용하여 다양한 메타포를 구현 하였으며, 최종적으로 개별적인 제어 이벤트에 각각 맵핑되어 컴퓨터를 제어 및 동작하는 과정을 수행하게 된다. 본 연구에서는 손 영역의 검출과 추적, 인식과정 등을 자세히 서술하였으며, 다양한 메타포도 함께 소개가 된다. 그리고 본 연구에서 사용된 기술을 더욱 발전시키면 사회 전반적으로 다양한 부분에서 적극 활용될 것으로 기대된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.507-511
• /
• 2008

컴퓨터 비전을 기반으로 한 영상처리 및 제스처인식 기술을 이용하여 편리하게 응용프로그램을 제어 할 수 있는 인터페이스를 구성하였다. 카메라로 얻어진 영상을 HSV 색상계로 변환 후 색상 정보를 이용하여 손 영역을 추출한다. 추출된 손 영역의 무게중심과 크기 변화를 추적하여 제스처를 인식한다. 인식한 제스처는 응용프로그램의 동작을 제어하거나 마우스의 입력을 대체하는데 사용된다. 이는 별도의 입력장치 없이 컴퓨터 비전 기술만으로 제스처를 인식하여 응용프로그램을 실행할 수 있어 자연스러우며 사용자 친화적인 인터페이스 환경을 제공한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.811-813
• /
• 2005

최근 아동들이 흥미와 이해, 창의적인 교육을 위한 도구로 게임을 주목하고 있다. 그러나 기존의 아동용 게임은 키보드와 마우스 같은 한정된 입력 장치를 사용하고 있어 아동들이 보다 편리하고 용이하게 게임을 즐길 수 있는 인터페이스의 개발이 요구된다. 본 논문에서는 기존의 입력 장치를 손동작을 이용한 실감형 인터페이스로 대치하는 아동용 게임설계를 제안한다. 카메라를 통해 들어온 동영상에서 손동작을 인식 및 추적하고 추적된 손동작의 의미를 기존 입력 장치의 입력 값으로 변경하여 게임의 입력 값으로 전달한다. 본 논문에서는 제안된 손동작 인터페이스를 아동용 게임에 적용시킴으로써 그 효용성을 증명한다.