• Annual Conference of KIPS
• /
• 2017.04a
• /
• pp.1077-1078
• /
• 2017

In this study, we implement a natural user interface/experience framework using multi-sensors: Microsoft Kinect, Leap Motion, and Myo Armband. The framework is designed for customers to use in various types of interactive applications. We integrate the functions of three sensors into an application and provide an interface for customers, who can use it to interact with a computer easily. The framework can track body information in real-time, and accurately recognize the motion of different body parts.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.77-82
• /
• 2022

GUI(Graphical User Interface)를 대신하는 차세대 인터페이스로서 NUI(Natural User Interace)에 기대가 모이는 것은 자연스러운 흐름이다. 본 연구는 NUI의 손가락 관절을 포함한 손동작 전체를 인식시키기 위해 웹캠과 카메라를 활용하여 다양한 배경과 각도의 손동작 데이터를 수집한다. 수집된 데이터는 전처리를 거쳐 데이터셋을 구축하며, ResNet50 모델을 활용하여 전이학습한 합성곱 신경망(Convolutional Neural Network) 알고리즘 분류기를 설계한다. 구축한 데이터셋을 입력시켜 분류학습 및 예측을 진행하며, 실시간 영상에서 인식되는 손동작을 설계한 모델에 입력시켜 나온 결과를 통해 가위바위보 게임을 구현한다.

• Smart Media Journal
• /
• v.6 no.2
• /
• pp.26-32
• /
• 2017

In this paper, we implement a signal-detecting electric circuit based LED lighting control system which is essential in NUI technology using EPIC converting surrounding earth electric field disturbance signals to electric potential signals. We used signal-detecting electric circuits which was developed to extract individual signal for each EPIC sensor while conventional EPIC-based development equipments provide limited forms of signals. The signals extracted from our developed circuit contributed to better performance as well as flexiblity in processes of feature extracting stage and pattern recognition stage. We designed a system which can control the brightness and on/off of LED lights with four hand gestures in order to justify its applicability to real application systems. We obtained faster pattern classification speed not only by developing an instruction system, but also by using interface control signals.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.1
• /
• pp.97-104
• /
• 2012

Natural User Interface(NUI) technologies introduce new trends in using devices such as computer and any other electronic devices. In this paper, an augmented reality on a mobile device is implemented by using face detection, recognition and motion tracking. The face detection is obtained by using Viola-Jones algorithm from the images of the front camera. The Eigenface algorithm is employed for face recognition and face motion tracking. The augmented reality is implemented by overlapping the rear camera image and GPS, accelerator sensors' data with the 3D graphic object which is correspond with the recognized face. The algorithms and methods are limited by the mobile device specification such as processing ability and main memory capacity.

• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.246-252
• /
• 2018

Hand gestures are attracting attention as a NUI (Natural User Interface) of wearable devices such as smart glasses. Recently, to support efficient media consumption in IoT (Internet of Things) and wearable environments, the standardization of IoMT (Internet of Media Things) is in the progress in MPEG. In IoMT, it is assumed that hand gesture detection and recognition are performed on a separate device, and thus provides an interoperable interface between these modules. Meanwhile, deep learning based hand gesture recognition techniques have been recently actively studied to improve the recognition performance. In this paper, we propose a method of hand gesture recognition based on CNN (Convolutional Neural Network) for various applications such as media consumption in wearable devices which is one of the use cases of IoMT. The proposed method detects hand contour from stereo images acquisitioned by smart glasses using depth information and color information, constructs data sets to learn CNN, and then recognizes gestures from input hand contour images. Experimental results show that the proposed method achieves the average 95% hand gesture recognition rate.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.338-339
• /
• 2016

손 제스처는 스마트 글래스 등 웨어러블 기기의 NUI(Natural User Interface)로 부각되고 있으며 이를 위해서는 손 제스처 검출 및 인식 기능이 요구된다. 또한, 최근 MPEG 에서는 IoT(Internet of Thing) 환경에서의 미디어 소비를 위한 표준으로 IoMTW(Media-centric IoT and Wearable) 사전 탐색이 진행되고 있으며, 손 제스처를 표현하기 위한 메타데이터도 하나의 표준 기술요소로 논의되고 있다. 본 논문에서는 스마트 글래스 환경에서의 손 제스처 인식을 위한 과정으로 스테레오 영상을 통한 손 윤곽선 검출과 이를 메타데이터로 서술하기 위하여 베지에(Bezier) 곡선으로 표현하는 기법을 제시한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.06a
• /
• pp.166-167
• /
• 2017

가상 현실에 대한 관심이 높아지면서, 가상 물체와 사람 사이의 보다 자연스러운 상호작용이 중요하게 되었다. 그 중 가장 많이 사용되는 방식 중 하나가 바로 손동작이다. 사람들은 손동작을 통해 자신의 감정을 전달하거나 자신의 의견을 표현할 수 있기 때문에 손동작은 Natural User Interface(NUI)의 중요한 위치를 차지하고 있다. 본 논문에서는 사람들의 손동작 중 비교적 큰 비중을 차지하는 반복적인 궤적을 그리는 손동작 인식을 위한 방법을 제안한다. 손이 움직이는 방향과 거리의 3 차원 좌표 값을 이용하여 벡터화를 한 후, 이 데이터를 Fast Fourier transform(FFT)와 Support Vector Machine(SVM)을 통해 반복적인 손동작을 인식함으로써 자연스러운 손동작을 비교적 정확히 인식할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.01a
• /
• pp.41-42
• /
• 2015

직접 몸동작을 취하는 체감형 게임이 사용자들의 관심을 받고 있다. 새롭게 등장한 NUI(Natural User Interface)를 사용하는 MYO를 이용해서 개발을 하면 사용자들에게 강한 몰입감과 조작의 편의성을 높일 수 있을 것으로 판단하고 이와 관련된 자료조사를 하였다. 본 연구자료는 MYO를 이용한 게임 개발에 관심이 있는 개발자들에게 가이드가 될 것으로 기대한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.58-59
• /
• 2017

손 제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)를 구현하기 위한 수단으로 주목받고 있다. 최근 손 제스처 인식에서의 인식률 개선을 위하여 다양한 인식기법이 제안되고 있으며, 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 눈문에서는 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스테레오 영상으로부터 깊이 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN 에 학습을 시킨 후, 이를 바탕으로 손 윤곽선 영상으로부터 제스처를 인식하는 알고리즘을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.07a
• /
• pp.317-320
• /
• 2015

기존의 ICT기술과 콘텐츠 융합을 통해 스마트 콘텐츠는 차세대 디지털 라이프의 필수적인 요소로 인식되면서 보조적인 요소에서 주도적인 요소로서 그리고 새로운 변화의 주요 동인으로 역할을 하고 있다. 본 논문에서는 차세대 기술의 저변에서 흐르고 있는 스마트화의 관점에서 스마트콘텐츠 요소기술 및 동향과 이를 기반으로 한 차세대 지역 스마트콘텐츠 산업 활성화 방안을 제시한다.