• 한국컴퓨터정보학회논문지
• /
• 제21권2호
• /
• pp.17-23
• /
• 2016

NUI is a motion interface. It uses the body of the user without the use of HID device such as a mouse and keyboard to control the device. In this paper, we use a Pi Camera and sensors connected to it with small embedded board Raspberry Pi. We are using the OpenCV algorithms optimized for image recognition and computer vision compared with traditional HID equipment and to implement a more human-friendly and intuitive interface NUI devices. comparison operation detects motion, it proposed a more advanced motion sensors and recognition systems fused connected to the Raspberry Pi.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
• /
• pp.915-920
• /
• 2009

지능형 정보 기기의 개발 측면에 가장 중요한 요소는 사용자가 원하는 정보를 복잡하지 않고 쉽고 용이하게 자신이 원하는 정보를 입력 장치를 통해 정보를 전달할 수 있는 기능이라 말할 수 있을 것이다. 인간의 목소리, 표정 혹은 표현, 몸짓, 신체적 접촉 등과 같은 인간들이 일상생활에서 사용할 수 있는 도구적 수단을 사용함으로써 인간은 기계적 장치와 쉽고 간단하게 상호작용을 할 수 있을 것이다. 본 논문을 통해 우리는 상호작용적 서페이스 시스템, 즉 사용자들이 그들 자신의 손짓을 마우스와 키보드 등의 객체의 기능처럼 자유롭게 사용할 수 있는 멀티터치 기반 시스템을 웹 형태의 어플리케이션의 플랫폼에서 인간과 상호작용 할 수 있도록 제안하고자 하며 또한 멀티터치 기반 시스템의 효율적 요소를 분석함으로써 향후 연구방법들을 모색하고자 한다.

• 한국콘텐츠학회논문지
• /
• 제11권10호
• /
• pp.1-10
• /
• 2011

본 논문은 CCTV 관제에서 동작 인식을 위한 색상 기반 손과 손가락 탐지 기술을 제안하였다. 논문의 목표는 피부색을 기반으로 한 손 영역 탐지 및 손동작 인식에 대한 강인한 방법을 제안하는 것이다. 탐지된 손 영역과 손동작 인식 기술은 에어 마우스 및 스마트 TV를 조정하는데 적용될 수 있으며 홈시어터 및 감성 센서를 기반으로 하는 장치들을 조종하기 위하여도 사용될 수 있다. 입력 영상으로부터 손 영역을 구분하기 위하여 색상 기반 윤곽선 추출 방법이 사용되어지고 윤곽이 구분된 손으로부터 y좌표값을 계산하여 손가락 끝점을 탐지한다. 손가락 끝점의 위치를 탐지한 후에, R채널만을 이용하여 추적을 하며 손동작 인식에 있어서 차영상 기법을 적용하여 잡영상 제거와 같은 강인한 면을 보여준다. 제안하는 방법으로 손가락 끝점의 추적과 손동작 인식에 관련된 많은 실험을 진행하였고, 실험 결과는 기존의 방법보다 성능 면에 있어서 96% 이상의 정확도를 보여준다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.87-94
• /
• 2017

본 논문에서는 게임 엔진(Unity3D) 상에서 헤드 마운트 디스플레이(HMD)와 손 동작 인식 기술을 이용한 가상 환경 운영 체제(VROS) 프로토타입을 제안한다. 제안하는 OS는 Unity3D에서 제공하는 실시간 환경 상에 간단한 멀티태스킹 스레드 메커니즘을 구축한 형태로 제작되었다. 제안하는 가상 환경 운영 체제는 손 동작 인식 장치(Leap Motion)로부터 입력을 받아서 키보드와 마우스 역할을 수행하며 헤드 마운트 디스플레이((Oculus Rift DK2)를 통해 출력을 제공한다. 테스트 결과, 제안하는 시스템은 360도 가상 공간 내에서 보다 넓고 몰입도가 높은 작업 환경을 제공하였다.

• 디지털콘텐츠학회 논문지
• /
• 제14권4호
• /
• pp.411-417
• /
• 2013

2차원으로 영상을 처리하다가 다양한 영상처리기법과 도구들이 발달하면서 3차원 영상 네비게이션에 대한 요구가 증대되고 있다. 실세계에서 체험하기 어려운 부분을 가상환경에서 체험하고, 활용하는데 목적을 가진다. 이는 단순한 3D 배경을 제공하는 시스템이 아니라 일상적인 행동으로 시스템을 제어할 수 있는 본능적 인터페이스 기술 개발의 필요를 의미한다. 본 연구의 목적은 인간의 다양한 행동에 대해 키넥트 장비를 이용해 행동에 가장 3차원적으로 근접한 새로운 네비게이션 제어 기술 개발에 있다. 키넥트와 홀로그래피를 이용해 입력된 데이터를 3차원 영상으로 연계성을 가질 수 있도록 시스템을 설계하고자 한다.

• 대한산업공학회지
• /
• 제42권1호
• /
• pp.57-64
• /
• 2016

Pen-based interaction is universally available on smart devices and especially on Tablet PCs. Previous studies compared various input methods like fingers, a mouse or a stylus pen on PCs or on a touchscreen based devices such as smart phones. At the same time, various soft keyboard applications are being developed on application stores of smart devices. However, these previous studies did not suggest which one is a suitable keyboard application for Tablet PCs when users perform a certain interaction as input type. In this study, we compared two types of input methods (finger and pen) and three types of soft keyboard applications (QWERTY, Gesture and Swype) in a Tablet PC using performance measurements (accuracy and input speed) and discussed what types of applications showed better performance with each interaction on tablet PC. From these results, recommendations for the keyboard types depending on the input methods on tablet PCs were developed.

• 한국실천공학교육학회논문지
• /
• 제3권2호
• /
• pp.93-99
• /
• 2011

영상처리 기술을 이용한 PC정비사 자격증 취득을 돕기 위한 어플리케이션을 소개한다. 요즘 사람들은 컴퓨터의 마우스나, 키보드를 직접 이용하기 보다는 손의 제스쳐, 즉 흥미를 유발시켜 많은 사람들에게 이미지와 그래픽적인 부분을 추가시켜 소개한다. 요즘 화두가 되고 있는 멀티터치 테이블에 3D Maxs, C#을 이용해 각 부품의 Scale 및 Drag를 통해 카메라 뷰를 이동함으로써 효과적으로 자격증 취득을 돕는다. 또한 PC 정비사 국가 자격증에 출제되는 문제를 수록하고, 각 부품을 세부적으로 학습함으로써, 자격증 취득의 기틀을 마련한다. 이에, 본 논문에서는 멀티터치 테이블(MultiTouch-Table) 기반의 학습용 어플리케이션을 제안하고 그 성능을 시험하였다.

• 한국지능시스템학회논문지
• /
• 제16권3호
• /
• pp.259-265
• /
• 2006

학습과 감정은 지능형 시스템을 구현하는데 있어 가장 중요한 요소이다. 본 논문에서는 강화학습을 이용하여 사용자와 상호작용을 하면서 학습을 수행하고 내부적인 감정모델을 가지고 있는 지능적인 가상 캐릭터를 구현하였다. 가상 캐릭터는 여러 가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다. 이러한 명령은 인공신경망을 사용하여 마우스의 제스처를 인식하여 수행할 수 있고 감정의 표현을 위해 Emotion-Mood-Personality 모델을 새로 제안하였다. 그리고 실험을 통해 사용자와 상호작용을 통한 감정의 변화를 살펴보았고 가상 캐릭터의 훈련에 따른 학습이 올바르게 수행되는 것을 확인하였다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.611-624
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 따라서 키보드나 마우스를 대체하여 제스처를 입력으로 컴퓨터를 제어할 수 있는 방법에 대한 연구가 많이 진행되고 있다. 이러한 연구에서 사용자 객체의 검출과 주요 신체부위의 추정은 매우 중요한 과정 중의 하나이다. 본 논문에서는 깊이정보가 부정확한 조건에서 사용자 객체검출과 주요 신체부위를 추정하는 방법을 제시한다. 본 논문에서는 2D 영상정보와 3D 깊이정보를 이용하여 조명 변화와 잡음에 강인하고, 3D 깊이정보를 1D 신호로 변환하여 처리함으로써 실시간에 적합하며, 이전 객체정보를 이용하여 더욱 정확하고 환경변화에 강인한 사용자 검출 방법을 제안한다. 또한 주요 신체부위 추정 방법에서 본 논문에서는 2D 외곽선 정보와 3D 깊이정보 및 추적을 혼합 사용하여 사용자 자세를 추정하는 방법을 제안한다. 실험결과 제안된 사용자 객체 검출방법은 2D정보만을 이용하는 방법에 비해 조명변화와 복잡한 환경에 강인하고, 깊이정보가 부정확한 경우에도 정확한 객체검출을 수행하였다. 또한 제안된 주요 신체부위 추정방법은 2D 외곽선 정보만 이용할 경우 겹친 부분에 대한 검출이 불가능하고, 색상 정보를 사용하는 방법은 조명이나 환경에 민감한 단점을 극복함을 확인할 수 있다.

• 한국HCI학회논문지
• /
• 제2권1호
• /
• pp.57-63
• /
• 2007

본 연구는 Tiled Display 기반의 협업 환경에서 인터랙션을 위한 적외선 포인터를 구현하는 목적으로 진행되었다. 적외선 발광 다이오드에서 나오는 빛을 인지하여 포인터의 궤적을 인식하는 기술과 이를 응용하여 여러 분야에 접목시키는 것에 주안점을 두었다. 기본적인 마우스 클릭 기능과 단순 포인팅 기능을 제공하는 기존의 포인터와는 달리 적외선 발광 다이오드가 탑재된 포인터를 조립, 이용하여 기존의 기능뿐만 아니라 컴퓨터와 사용자 간의 새로운 커뮤니케이션 수단을 제공하고 있다. 장점으로는 책상, 테이블과 같은 제한된 공간을 벗어나서 적외선 투과 필터가 장착된 카메라 하나만 설치할 수 있는 곳이면 구현이 가능하며 적외선을 이용하므로 가시광선의 영향을 적게 받아 효율적으로 영상 처리를 할 수 있다는 데에 있다. 그리고 적외선을 이용한 사용자의 모션을 추적, 인식하여 복합적이 여러 가지 기능을 실행할 수 있으며, 보다 더 사용자와 인터랙티브한 작업이 가능하다. 구현된 하드웨어와 소프트웨어 시스템은 프레젠테이션 및 게임 컨트롤 등에 사용되었다.