• Journal of Digital Contents Society
• /
• v.13 no.1
• /
• pp.91-99
• /
• 2012

In this paper we introduce a quiz application program that digitizes the analogue quiz game. We digitize the quiz components such as quiz proceeding, participants recognition, problem presentation, volunteer recognition who raises his hand first, answer judgement, score addition, winner decision, etc, which are manually performed in the normal quiz game. For automation, we obtained the depth images from the kinect camera which comes into the spotlight recently, so that we located the quiz participants and recognized the user-friendly defined gestures. Analyzing the depth distribution, we detected and segmented the upper body parts and located the hands' areas. Also, we extracted hand features and designed the decision function that classified the hand pose into palm, fist or else, so that a participant can select the example that he wants among presented examples. The implemented quiz application program was tested in real time and showed very satisfactory gesture recognition results.

• Journal of Advanced Navigation Technology
• /
• v.13 no.2
• /
• pp.262-271
• /
• 2009

The purpose of this study was to propose the method to recognize gestures based on inertia sensor which recognizes the movements of the user using inertia sensor and lets the user enjoy the game by comparing the recognized movements with the pre-defined movements for the game contents production. Additionally, it was tried to provide users with various data entry methods by letting them wear small controllers using three-axis accelerator sensor. Users can proceed the game by moving according to the action list printed on the screen. They can proceed the experiential games according to the accuracy and timing of their movements. If they use multiple small wireless controllers together wearing them on the major parts of hands and feet and utilize the proposed methods, they will be more interested in the game and be absorbed in it.

• Journal of the Korea Convergence Society
• /
• v.10 no.11
• /
• pp.111-116
• /
• 2019

With recent rapid development of computer capabilities, various technologies that can facilitate the interaction between humans and computers are being studied. The paradigm tends to change to NUI using the body such as 3D motion, haptics, and multi-touch with GUI using traditional input devices. Various studies have been conducted on transferring human movements to computers using sensors. In addition to the development of optical sensors that can acquire 3D objects, the range of applications in the industrial, medical, and user interface fields has been expanded. In this paper, I provide a model that can execute other programs through gestures instead of the mouse, which is the default input device, and control Windows based on the lip motion. To propose a model which converges with an Android application and can be controlled by various media and voice instruction functions using voice recognition and buttons through connection with a main client. It is expected that Internet media such as video and music can be controlled not only by a client computer but also by an application at a long distance and that convenient media viewing can be performed through the proposal model.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2017.01a
• /
• pp.49-50
• /
• 2017

PC 또는 모바일 기기를 이용한 검색을 위해서는 키보드 또는 터치패드를 이용하여 키워드를 입력하는 고전적인 방식이 현재까지 널리 사용되고 있다. 음성, 이미지, 제스처 등을 이용한 새로운 검색 기술들이 등장하고 있지만, 관련 검색엔진의 문제로 검색 결과가 다소 미흡한 상태이다. 본 논문에서는 기존의 포털 검색의 키워드 입력 방식과는 달리, 검색하고자 하는 대상을 스마트폰과 같은 모바일 기기의 카메라로 촬영하면 해당 촬영 이미지가 사용자 입장에서는 검색 키워드와 같이 동일한 역할을 할 수 있도록 CNN기법을 사용하여 Image-to-Text 형태의 모바일 비주얼 검색 서비스에 대해 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.449-452
• /
• 2012

본 논문에서는 인간이 환경에 대한 상황을 직접적으로 파악할 수 있는 시각 정보를 제공하기 위해 다중 카메라를 이용한 사용자 시각기반 어라운드 뷰를 개발하였다. 4대의 하향식 경사 카메라를 통하여 영상을 획득하고 켈리브레이션한다. 렌즈의 왜곡을 보정하고 호모그라피 행렬을 계산하여 지표면과 수평이 되는 관점으로 영상을 변환한다. 그 결과 사용자에게 종합적 상황정보 획득이 용이하도록 정보화하기 위한 위성 영상 관점의 정보를 획득할 수 있다. 그리고 4대의 카메라를 동시에 사용하기 위한 하드웨어적 한계를 극복하고자 영상처리가 가능한 임베디드 카메라 모듈을 개발하였다. 사용자-로봇 상호작용을 위해 버튼 및 조이스틱과 같은 기계적 입력장치를 사용하지 않고 사용자의 자연스러운 제스처를 통하여 제어 명령을 입력할 수 있는 터치 패드를 사용하여 사용자 인터페이스를 구축하였다. 개발한 시스템은 시 공간적 한계를 극복하고 원격에서 로봇의 상황정보를 획득하여 사용자 친화적인 로봇제어를 할 수 있다. 위의 내용들을 검증하기 위하여 같은 상황 환경에서의 기존의 시스템과 비교 실험을 진행하였고 실험 결과를 통하여 제안한 시스템의 효용성을 검증하였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.4 no.2
• /
• pp.91-96
• /
• 2015

We propose AirPincher, a handheld pointing device for recognizing delicate mid-air hand gestures to control a remote display. AirPincher is designed to overcome disadvantages of the two kinds of existing hand gesture-aware techniques such as glove-based and vision-based. The glove-based techniques cause cumbersomeness of wearing gloves every time and the vision-based techniques incur performance dependence on distance between a user and a remote display. AirPincher allows a user to hold the device in one hand and to generate several delicate finger gestures. The gestures are captured by several sensors proximately embedded into AirPincher. These features help AirPincher avoid the aforementioned disadvantages of the existing techniques. We experimentally find an efficient size of the virtual input space and evaluate two types of pointing interfaces with AirPincher for a remote display. Our experiments suggest appropriate configurations to use the proposed device.

• The Journal of the Korea Contents Association
• /
• v.9 no.6
• /
• pp.117-125
• /
• 2009

In this paper, we propose user-centric immersible and interactive electronic book based on the interface of tabletop display. Electronic book is usually used for users that want to read the text book with multimedia contents like video, audio, animation and etc. It is based on tabletop display platform then the conventional input device like keyboard and mouse is not essentially needed. Users can interact with the contents based on the gestures defined for the interface of tabletop display using hand finger touches then it gives superior and effective interface for users to use the electronic book interestingly. This interface supports multiple users then it gives more diverse effects on the conventional electronic contents just made for one user. In this paper our method gives new way for the conventional electronics book and it can define the user-centric gestures and help users to interact with the book easily. We expect our method can be utilized for many edutainment contents.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.322-325
• /
• 2015

본 논문에서는 개선된 자세 인식을 위한 학습을 통한 자세 인식 기법을 제안한다. 제안 자세 인식 기법은 영상의 모든 픽셀 값을 사용하지 않으며 인체의 골격의 위치 정보와 자세의 학습을 기반으로 한다. 최근 자세 인식기법에 다양한 기계 학습 기법을 적용하여 제스처 인식률을 높이는 연구가 진행되고 있지만 실시간 프레임에 적용하는데 한계가 있다. 반면 고차원의 특징점을 추출하여 신경망 학습방식을 이용하면 적은 계산량과 손쉬운 실행이 가능하다. 고차원의 특징점은 깊이 정보로부터 사람의 골격 정보를 이용해 추출하여 차원을 감소시키며 신경망 학습 방식에서는 각 자세에 대한 고차원의 특징점을 이용하여 자세의 학습을 진행한다. 신경망학습은 학습 단계에서는 미리 알려진 자세와 예측된 자세의 비교를 통해 오류를 최소화 하는 방향으로 학습을 진행하며, 판별 단계에서는 새로운 자세를 입력하여 고차원 특징점을 이용한 신경망 학습 기반의 제안 기술의 성능을 평가한다. 실험에 의하면 제안 기법은 약 96%의 자세 인식률을 보이고 자세 인식기법을 동작 인식으로 확장 가능성 또한 보인다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.688-693
• /
• 2007

본 논문은 인간과 로봇간의 효과적인 상호작용을 위한 로봇제스쳐의 자동생성 기법을 다룬다. 이는 텍스트 정보 만의 입력으로 의미 있는 단어에 대응되는 특정 제스쳐패턴이 자동적으로 생성되도록 하는 기법으로서 이를 위한 사전조사로 제스쳐가 출현하는 발화시점에서의 단어수집이 우선적으로 요구되었다. 본 논문은 이러한 분석을 위해 두 개 이상의 연속된 제스쳐 패턴을 효과적으로 표현할 수 있는 제스쳐 모델을 제안한다. 또한 제안된 모델이 적용되어 구축된 제스쳐DB와 스크립트 기법을 이용한 로봇제스쳐 자동생성 방법을 제안한다. 제스쳐 생성시스템은 규칙기반의 제스쳐 선택부와 스크립트 기반의 동작 계획부로 구성되고, 집사로봇의 안내기능에 대한 모의실험을 통해 그 효용성을 확인한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.909-914
• /
• 2007

본 논문은 조명변화가 심한 주변환경에서 동적객체의 특징정보를 안정적으로 추출하는 기법을 제시한다. 제안기법에서는 우선 조명변화의 효과를 최소화 하기위해 HSI 컬러공간에서 색상(Hue) 강도 및 색상기울기에 대한 평균값과 표준편차 값으로 이루어진 배경모델을 생성한다. 실시간으로 입력되는 동적 객체를 포함한 연속영상에 대하여 각 화소에 대한 색상(Hue) 성분을 추출하고 이웃 화소와의 색상성분에 대한 기울기 크기를 계산한다. 이를 기구축된 배경모델과 비교하여 그 차분값이 일정 임계값을 초과하는 경우 동적 객체의 영역으로 판별한다. 마지막으로 모폴로지 연산을 수행하여 배경영상의 노이즈 영역을 제거한다. 본 논문에서는 기존 동적객체 추출기법과 제안기법을 핸드 트래킹과 전체 몸 움직임 추적의 비교실험을 통하여 제안 기법의 안정성을 보였다. 제안 기법은 극심한 조명변화에 강건하게 동적 객체의 영역정보를 실시간 추출하였다.