• 방송공학회논문지
• /
• 제21권1호
• /
• pp.11-23
• /
• 2016

터치 인터페이스는 가장 최근에 등장한 상호작용 인터페이스 중에서도 그 사용성과 응용성이 뛰어난 인터페이스이다. 기술의 발전과 더불어 터치 인터페이스는 현대 사회에서 시계에서부터 광고판까지 많은 영역에 걸쳐 빠르게 퍼져나가고 있다. 하지만 여전히 터치 상호작용은 접촉식 센서가 내장되어있는 유효한 영역 내에서만 이루어질 수 있다. 따라서 센서가 내장될 수 없는 일반적인 사물들과의 상호작용은 아직 불가능한 상황이다. 본 논문에서는 이와 같은 제약 사항을 극복하기 위해 RGB-D 카메라를 이용한 사람-사물 상호작용 프레임워크를 제안한다. 제안하는 프레임워크는 물체와 사용자의 손이 서로 가려지는 상황에서도 서로 문제없이 상호작용을 수행할 수 있는 장점을 가지고 있으며, 빠르고 크기 변화와 회전에 강인한 물체 인식 알고리즘과 윤곽 정보를 이용한 손 제스처 인식 알고리즘을 통해 실시간으로 사용자가 사물과 상호작용을 수행할 수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권3호
• /
• pp.199-204
• /
• 2013

본 논문에서는 다양한 정보단말기에 활용될 수 있는 손동작기반의 실시간 숫자 인식기 구현 기법을 제안한다. 제안한 알고리즘은 키넥트 센서를 활용하여 3차원 공간에서 손의 움직임을 획득한다. 획득한 손의 궤적은 잡음과 제스처의 크기 변화에 의한 궤적 변화를 최소화하고 일관성 있는 추적을 유지하기 위해 주성분 분석으로 단순화 된다. 또한, 기울기와 위치정보 특징을 동시에 고려한 새로운 특징 기반 은닉 마르코프 모델을 제시한다. 그 결과 제안한 기법은 손동작의 크기와 움직임 속도에 강인한 실시간 인식기를 구현하였다. 실험을 통하여 기존의 기울기 정보만을 사용하였을 때 보다 30% 이상의 높은 인식률을 보였으며, 98%의 높은 숫자 인식률을 나타내었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
• /
• pp.112-116
• /
• 2010

본 논문에서는 테이블탑 디스플레이을 기반으로한 RealBook에 대하여 제안한다. 전자책은 일반 종이책이 아닌 컴퓨터를 이용한 가상의 책으로써 사용자가 독서를 하는 도중 동영상 자료를 보거나 배경음악을 들을 수 있게 해주는 멀티미디어 콘텐츠이다. 또한, 테이블탑 디스플레이 플랫폼에서 사용하므로 손의 직접적인 터치를 이용하여 전자책과 사용자 간의 좀 더 다양한 상호작용이 가능하도록 한다. 테이블탑 디스플레이에서는 손가락의 터치 점을 이용하여 다양한 제스처를 정의할 수 있어서, 사용자가 기존 입력 장치에 비해 보다 효과적으로 전자책을 체험하는 것을 돕는다. 본 논문에서는 제안하는 방법은 기존 전자책과 차별화된 상호작용 디지털와 아날로그를 결함한 책(Real book)으로써 전자책에 대한 새로운 방향을 제시할 수 있고, 미디어 아트와 스토리텔링 기법을 접목시켜 사용자에게 정보 전달뿐만 아니라 예술과 오락 등을 제공할 수 있다. 앞으로 컴퓨터와 사용자간의 상호작용을 원활하게 할 수 있어 다양한 어플리케이션 개발에 활용될 수 있고 향후 미래 지향적 시스템이 될 것이다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.60-63
• /
• 2008

소니 아이토이는 Playstation 2에서 개발되었으며 웹캠을 이용하여 사람을 찾고 TV를 통해 게임속의 객체를 직접 터치하여 진행하는 게임이다. 기존의 비디오 게임 방식과 다르게 사용자가 게임 속에 실제적인 주인공으로 등장한다. 거울에 비친 모습처럼 자신의 모습이 게임 안에 나타나게 된다. 비록 이미 상용화되었고 잘 알려진 게임이지만 이러한 게임인터페이스는 사용자에게 흥미를 유도할 수 있는 장점이 있기 때문에 새롭게 개발 응용될 가능성이 많이 있다. 본 논문에서는 이러한 게임을 개발할 수 있는 환경을 개발하기 위해 피부색을 이용해 사람을 찾는 영상처리 과정, 게임 개발을 위한 그래픽, 게임인터페이스 설계과정을 연구하였다. 설계된 개발환경은 간단한 풍선 터뜨리는 게임을 통해 테스트되었다. 이 개발환경은 영상처리 기능 개선, 제스처인식 추가 등 앞으로 많은 발전 가능성이 있으며 곧 오픈되어 많은 개발자들이 시험적으로 사용할 수 있을 것이다.

• 로봇학회논문지
• /
• 제18권1호
• /
• pp.18-28
• /
• 2023

This study introduces a smart wrist band system with pressure measurements using wrist skin curvature variation due to finger motion. It is easy to wear and take off without pre-adaptation or surgery to use. By analyzing the depth variation of wrist skin curvature during each finger motion, we elaborated the most suitable location of each Force Sensitive Resistor (FSR) to be attached in the wristband with anatomical consideration. A 3D depth camera was used to investigate distinctive wrist locations, responsible for the anatomically de-coupled thumb, index, and middle finger, where the variations of wrist skin curvature appear independently. Then sensors within the wristband were attached correspondingly to measure the pressure change of those points and eventually the finger motion. The smart wrist band was validated for its practicality through two demonstrative applications, i.e., one for a real-time control of prosthetic robot hands and the other for natural human-computer interfacing. And hopefully other futuristic human-related applications would be benefited from the proposed smart wrist band system.

• 한국엔터테인먼트산업학회논문지
• /
• 제5권2호
• /
• pp.87-95
• /
• 2011

최근 다양한 인터랙티브 인터페이스 개발로 인해 체감형 게임 환경에 관심이 모아지고 있다. 따라서 본 논문에서는 증강현실 기술의 하나인 마커인식 인터페이스와 멀티 터치 인터랙션 인터페이스를 이용한 멀티 카드 터치 기반의 인터랙티브 아케이드 시스템을 제안한다. 이를 위해 DI 기반의 인식 알고리즘을 적용하여 카드의 위치, 방향 정보를 인식한다. 또한 사용자의 손 제스처 정보를 트래킹하여 다양한 인터랙션 메타포를 제공한다. 본 시스템은 사용자에게 좀 더 높은 몰입감을 제공하며 새로운 경험을 제공한다. 따라서 제안하는 시스템은 체감형 아케이드 게임기기에 활용될 것이다.

• 한국음향학회지
• /
• 제19권2호
• /
• pp.90-94
• /
• 2000

본 논문에서는 HMM 기반의 인식시스템에서 신뢰성이 낮은 입력패턴을 거절하기 위해 필요한 임계 문턱값을 효과적으로 추정하는 방법을 제안한다. Anti-model을 이용한 거절방식은 통계적 가설(statistical hypothesis)에 근거하여 주어진 입력에 대한 HMM과 anti-model 간의 유사도를 임계 문턱값과 비교하여 거절 여부를 결정한다. HMM은 각 클래스 별로 출력값의 편차가 심하게 나타나므로 일률적인 문턱값을 적용하는 것이 어렵다. 본 논문에서는 각 클래스 별로 HMM 생성을 위해 사용된 학습데이터를 이용하여 클래스에 종속적인 임계 문턱값을 추정하는 방법을 제안한다. 각 클래스에서의 임계 문턱값은 학습데이터에 대한 HMM과 anti-model 간의 유사도로부터 추정된다. 실험에서는 HMM 기반의 3차원 손 제스처 인식시스템에 대해 제안한 문턱값 추정방법을 적용하여 거절검사를 수행하였다. 실험 결과로부터 제안한 임계 문턱값 추정방법이 anti-model 구현 방식에 관계없이 적용이 가능하고 추정된 문턱값을 이용하여 부적절한 입력 패턴을 적절하게 거절할 수 있음을 확인할 수 있었다.

• 전기전자학회논문지
• /
• 제23권4호
• /
• pp.1423-1429
• /
• 2019

최근에, 효율적인 상호작용을 지원하는 시스템 인 휴먼 머신 인터페이스(HMI)가 인기를 끌고있다. 본 논문에서는 차량 상호작용방법 중 하나로 새로운 실시간 저비용 손동작 제어 시스템을 제안한다. 계산 시간을 줄이기 위해 RGB 카메라를 사용하여 손 영역을 감지할 때 많은 계산이 필요하므로 TOF (Time-of-Flight) 카메라를 사용하여 깊이 정보를 취득한다. 또한, 푸리에 기술자를 사용하여 학습 모델을 줄였다. 푸리에 디스크립터는 전체 이미지에서 적은 수의 포인트만 사용하므로 학습 모델을 소형화 할 수 있다. 제안 된 기법의 성능을 평가하기 위해 데스크탑과 라즈베리 pi 2의 속도를 비교했다. 실험 결과에 따르면 소형 임베디드와 데스크탑의 성능 차이는 크지 않다. 제스처 인식 실험에서 95.16 %의 인식률이 확인되었다.

• 한국차세대컴퓨팅학회논문지
• /
• 제15권5호
• /
• pp.53-63
• /
• 2019

모바일 환경에서 딥러닝을 통한 손 제스처 인터페이스를 제공하려면 높은 인식률을 제공하면서 실행속도의 저하를 막기 위한 네트워크 경량화의 연구가 필수적이다. 본 논문은 딥러닝 모델의 경량화를 통해 모바일 기기에서 손가락을 이용하여 공중에 쓴 문자를 실시간으로 인식하는 방법을 제안한다. MobileNet을 특징 추출기로 활용하는 객체 탐지 모델인 SSD (Single Shot Detector)를 기반으로 집게손가락을 탐지하고 손끝 경로를 이어 결과문자 영상을 생성한다. 이 영상은 서버로 전송되어 정규화 과정을 수행한 다음 학습된 OCR 모델을 이용하여 문자를 인식한다. 본 방법을 검증하기 위하여 12명의 사용자가 GALAXY S10+ 기기를 사용하여 1,000개의 단어를 실험한 결과 평균 88.6%의 정확도로 손가락을 인식하고 124 ms 이내로 인식된 텍스트가 출력되어 실시간으로 활용 가능함을 알 수 있었다. 본 연구결과는 모바일 환경에서 손가락을 이용한 간단한 문자 전송, 메모 및 공중 서명 등에 활용될 수 있다.

• 인터넷정보학회논문지
• /
• 제17권4호
• /
• pp.35-42
• /
• 2016

최근 제한적인 마커기반 증강현실의 여러 가지 단점들을 보완하기 위해 사용자의 얼굴, 발, 손 등을 활용한 비 마커기반 증강현실 시스템에 관한 연구들이 활발하게 진행되고 있는 추세이다. 또한 대부분의 기존 증강현실 시스템들은 사용자에게 보여주는 것과 기본적인 상호작용에 목표를 두고 강체를 증강하여 수행되는 경우가 많았다. 본 논문에서는 단지 보여주는 것에 국한되는 것이 아니라 여러 분야에서 활용이 가능한 변형물체를 사용자와의 상호작용을 바탕으로 시뮬레이션을 제공하는 비 마커기반의 증강현실 시스템을 설계 및 구현하였다. 변형물체는 질량-스프링 모델, 유한 요소 모델 두 가지 방법을 주로 사용하여 구현한다. 질량-스프링 모델은 실시간 시뮬레이션에 장점이 있으며 유한 요소 모델은 변형물체의 정밀함을 나타낼 때 장점을 가진다. 본 논문에서는 실시간으로 시뮬레이션을 목표로 하고 있기 때문에 질량-스프링 모델을 기반으로 하는 테트라헤드론 구조를 이용하여 변형물체를 구현하였다. 변형물체의 자연스러운 움직임을 실시간으로 시뮬레이션하기 위해 키넥트 SDK를 통해 사용자의 손의 위치를 추적 하고, 손의 위치 변화량을 바탕으로 힘을 계산한다. 이를 바탕으로 $4^{th}$ order Runge-Kutta Integration 수치적분법을 이용하여 물체의 다음 위치를 계산하여 시뮬레이션 하도록 하였다. 그리고 자연스러운 동작을 표현하기 위해서 사용자의 손을 통해 물체에 작용하는 힘이 너무 많이 작용하지 않기 위해 제스처에 임계값을 정하였으며 해당 임계값을 넘는 힘이 작용할 경우 임계값으로만 적용되도록 설정하였다. 각 실험을 5회씩 반복하였으며 실험에 따른 시뮬레이션 연산속도를 분석하였다. 본 논문을 통해 구현한 변형물체를 활용한 비 마커기반 증강현실 시스템을 바탕으로 기존의 강체 기반의 증강현실에서 활용하기 힘들었던 의료, 교육 및 다양한 방면으로 시뮬레이션이 가능할 것으로 기대한다.