• 스마트미디어저널
• /
• 제1권4호
• /
• pp.18-26
• /
• 2012

스마트폰 어플리케이션 수의 증가는 새로운 유저인터페이스에 대한 중요성을 증대시켰으며, 다양한 센서를 융합한 유저인터페이스 개발 연구의 관심을 유도하고 있다. 본 논문에서는 스마트폰에 있는 가속도 센서, 자계 센서, 자이로 센서 정보를 융합하여 사용자 모션 제스처를 인식할 수 있는 새로운 유저인터페이스를 제안한다. 제안 방법은 유합 센서 정보로부터 스마트폰의 3차원 방위 정보를 구하고, HMM(Hidden Markov Model)을 이용하여 손동작 제스처를 인식한다. 특히 제안된 스마트폰의 3차원 방위 좌표계를 구면 좌표계로 변환하는 양자화 방법은 기본 축 회전에 더욱 민감한 인식이 이루어지도록 하였다. 실험을 통하여 제안한 방법이 93%로의 인식률을 보였다.

• 대한의용생체공학회:의공학회지
• /
• 제42권4호
• /
• pp.186-192
• /
• 2021

In this paper, we evaluated prediction accuracy of Euler angle spectrograph classification method using a convolutional neural networks (CNN) for hand gesture recognition in augmented reality (AR) cognitive rehabilitation system based on Leap Motion Controller (LMC). Hand gesture recognition methods using a conventional support vector machine (SVM) show 91.3% accuracy in multiple motions. In this paper, five hand gestures ("Promise", "Bunny", "Close", "Victory", and "Thumb") are selected and measured 100 times for testing the utility of spectral classification techniques. Validation results for the five hand gestures were able to be correctly predicted 100% of the time, indicating superior recognition accuracy than those of conventional SVM methods. The hand motion recognition using CNN meant to be applied more useful to AR cognitive rehabilitation training systems based on LMC than sign language recognition using SVM.

• 대한의용생체공학회:의공학회지
• /
• 제43권5호
• /
• pp.299-307
• /
• 2022

In this paper, we propose a pre-processing method that converts to Spider Chart image data for classification of gripping movement using EMG (electromyography) sensors and Convolution Neural Networks (CNN) deep learning. First, raw data for six hand gestures are extracted from five test subjects using an 8-channel armband and converted into Spider Chart data of octagonal shapes, which are divided into several sliding windows and are learned. In classifying six hand gestures, the classification performance is compared with the proposed pre-processing method and the existing methods. Deep learning was performed on the dataset by dividing 70% of the total into training, 15% as testing, and 15% as validation. For system performance evaluation, five cross-validations were applied by dividing 80% of the entire dataset by training and 20% by testing. The proposed method generates 97% and 94.54% in cross-validation and general tests, respectively, using the Spider Chart preprocessing, which was better results than the conventional methods.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.425-438
• /
• 2012

본 논문에서는 컴퓨터 비전 기술 기반으로 사용자의 손 움직임과 가상객체 사이의 자연스러운 상호작용을 위한 증강현실 시스템을 제안한다. 기존의 증강현실 시스템은 마커를 이용하거나 트랙커 같은 센서를 직접 조작해야 했기 때문에 사용자에게 불편함을 제공한다. 우리는 이러한 문제점을 해결하기 위해서 손 움직임을 증강현실 시스템에 적용한다. 또한 가상객체의 움직임에 물리적 현상을 적용하여 현실감을 부여한다. 제안한 시스템은 마커를 이용하여 기하학적 정보를 얻어 가상의 공이 움직이는 가상공간, 벽돌 등의 시스템 환경을 구성하였으며, 사용자의 손 움직임은 테이핑을 통하여 특징점을 추출하여 정보를 얻는다. 이 특징점을 이용하여 손 위에 가상 평면을 안정적으로 정합한다. 가상의 공의 움직임은 포물선 방정식을 이용하여 기본적으로 포물선 움직임을 보이고, 평면 또는 벽돌에 충돌이 발생할 경우에는 가상 공의 위치와 평면의 법선벡터를 이용하여 가상 공의 움직임을 보였다. 실험을 통해 충돌 시 발생되는 잘못된 공의 위치에 대해 보정되는 과정을 보였고, 증강된 가상객체의 떨림과 수행속도에 대해 마커를 이용한 시스템과 비교하여 제안한 시스템으로 대체할 수 있다는 것을 확인하였다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2005년도 추계학술대회 논문집
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.

• 한국융합학회논문지
• /
• 제1권1호
• /
• pp.69-75
• /
• 2010

영상매체를 이용한 영어 교육은 단순히 청각만을 이용한 방법보다 피교육생에게 사실적인 발음표현과 콘텐츠 몰입감 증대등의 측면에서 중요성이 높아지고 있다. 영어교육 콘텐츠에 등장하는 캐릭터들은 음성에 영어 발음에 맞추어진 사실적인 입모양을 표현키 위하여 많은 노력을 들이 있다. 이 논문에서는 교사가 손쉽게 영상 콘텐츠를 제작할 수 있도록 도와줄, 대화구문기반 교육용 콘텐츠 저작시스템을 이용하는 사용자에게 사실적인 lip-sync 애니메이션을 제작할 수 있도록 하여 교육의 능률을 높일 수 있도록 3D 캐릭터를 사례로 제작하였다. 폼 노아 마우스 차트를 활용한 입모양과 발음의 연관구조를 분석하고, 캐릭터의 컨셉 디자인에서 모델링, 맵핑, 애니메이팅 과정을 거쳐 익스포트로 최적화된 캐릭터데이터를 추출해 보았다. 입모양과 연계되는 손동작, 몸동작도 추후 연구에서 다루어질 때 보다 효율적인 교육용콘텐츠를 위한 3D캐릭터 제작이 될 것으로 사료된다.

• 한국지능시스템학회논문지
• /
• 제23권4호
• /
• pp.341-347
• /
• 2013

본 논문은 장갑 센서를 이용한 보드로봇의 무선제어 연구에 관해 다룬다. 사용된 보드로봇은 일종의 탑승형 로봇으로 탑승자는 옆으로 서서 앞을 보며 제어한다. 탑승자는 제안된 무선제어기 장갑을 한 손에 끼고, 손가락 동작에 의해 방향전환을 할 수 있다. 보드로봇과 사용자와의 무선제어를 위하여 블루투스(Bluetooth)가 사용되며, 장갑 제어기에는 광센서(CdS cell Sensor)와 LED(Light Emitted Diode)를 사용하여 손가락 동작에 의해 보드로봇을 조종한다. 사용자의 손동작에 따른 다섯 종류의 명령('1'우회전 '2'중립 '3'좌회전 '4'운전 '5'정지)을 CdS 센서로 측정된 아날로그 값을 기반으로 손가락 접촉유무를 확인한 후, 접촉유무에 대한 디지털 값을 전송한다. 보드로봇에 장착된 블루투스 송신기는 이 값을 수신한 후 수신된 명령을 기반으로 보드로봇은 주행된다. 실험의 결과로 제안된 장갑센서 인터페이스가 보드로봇 제어를 위해 효과적으로 사용될 수 있음을 보여준다.

• 디지털융복합연구
• /
• 제11권7호
• /
• pp.157-163
• /
• 2013

본 논문에서는 손가락 마디 추정을 이용한 비전 및 깊이 정보 기반 손 인터페이스 방법을 제안한다. 먼저 비주얼 영상 및 깊이 정보 영상을 매핑한 후 왼손과 오른손의 영역의 레이블링 및 윤곽선 잡음 보정 후 각 손 영역에 대하여 손 중심점 및 회전각을 구현한다. 그리고 손 중심점에서 일정간격의 원을 확장하여 손 경계 교차점의 중간 지점을 계산하여 손가락 끝점과 마디를 추정하여 사용자의 손가락 동작을 인식한다. 본 방법을 실험한 결과 손의 회전 및 손가락 시작점 및 끝점을 정확하게 추정하여 다양한 손동작 인식 및 제어가 가능함을 보였다. 왼손과 오른손을 사용하여 다양한 손 포즈에 대해 실험한 결과, 본 논문의 제안 방법은 평균 90% 이상의 정확도로 초당 25프레임 이상의 처리 성능을 보였다. 제안 방법은 컴퓨터간의 HCI 제어, 게임, 교육 등의 비접촉식 인터페이스 응용분야에 적용될 수 있다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.111-116
• /
• 2019

최근 컴퓨터 능력의 급속한 발전으로 인간과 컴퓨터간의 상호 작용을 편리하게 연결할 수 있는 많은 기술들이 연구되고 있는 상황으로, 전통적인 입력장치를 사용한 GUI에서 3D 모션, 햅틱, 멀티 터치와 같은 신체를 이용한 NUI로 패러다임이 변화되고 있는 추세이다. 인간의 동작을 센서를 이용하여 컴퓨터에 전달하는 많은 연구가 이루어지고 있으며, 3D 객체를 획득할 수 있는 광학 센서의 개발과 더불어 산업 및 의료 분야, 사용자 인터페이스 분야 등으로 응용 범위가 확장되고 있다. 본 논문에서는 립모션을 기반으로 사용자의 손동작에 따라 기본 입력장치인 마우스를 대신하여 제스처를 통한 타 프로그램 실행 및 윈도우즈 제어가 가능하며, 안드로이드 앱과 융합하여 메인 클라이언트와 연결을 통하여, 음성인식과 버튼을 사용해 각종 미디어와 음성 명령 기능을 통한 제어가 가능한 모델을 제안한다. 제안 모델을 통하여 영상, 음악과 같은 인터넷 미디어를 클라이언트 컴퓨터 뿐만 아니라 앱을 통한 원거리 제어가 가능하여, 편리하게 미디어를 시청할 수 있을 것으로 기대된다.

• 한국전자통신학회논문지
• /
• 제17권5호
• /
• pp.933-940
• /
• 2022

2차원 영상 센서를 이용하여 조종자의 3차원 손 위치를 인식하고 이를 기반으로 원격으로 6축 로봇팔을 제어하는 시스템을 개발하였다. 시스템은 물체의 영상정보를 인식하는 2차원 영상 센서 모듈, 영상정보를 로봇팔 제어 명령어로 전환하는 알고리즘, 자체 제작한 6축 로봇팔 및 제어 시스템으로 구성된다. 영상 센서는 조종자가 착용한 장갑의 모양과 색을 인지하여 크기 및 위치정보를 출력하게 되며, 본 연구에서는 이러한 위치 및 물체를 둘러싼 크기 정보를 이용하여 로봇 선단의 속도를 제어한다. 연구 방법의 검증은 자체 제작된 6축 로봇으로 실행하였으며, 조종자의 손동작 조종에 의한 실험을 통해 제안한 영상정보 제어 및 로봇 선단 제어 방법이 성공적으로 동작함을 확인하였다.