• 스마트미디어저널
• /
• 제5권3호
• /
• pp.35-41
• /
• 2016

본 논문에서는 심층 학습 모델 방법을 이용하여 EPS(Electronic Potential Sensor) 기반의 손동작 신호를 인식하는 시스템을 제안한다. 전기장 기반 센서인 EPS로부터 추출된 신호는 다량의 잡음이 포함되어 있어 이를 제거하는 전처리과정을 거쳐야 한다. 주파수 대역 특징 필터를 이용한 잡음 제거한 후, 신호는 시간에 따른 전압(Voltage) 값만 가지는 1차원적 특징을 지닌다. 2차원 데이터를 입력으로 하여 컨볼루션 연산을 하는 알고리즘에 적합한 형태를 갖추기 위해 신호는 차원 변형을 통해 재구성된다. 재구성된 신호데이터는 여러 계층의 학습 층(layer)을 가지는 심층 학습 기반의 모델을 통해 분류되어 최종 인식된다. 기존 확률 기반 통계적 모델링 알고리즘은 훈련 후 모델을 생성하는 과정에서 초기 파라미터에 결과가 좌우되는 어려움이 있었다. 심층 학습 기반 모델은 학습 층을 쌓아 훈련을 반복하므로 이를 극복할 수 있다. 실험에서, 제안된 심층 학습 기반의 서로 다른 구조를 가지는 컨볼루션 신경망(Convolutional Neural Networks), DBN(Deep Belief Network) 알고리즘과 통계적 모델링 기반의 방법을 이용한 인식 결과의 성능을 비교하였고, 컨볼루션 신경망 알고리즘이 다른 알고리즘에 비해 EPS 동작신호 인식에서 보다 우수한 성능을 나타냄을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 춘계학술대회
• /
• pp.389-392
• /
• 2010

본 논문에서는 웹캠으로 입력받은 컬러 영상에서 손의 구조정보를 활용하여 위치를 탐지하고 손동작을 인식하는 방법을 제시한다. 본 시스템에서는 피부색을 기반으로 영상을 이진화하고, 라벨링한다. 각각의 라벨링된 영역 내에서 Voronoi Diagram을 활용한 최대 내접원(Maximum Inscribed Circle)을 탐색하여 손의 중심점을 찾고 최대 내접원과 연결된 타원 성분을 분석하여 손 영역을 추출한다. 그리고 여기에서 찾아진 최대 내접원과 타원 성분을 손동작 인식의 특징점으로 사용한다. 제안하는 알고리즘은 다양한 환경에서 손을 인식할 때 문제가 되는 배경에서의 유사한 색상을 가진 물체를 효과적으로 제거할 수 있는 장점이 있다.

• Journal of Information Processing Systems
• /
• 제4권4호
• /
• pp.159-168
• /
• 2008

Human-Robot Interaction (HRI), based on already well-researched Human-Computer Interaction (HCI), has been under vigorous scrutiny since recent developments in robot technology. Robots may be more successful in establishing common ground in project-based education or foreign language learning for children than in traditional media. Backed by its strong IT environment and advances in robot technology, Korea has developed the world's first available e-Learning home robot. This has demonstrated the potential for robots to be used as a new educational media - robot-learning, referred to as 'r-Learning'. Robot technology is expected to become more interactive and user-friendly than computers. Also, robots can exhibit various forms of communication such as gestures, motions and facial expressions. This study compared the effects of non-computer based (NCB) media (using a book with audiotape) and Web-Based Instruction (WBI), with the effects of Home Robot-Assisted Learning (HRL) for children. The robot gestured and spoke in English, and children could touch its monitor if it did not recognize their voice command. Compared to other learning programs, the HRL was superior in promoting and improving children's concentration, interest, and academic achievement. In addition, the children felt that a home robot was friendlier than other types of instructional media. The HRL group had longer concentration spans than the other groups, and the p-value demonstrated a significant difference in concentration among the groups. In regard to the children's interest in learning, the HRL group showed the highest level of interest, the NCB group and the WBI group came next in order. Also, academic achievement was the highest in the HRL group, followed by the WBI group and the NCB group respectively. However, a significant difference was also found in the children's academic achievement among the groups. These results suggest that home robots are more effective as regards children's learning concentration, learning interest and academic achievement than other types of instructional media (such as: books with audiotape and WBI) for English as a foreign language.

• 스마트미디어저널
• /
• 제6권2호
• /
• pp.26-32
• /
• 2017

본 논문에서는 지구전기장 왜란신호를 전위차로 변환하는 EPIC(Electric Potential Integrated Circuit) 센서를 이용한 NUI(Natural User Interface) 기술의 요소기술인 신호검출 전자회로를 기반으로 LED 조명을 제어하는 시스템을 구현하였다. 기존에는 CIB 개발 장비를 통해서만 제한적인 형태로 이용 가능했던 신호를 모든 EPIC 센서 각각의 신호를 추출할 수 있도록 개발된 신호검출 전자회로를 이용하였다. 이렇게 추출한 신호는 이후 손동작 인식프로세스에서 특징추출 등의 과정에서 더 많은 자유도와 성능개선 효과를 보여준다. 설계되어 제작된 회로의 실제 응용시스템으로서 적용성을 검증하기 위하여 4개의 손동작으로 LED 조명의 on/off 와 밝기를 조정할 수 있는 시스템을 설계하였다. 기존의 EPIC 센서를 이용하여 명령체계를 구축하고 인터페이스 제어신호를 이용하여 보다 빠른 패턴인식 처리 속도를 얻을 수 있었다.

• 한국정보통신학회논문지
• /
• 제12권6호
• /
• pp.1101-1106
• /
• 2008

청각장애인들은 건청인에 비해 의사소통의 기회가 적어 원만한 상호관계를 유지하는데 어려움이 있다. 이러한 문제는 청각장애인들이 구화를 대신해 몸짓이나 손짓을 이용하여 의사를 전달하는 수화를 건청 인들이 대부분 습득하고 있지 않아 청각장애 인들과 의사소통이 거의 불가능 한 것에서 초래된다. 따라서 본 논문에서는 건청인과 청각장애인들 간의 의사소통을 가능하게 하기 위한 전단계로 FCM 알고리즘을 이용한 지화 인식 방법을 제안한다. 제안된 방법 은 화상 카메라를 통해 얻어진 영상에서 YCbCr 컬러 공간과 HSI 컬러 공간을 이용하여 피부영역을 검출한 후, 추출된 피부영역에 4방향 윤곽선 추적 알고리즘을 적용하여 두 손의 위치를 추적한다. 그리고 추적한 두손의 영역에 대해 형태학적 정보를 이용하여 잡음을 제거한 후, 최종적으로 두 손의 영역을 추출한다. 추출된 손의 영역은 FCM 알고리즘을 적용하여 지화의 특징들을 분류하고 인식한다. 제안된 방법의 성능을 평가하기 위해 화상 카메라에서 획득한 지화 영상을 대상으로 실험한 결과, 두 손 영역의 추출과 지화 인식에 있어서 효과적인 것을 확인하였다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.111-116
• /
• 2019

최근 컴퓨터 능력의 급속한 발전으로 인간과 컴퓨터간의 상호 작용을 편리하게 연결할 수 있는 많은 기술들이 연구되고 있는 상황으로, 전통적인 입력장치를 사용한 GUI에서 3D 모션, 햅틱, 멀티 터치와 같은 신체를 이용한 NUI로 패러다임이 변화되고 있는 추세이다. 인간의 동작을 센서를 이용하여 컴퓨터에 전달하는 많은 연구가 이루어지고 있으며, 3D 객체를 획득할 수 있는 광학 센서의 개발과 더불어 산업 및 의료 분야, 사용자 인터페이스 분야 등으로 응용 범위가 확장되고 있다. 본 논문에서는 립모션을 기반으로 사용자의 손동작에 따라 기본 입력장치인 마우스를 대신하여 제스처를 통한 타 프로그램 실행 및 윈도우즈 제어가 가능하며, 안드로이드 앱과 융합하여 메인 클라이언트와 연결을 통하여, 음성인식과 버튼을 사용해 각종 미디어와 음성 명령 기능을 통한 제어가 가능한 모델을 제안한다. 제안 모델을 통하여 영상, 음악과 같은 인터넷 미디어를 클라이언트 컴퓨터 뿐만 아니라 앱을 통한 원거리 제어가 가능하여, 편리하게 미디어를 시청할 수 있을 것으로 기대된다.

• 한국콘텐츠학회논문지
• /
• 제21권12호
• /
• pp.842-854
• /
• 2021

코로나19의 출현 이후 국내외 공연계는 온라인 플랫폼을 활용해 다양한 예술적 실험을 시도하고 있다. 이에 본 연구는 연극 공연을 위한 창작 도구로 활용된 줌(Zoom)의 기능적 특성에 주목하였다. 우선 줌을 활용한 국내외 연극 공연 사례와 그 특징들을 살펴본 후, 줌 연극 <프로젝트, 홍도 Project, Hong-Do>의 제작 단계를 리서치 중심의 프리-프로덕션(Pre-production)단계, 대본을 바탕으로 각 장면을 구성하는 장면 워크숍(Scene Workshop)단계, 장면별 실시간 녹화를 진행하는 레코딩(Recording) 단계와 공연을 상영하기 위한 스트리밍(Streaming) 단계로 구분하여 살펴봄으로써 줌을 통해 창작한 연극의 특성을 고찰할수 있었다. 또한 이러한 제작 과정에서 나타난 배우의 연기 접근 방법을 시선의 분리, 공간의 재인식, 표현적 제스처의 활용, 능동적 행동으로서의 리액션(Reaction)으로 상정하여 살펴보았다. 그 결과 줌을 활용한 연극 작업의 지속적인 발전 가능성과 이에 따른 배우의 연기 접근 방법을 제안할 수 있었다.

• 한국정보전자통신기술학회논문지
• /
• 제12권3호
• /
• pp.251-256
• /
• 2019

본 연구에서는 손동작을 인식하기 위하여 밀리미터파 기반 레이더에서 얻어진 손동작의 주파수 반향 특성을 이용하는 알고리즘 및 시스템을 제안하였다. 제안된 시스템은 밀리미터파 아날로그 송수신부, ADC부 및 신호 처리부가 원칩으로 구현된 시스템을 이용하여 데이터를 수집하도록 구성하였고, 제안한 알고리즘은 반사된 주파수 영상의 제르니케모멘트로부터 얻어진 전역 및 지역 디스크립터로 구성된 BoF에서 K-means 클러스터링을 이용하여 코드 워드를 생성하고 SVM을 이용한 손동작 분류를 수행하였다. 수행 결과는 혼동행렬에서 얻어진 정밀도, 민감도 및 정확도를 이용하여 평가였다. 정확도 평가에서는 제안한 방법은 GZM방법 및 LZM방법과 비교하여 성능 평가를 위한 인덱스에서 제안한 방법이 95.6%의 성능을 보였고 비교한 나머지 두 방법은 88.4% 및 84%을 나타내어 제안한 방법이 기존의 두 방법에 비하여 7~8% 성능이 향상되었으며 정밀도 및 민감도에서도 나머지 두 방법에 대하여 향상된 성능을 나타내었다. 제안한 방법은 소형화된 밀리미터파 기반 레이더를 이용하여 동작 인식을 할 수 있는 임베디드 시스템의 응용가능성을 보여준다.

• 한국산학기술학회논문지
• /
• 제20권9호
• /
• pp.525-531
• /
• 2019

인간과 컴퓨터 사이의 보다 자연스러운 상호적인 인터페이스를 효과적으로 구현하기 위해서 사람의 제스처를 활용하려는 노력이 최근 들어 지속적으로 시도되고 있다. 본 논문에서는 연속적으로 입력되는 3차원의 깊이 영상을 받아들여서 손 모델을 정의하고, 정의된 손 모델을 기반으로 사람의 손 영역을 강인하게 추출하는 알고리즘을 제시한다. 본 논문에서 제시된 알고리즘에서는 먼저 21개의 관절을 사용하여 손 모델을 정의한다. 본 논문에서 정의한 손 모델은 6개의 손바닥 관절을 포함하는 손바닥 모델과 15개의 손가락 관절을 포함하는 손가락 모델로 구성된다. 그런 다음, 입력되는 3차원의 깊이 영상을 적응적으로 이진화함으로써, 배경과 같은 비관심 영역들은 제외하고, 관심 영역인 사람의 손 영역만을 정확하게 추출한다. 실험 결과에서는 제시된 알고리즘이 연속적으로 입력되는 깊이 영상으로부터 배경과 같은 영역들은 제외하고 사람의 손 영역만을 기존의 알고리즘에 비해 약 2.4% 보다 강인하게 검출한다는 것을 보여준다. 본 논문에서 제안된 손 영역 추출 알고리즘은 제스처 인식, 가상현실 구현, 3차원 운동 게임, 수화 인식 등과 같은 컴퓨터 비전 및 영상 처리와 관련된 여러 가지의 실제적인 분야에서 유용하게 활용될 것으로 기대된다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권2호
• /
• pp.1-9
• /
• 2019

본 연구는 몰입형 가상현실에서의 상호작용 과정에서 사용자의 몰입을 높여 향상된 현존감을 제공하는 손 기반 인터페이스에 대한 비교 실험을 진행한다. 몰입형 가상현실에서 사용자에게 장비의 부담을 최소화하면서 동시에 손을 보다 직접적으로 사용하여 가상 환경과 객체를 제어할 수 있는 몰입형 체험 환경을 제공하기 위하여 손 동작 인식 센서 기반 상호작용과 컨트롤러 기반 상호작용의 두 가지 실험 인터페이스를 설계한다. 손 동작 인식 센서 기반 상호작용은 VR (virtual reality) HMD (head mounted display) 외에 추가적인 장비를 사용하는 대신 정확한 손의 움직임과 직접적인 제스쳐 및 동작 표현을 가상 환경에 반영한다. 컨트롤러 기반 상호작용은 VR HMD와 함께 제공되는 컨트롤러를 쉽게 활용할 수 있도록 손의 제스쳐와 컨트롤러의 키를 매핑시킨 일반화된 인터페이스를 설계한다. 이러한 과정을 통해 본 연구는 손을 활용한 가상현실에서의 상호작용이 사용자의 편리함과 직관성에 측면에서 현존감에 미치는 영향을 비교 실험을 통해 확인한다.