A Computer Access System for the Physically Disabled Using Eye-Tracking and Speech Recognition

아이트래킹 및 음성인식 기술을 활용한 지체장애인 컴퓨터 접근 시스템

  • 곽성은 (한동대학교 전산전자공학부) ;
  • 김이삭 (한동대학교 전산전자공학부) ;
  • 심드보라 (한동대학교 전산전자공학부) ;
  • 이승환 (한동대학교 전산전자공학부) ;
  • 황성수 (한동대학교 전산전자공학부)
  • Received : 2017.04.10
  • Accepted : 2017.11.03
  • Published : 2017.11.30

Abstract

Alternative computer access devices are one of the ways for the physically disabled to meet their desire to participate in social activities. Most of these devices provide access to computers by using their feet or heads. However, it is not easy to control the mouse by using their feet, head, etc. with physical disabilities. In this paper, we propose a computer access system for the physically disabled. The proposed system can move the mouse only by the user's gaze using the eye-tracking technology. The mouse can be clicked through the external button which is relatively easy to press, and the character can be inputted easily and quickly through the voice recognition. It also provides detailed functions such as mouse right-click, double-click, drag function, on-screen keyboard function, internet function, scroll function, etc.

컴퓨터 대체접근 기기는 지체장애인의 사회활동 참여에 대한 욕구를 충족시킬 수 있는 방법 중의 하나로 정보통신기술의 발달과 함께 그 필요성이 증대되고 있다. 이러한 기기들은 대부분 발, 머리 등을 이용하여 컴퓨터에 접근할 수 있도록 하는데, 지체장애인의 특성상 발, 머리 등을 이용하여 마우스를 컨트롤하는 것은 쉽지 않으며 속도와 정확도면에서 한계가 있다. 본 논문에서는 기존의 대체접근 기기의 한계를 보완한 '지체장애인 컴퓨터 대체접근시스템'을 제안한다. 제안하는 시스템은 아이트래킹 기술을 이용하여 사용자의 시선만으로 마우스를 이동시킬 수 있고 비교적 누르기 쉬운 외부버튼을 통해 마우스 클릭이 가능하며 음성인식을 통해 문자를 쉽고 빠르게 입력할 수 있다. 또한 마우스 우클릭, 더블클릭, 드래그 기능, 화상 키보드 기능, 인터넷 기능, 스크롤 기능 등 세부적인 기능을 제공하여 컴퓨터가 제공하는 대부분의 작업을 수행할 수 있다.

Keywords

References

  1. 사랑의 그린PC. 정부 컴퓨터 보급 사업. https://lovepc.nia.or.kr/common/pageLink.do?link=/front/intro/lovepc_info&lnbMenu=intro01&gnbMenu=intro 2017.3.25.
  2. 한국정보화진흥원. 2013 장애인 정보격차 실태조사. 2014.
  3. 정보통신보조기기. "컴퓨터 대체접근 기기". http://www.at4u.or.kr 2017.4.7.
  4. Serhiy Perevoznyk. Windows Magnification API. https://perevoznyk.wordpress.com/2010/09/06/windows-magnification-api-net 2017.1.20.
  5. Microsoft. Magnification API Overview. https://msdn. microsoft.com/en-us/library/windows/desktop/ms692402(v=vs.85).aspx 2017.1.20.
  6. SuperKev. Google Speech API, 그리고 음성인식 기술 http://storyjava.tistory.com/143. 2017.04.05.
  7. 순순(programer). IT제품소개/아이트래커(eye-tracker-Tobii EyeX). http://blog.soonsoons.com/220267889582 2016.09.10.
  8. Tobii Tech. Developer's Guide tobii EyeX SDK for .NET. http://developer.tobii.com 2016.09.24.
  9. Microsoft. Internet Explorer object. https://msdn.microsoft.com/en-us/library/aa752084(v=vs.85).aspx 2017.02.19.