The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Design of Gesture based Interfaces for Controlling GUI Applications

GUI 어플리케이션 제어를 위한 제스처 인터페이스 모델 설계

  • 박기창 (디지털콘텐츠 협동연구센터) ;
  • 서성채 (전남대학교 전산학과) ;
  • 정승문 (디지털콘텐츠 협동연구센터) ;
  • 강임철 (디지털콘텐츠 협동연구센터) ;
  • 김병기 (전남대학교 전산학과)
  • Received : 2012.11.21
  • Accepted : 2012.12.20
  • Published : 2013.01.28
Download PDF
⟨ Previous Next ⟩

Abstract

NUI(Natural User Interfaces) has been developed through CLI(Command Line Interfaces) and GUI(Graphical User Interfaces). NUI uses many different input modalities, including multi-touch, motion tracking, voice and stylus. In order to adopt NUI to legacy GUI applications, he/she must add device libraries, modify relevant source code and debug it. In this paper, we propose a gesture-based interface model that can be applied without modification of the existing event-based GUI applications and also present the XML schema for the specification of the model proposed. This paper shows a method of using the proposed model through a prototype.

사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML 스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.

Keywords

References

  1. A. Valli, "Notes on Natural Interaction," http://www.citeulike.org/user/eckel/article/432 4923
  2. W. Liu, "Natural User Interface-Next Mainstream Product User Interface," IEEE, CAIDCD, 2010.
  3. http://www.microsoft.com/en-us/kinectforwindows
  4. http://us.playstation.com/ps2/accessories/eyetoy -usb-camera-ps2.html
  5. http://www.microsoft.com/en-us/pixelsense
  6. http://www.immersivetouch.com
  7. http://www.dragonnaturallyspeaking.com
  8. http://www.perceptivepixel.com
  9. 송대현, 박재완, 이칠우, "제스처 인식 대형 놀이 시스템 기반 한자 학습 콘텐츠", 한국콘텐츠학회 논문지, 제10권, 제9호, pp1-8, 2010. https://doi.org/10.5392/JKCA.2010.10.9.001
  10. 옥수열, "전자주사위 및 손동작 인식을 활용한 아동용 에듀테인먼트 게임 콘텐츠 개발에 관한 연구", 한국멀티미디어학회 논문지, 제14권, 제10 호, pp1348-1364, 2011.
  11. M. Abrams and C. Phanouriou, "UIML: An XML Language for Building Device-Independent User Interface," XML'99, 1999.
  12. 박기창, 서성채, 김병기, "J2ME MIDlet 사용자 인터페이스 자동생성을 위한 XML 언어", 한국정보처리학회 논문지, 제15-D권, 제3호, pp.327-336, 2008.
  13. 이동수, 박기창, 김병기, "사용자 인터페이스 명세 언어를 이용한 위피 비즈니스 프로그램 저작 도구 구현", 한국콘텐츠학회 논문지, 제9권, 제2 호, pp.152-162, 2009. https://doi.org/10.5392/JKCA.2009.9.2.152
  14. S. H. Khandkar and F. Maurer, "A Domain Specific Language to Define Gestures for Multi-Touch Applications," ACM, DSM'10, 2010.
  15. E. A. Suma, B. Lange, A. Rizzo, D. M. Krum, and M. Bolas, "FAAST:The Flexible Action and Articulated Skeleton Toolkit," IEEE, Virtual Reality, 2011.
  16. C. Waithayanon and C. Aporntewan, "A Motion Classifier for Microsoft Kinect," IEEE, ICCIT, 2011.
  17. 정 혁, "제스처 기반 사용자 인터페이스 표준화 동향", 한국정보기술학회지, 제9권, 제3호, pp.29-33, 2011.