Implementation of a DI Multi-Touch Display Using an Improved Touch-Points Detection and Gesture Recognition

개선된 터치점 검출과 제스쳐 인식에 의한 DI 멀티터치 디스플레이 구현

  • 이우범 (상지대학교 컴퓨터정보공학부)
  • Published : 2010.01.30

Abstract

Most of the research in the multi-touch area is based on the FTIR(Frustrated Total Internal Re리ection), which is just implemented by using the previous approach. Moreover, there are not the software solutions to improve a performance in the multi touch-blobs detection or the user gesture recognition. Therefore, we implement a multi-touch table-top display that is based on the DI(Diffused Illumination), the improved touch-points detection and user gesture recognition. The proposed method supports a simultaneous transformation multi-touch command for objects in the running application. Also, the system latency time is reduced by the proposed ore-testing method in the multi touch-blobs detection processing. Implemented device is simulated by programming the Flash AS3 application in the TUIO(Tangible User Interface Object) environment that is based on the OSC(Open Sound Control) protocol. As a result, Our system shows the 37% system latency reduction, and is successful in the multi-touch gestures recognition.

멀티터치 관련 연구는 전반사 장애 현상(FTIR: Frustrated Total Internal Reflection)의 원리를 기반으로 기존 방법을 이용하여 단지 구현하는 것이 대부분이다. 또한 멀티 터치점(Blob-Points) 검출이나 사용자 제스쳐 인식에 있어서 성능 향상을 위한 소프트웨어적 해법에 관한 연구는 드문 실정이다. 따라서 본 논문에서는 확산 투광(DI: Diffused Illumination) 방식을 기반으로 개선된 터치점 검출과 사용자 제스쳐 인식에 의한 멀티터치 테이블-탑 디스플레이를 구현한다. 제안된 방법은 실행 중인 어플리케이션 내의 객체들을 위한 동시 변형 멀티터치 명령을 지원하며, 제안한 사전 테스팅(Pre-Testing) 방법에 의해서 멀티 터치점 검출 과정에서 시스템 지연 시간의 감소가 가능하다. 구현된 멀티터치 테이블-탑 디스플레이 장치는 OSC(Open Sound Control) 프로토콜을 기반으로 하는 TUIO(Tangib1e User Interface Object) 환경에서 Flash AS3 어플리케이션을 제작하여 시뮬레이션 한 결과 최대 37% 시스템 지연 시간의 감소와 멀티터치 제스쳐 인식에서 성공적인 결과를 보였다.

Keywords

References

  1. Jefferson Y. Han, "Low-cost multi-touch sensing through frustrated total internal reflection",Proceedings of the 18th annual ACM symposium on User interface software and technology, pp.115-118, New York, NY, USA, 2005.
  2. David Wallin, Touchlib: an opensource multi-touch framework, 2006. (http://www.whitenoiseaudio.com/touchlib/)
  3. L.Y.L.Muller,"Multi-touch display:design,application and performance evaluation", M.S. Thesis, Univ. of Amsterdam, 2008.
  4. Rafael G. Gonzalez, Digital Image Processing 3/e, Prentice Hall, 2007.
  5. Herbert Freeman, "Computer processing of line-drawing images", Computing Survey v6, no1, pp.57-97, 1974. https://doi.org/10.1145/356625.356627
  6. http://www.tuio.org
  7. Open Source Computer Vision Library: Reference Manual, Intel, 2001. (http://www.intel.com/technology/computing/opencv/)
  8. Dan Saffer, Designing Gestural Interfaces, O'Reilly Media, Inc., 2008.
  9. 이우범, "변형 보정과 원형 추적법에 의한 교통 표지판 인식, 한국신호처리시스템학회논문지, Vol.9, No.3, pp.188-194, 2008.
  10. http://nuigroup.com/touchlib/
  11. http://opensoundcontrol.org/introduction-osc
  12. 이승재, 이우범, "확산 투광 방식에 의한 멀티터치 테이블-탑 디스플레이 구현", 한국신호처리시스템학회 하계학술대회, 제10권, 제1호, pp.126-129, 2009.