Image Processing Algorithms for DI-method Multi Touch Screen Controllers

DI 방식의 대형 멀티터치스크린을 위한 영상처리 알고리즘 설계

  • Kang, Min-Gu (Department of Embedded software Engineering, Kwangwoon University) ;
  • Jeong, Yong-Jin (Department of Electronic and Communication Engineering, Kwangwoon University)
  • 강민구 (광운대학교 임베디드 소프트웨어공학과) ;
  • 정용진 (광운대학교 전자통신공학과)
  • Received : 2010.09.13
  • Accepted : 2011.02.15
  • Published : 2011.05.25

Abstract

Large-sized multi-touch screen is usually made using infrared rays. That is because it has technical constraints or cost problems to make the screen with the other ways using such as existing resistive overlays, capacitive overlay, or acoustic wave. Using infrared rays to make multi-touch screen is easy, but is likely to have technical limits to be implemented. To make up for these technical problems, two other methods were suggested through Surface project, which is a next generation user-interface concept of Microsoft. One is Frustrated Total Internal Reflection (FTIR) which uses infrared cameras, the other is Diffuse Illumination (DI). FTIR and DI are easy to be implemented in large screens and are not influenced by the number of touch points. Although FTIR method has an advantage in detecting touch-points, it also has lots of disadvantages such as screen size limit, quality of the materials, the module for infrared LED arrays, and high consuming power. On the other hand, DI method has difficulty in detecting touch-points because of it's structural problems but makes it possible to solve the problem of FTIR. In this thesis, we study the algorithms for effectively correcting the distort phenomenon of optical lens, and image processing algorithms in order to solve the touch detecting problem of the original DI method. Moreover, we suggest calibration algorithms for improving the accuracy of multi-touch, and a new tracking technique for accurate movement and gesture of the touch device. To verify our approaches, we implemented a table-based multi touch screen.

대형 멀티터치스크린의 구현은 기존의 저항막, 정전용량, 초음파 방식으로는 기술 제약 및 비용 등의 문제로 구현에 어려움이 있어 주로 적외선을 이용하는 방식을 많이 사용한다. 적외선을 사용한 멀티터치스크린은 대형스크린을 구현하기 용이하지만 멀티터치에 기술적인 제한을 갖고 있는 경우가 많다. 이러한 단점을 보완하기 위해 적외선 카메라를 이용한 FTIR(Frustrated Total Internal Reflection), DI(Diffuse Illumination)방식들이 Microsoft의 차세대 유저인터페이스인 Surface를 통해 제안되었다. FTIR이나 DI 방식은 대형스크린의 구현이 쉽고 멀티터치의 개수에 제한을 받지 않는다. 하지만 FTIR은 터치 포인트의 검출은 쉬운 반면에 스크린의 크기와 재질, 적외선 LED 배열을 위한 모듈, 많은 소비전력 등의 단점을 가지고 있고 DI 방식은 구조상의 문제로 터치 검출이 어려운 반면 FTIR이 가지고 있는 단점을 해결할 수 있다. 본 논문에서는 기존에 제안된 DI 방식의 터치 포인트 검출시의 문제점을 해결하기 위해 손가락 외곽선을 이용한 영상처리 알고리즘, 광학 렌즈 왜곡 현상을 효과적으로 보정하기 위한 알고리즘에 대해 연구하였다. 또한 멀티터치의 터치 정확도를 높이기 위한 Calibration 알고리즘과 정확한 제스처 및 정확한 이동을 위한 Tracking 기법을 고안하였다. 연구 결과 DI 방식을 위해 본 논문에서 제안한 영상처리 알고리즘들은 간단하면서 쉽게 대형 멀티터치스크린 구현을 위한 효과적인 방법이 될 수 있을 것으로 판단된다.

Keywords

References

  1. Johannes Schoning, Peter Brandl, Florian Daiber, Florian Echtler, Otmar Hilliges, Jonathan Hook, Markus Lchtefeld, Nima Motamedi, Laurence Muller, Patrick Olivier, Tim Roth, Ulrich von Zadow. Multi Touch Surfaces : A Technical Guide, Technical Report TUM-I0833
  2. 정성완, 이현오, 정용진, "광학 영상 기법을 이용한 멀티 터치 스크린 컨트롤러 개발", 전자공학회 학술대회, 344-347쪽, 전북대학교, 대한민국, 2009년 5월.
  3. 정성완, 권오준, 정용진, "스테레오 비전을 이용한 저전력 멀티 터치스크린 컨트롤러의 설계", 전자공학회 논문지, 제 47권 SD편, 제 2호, 68-76쪽, 2010년 2월.
  4. Nuigroup. TouchLib http://nuigroup.com/touchlib. (온라인 문헌 참고 2010. 5.2)
  5. Jorg Edelmann, Andreas Schilling, THE DABR - A MULTITOUCH SYSTEM FOR INTUITIVE 3D SCENE NAVIGATION, IEEE, 3, 2010.03
  6. 김송국(Song-Gook Kim), 이칠우(Chil-Woo Lee) 멀티터치를 위한 테이블-탑 디스플레이 기술 동향, 한국콘텐츠학회, 84-91, 2009.02
  7. A.D Wilson, "TouchLight: An Imaging Touch Screen and Display for Gesture-Based Interaction," In Proceedings of the 6th International Conference on Multimodal Interface, pp.66-76, 2004
  8. A. Wilson, "PlayAnyWhere : A Compact Interactive Tabletop Projection-Vision System", In Proceedings of User Interface Software and Technology, pp.83-92, 2005.