Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지

Multi-modal Sense based Interface for Augmented Reality in Table Top Display

테이블 탑 디스플레이 기반 증강현실 구현을 위한 다중 감각 지원 인터페이스

  • 정종문 (전남대학교 전자컴퓨터공학부) ;
  • 양형정 (전남대학교 전자컴퓨터공학부) ;
  • 김선희 (전남대학교 전자컴퓨터공학부)
  • Published : 2009.05.30
Download PDF
⟨ Previous Next ⟩

Abstract

Applications which are implemented on Table Top Display are controlled by hands, so that they support an intuitive interface to users. Users feel the real sense when they interact on the virtual scene in Table Top Display. However, most of conventional augmented reality applications on Table Top Display satisfy only visual sense. In this paper, we propose an interface that supports multi-modal sense in that tactile sense is utilized for augment reality by vibrating a physical control unit when it collides to virtual objects. Users can feel the collision in addition to visual scene. The proposed system facilitates tactile augmented reality through an air hockey game. A physical control unit vibrates when it receives virtual collision data over wireless communication. Since the use of tabletop display environment is extended with a tactile sense based physical unit other than hand, it provides a more intuitive interface.

테이블 탑 디스플레이를 이용하여 만든 응용프로그램은 손을 사용함으로써 사용자에게 직관적인 인터페이스를 제공한다. 따라서 사용자는 테이블 탑 디스플레이에서 보여 지는 가상화면에서 실제 물체를 조정하는 듯한 현실감올 느낄 수 있다. 그러나 대부분의 테이블 탑 디스플레이 응용 증강현실 시스템은 시각적인 감각만을 충족시킨다는 제한사항을 가진다. 본 논문에서는 보다 현실감 있는 증강현실을 제공하기 위해 가상 객체에 충돌이 발생할 경우 객체 컨트롤 장치가 진통하게 함으로써 촉각 부분도 지원하는 다중 감각기반 인터페이스를 제안한다. 제안된 시스템은 에어하키 응용 구현을 통해 시각 및 청각적인 증강현실과 연동하여 가상환경의 충돌 정보를 무선통신으로 전송함으로써 촉각적인 증강현실을 반영함을 보인다. 본 연구에서는 시각지원과 함께 촉각지원을 추가함으로써 증강현실의 현실감을 증대시키고, 손 이외의 다른 장치를 사용하여 테이블 탑 디스플레이의 사용 환경을 확장시켜 보다 실감나는 인터페이스 환경을 제공한다.

Keywords

References

  1. 김송국, 이칠우, "협력적인 상호작용을 워한 테이블 탑 디스플레이 기술 동향," 한국콘텐츠학회 2006 추계 종합학술대회 논문집, 제4권, 제2호, pp. 616-621, 2006.
  2. 오진식, 정종문, 김정식, 양형정, 이칠우, "테이블 탑 디스플레이용 LED기반 객체컨트롤 시스템," HCI 2008 학술대회 논문집, 제1권, pp. 224-229, 2008.
  3. 장상현, 계보경, “증강현실(Augmented Reality) 콘텐츠의 교육적 적용,” 한국콘텐츠학회지, 제5권, 제2호, pp. 79-85, 2007
  4. 김송국, 이철우, “멀티터치를 위한 테이블-탑 디스플레이 기술 동향,” 한국 콘텐츠 학회 논문지, 제7권, 제2호, pp. 84-91, 2007.
  5. 김진국, 이종원, “증강현설 보드게임 프레임워크,” 한국콘텐츠학회 종합학술대회 논문집, 제5권, 제2호(하), pp. 639-643, 2007.
  6. 장한별, 김송국, 김장운, 이칠우, “테이블 탑 디스플레이 기반 실감형 전자 요리 시스템,” 한국 콘텐츠학회 2007 춘계 종합학술대회 논문집, 제5권, 제1호, pp. 34-38, 2007.
  7. Leitner, J., Haller, M., "Bridging the gap between real and virtual objects for tabletop ames," International Journal of Virtual Reality, Vol.5, No.1, pp. 1-10, 2006.
  8. 이칠우, 박재완, 장한별, 문주필, 송대현, 조아라, "디지털 애완동물과 테이블 탑 디스플레이를 활용한 놀이 시스템," 정보과학회지, 제26권, 제3호, pp. 54-60, 2008
  9. 유용희, 조윤혜, 최근석, 성미영, "햅틱 상호작용을 제공하는 가상 전시공간 개발," 정보과학회 논문지: 컴퓨팅의 실제 및 레터, 제13권, 제6호, pp. 630-632, 2007. 11.
  10. 하태진, 김영미, 류제하, 우운택, "증강현실 기반 제품 디자인의 몰입감 향상 기법," 전자공학회 논문지, 제44권, 제2호, pp. 37-46, 2007. 3.
  11. 임아영, 박주영, 최유주, 김명희, "햅틱 워크벤치상에서의 가상객체 조작," 한국정보과학회 2003년도 봄 학술발표논문집 제30권 제1호(B), pp. 630-632, 2003. 4.
  12. Laehyun Kim, Hyunchul Cho, Sehyung Park and Manchul Han, "A Tangible User Interface with Multimodal Feedback," LNCS, Vol. 4552, pp. 94-103, 2007.
  13. P. Dietz and D. Leigh, "DiamondTouch: A Multi-User Touch Technology," In Proceedings of the 14th Annual ACM Symposium on User Interface Software and Technology, pp. 219-226, 2001.
  14. J. Rekimoto, "SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces," In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 113-120, 2002.
  15. K. Oka, Y. Sato, and H. Koike, "Real-Time Tracking of Multiple Fingertips and Gesture Recognition for Augmented Desk Interface Systems," In Proceedings of the Automatic Face and Gesture Recognition, pp. 429-434, 2002.
  16. N. Matsushita and J. Rekimoto, "HoloWall: Designing a Finger, Hand, Body, and Object Sensitive Wall," In Proceedings of the 10th Annual ACM Symposium on User Interface Software and Technology, pp. 209-210, 1997.
  17. J. Y. Han, "Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection," In Proceedings of the 18th Annual ACM Symposium on User Interface Software and Technology, pp. 15-118, 2005.
  18. Y. Kakehi, M. Iida, T. Naemura, Y. Shirai, M. Matsushita, and T. Ohguro, "Lumisight Table: Interactive View-Dependent Tabletop Display," In Proceedings of IEEE Computer Graphics & Applications, Vol. 25, No.1, pp. 48-53, 2005. https://doi.org/10.1109/MCG.2005.14
  19. Jangwoon Kim, Jaewan Park, HyungKwan Kim, Chilwoo Lee, "HCI(Human Computer Interaction) Using Multi-touch Tabletop Display," Communications, Computers and Signal Processing, pp. 391-394, 2007
  20. http://nehe.gamedev.net/