The Transactions of the Korea Information Processing Society (정보처리학회 논문지)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Virtual Touch Service Using Hand Gesture Recognition

손동작 인식을 이용한 가상 터치 서비스 구현

  • 조아라 (경북대학교 소프트웨어학과) ;
  • 유승배 (경북대학교 소프트웨어학과) ;
  • 윤병훈 (경북대학교 소프트웨어학과) ;
  • 조형주 (경북대학교 소프트웨어학과)
  • Received : 2024.01.29
  • Accepted : 2024.09.06
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

As the need for hygiene management increases due to COVID-19, the importance of non-contact services is gaining attention. Hands, a tool for expressing intentions and conveying information, are emerging as an alternative to computer input devices such as the keyboard and mouse. In this study, we propose a method to address public health problems that arise when using unmanned ordering machines by controlling a computer using hand gestures detected through a camera. The focus is on identifying frequently used hand gestures, especially the bending of the index finger. To this end, we develop a non-contact input device using the MediaPipe framework and the long short-term memory (LSTM) model. This approach can identify hand gestures in three-dimensional space and provides scenarios that can be applied to the fields of virtual reality (VR) and augmented reality (AR). It offers improved public health and user experience by presenting methods that can be applied to various situations such as navigation systems and unmanned ordering machines.

코로나19로 인해 위생 관리의 필요성이 높아지면서 비대면 서비스의 중요성이 주목받고 있다. 의사를 표현하고 정보를 전달하는 도구인 손은 키보드, 마우스 등 컴퓨터 입력 장치를 대체할 수 있는 도구로 떠오르고 있다. 본 연구에서는 카메라를 통해 감지된 손동작을 이용하여 컴퓨터를 제어함으로써 무인 주문기를 사용할 때 발생하는 공중보건 문제를 해결하는 방법을 제안한다. 자주 사용되는 손 제스처, 특히 검지를 구부리는 동작을 식별하는 데 중점을 둔다. 이를 위해 미디어파이프(MediaPipe) 프레임워크와 장단기 기억(long short-term memory, LSTM) 모델을 사용하여 비접촉 입력 장치를 개발한다. 이러한 접근 방법은 3차원 공간에서 손동작을 식별할 수 있으며, 가상현실(virtual reality, VR)과 증강현실(augmented reality, AR) 분야에 적용할 수 있는 시나리오를 제공한다. 내비게이션 시스템, 무인 주문기 등 다양한 상황에 적용할 수 있는 방법을 제시하여 향상된 국민건강과 사용자 경험을 제공한다.

Keywords

Acknowledgement

이 논문은 2024년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2020R1I1A3052713).

References

  1. Unmanned terminals (kiosks) are spreading day by day, led by small and medium-sized businesses! [Internet], https://rb.gy/74ce9d
  2. Digital worlds that feel human | Ultraleap [Internet], https://www.ultraleap.com/
  3. VTOUCH [Internet], https://vtouch.io/ko/products/virtual-touch-panel
  4. G.Y. Heo, M.J. Kim, B.D. Song, and B.J. Shin, "Hand expression recognition for virtual blackboard," Journal of the Korea Institute of Information and Communication Engineering, Vol.25, No.12, pp.1770-1776, 2021.
  5. S. Y. Kim, S. J. Urm, S. Y. Yoo, S. J. Kim, and K. M. Lee, "Application of sign language gesture recognition using Mediapipe and LSTM," Journal of Digital Contents Society, Vol.24, No.1, pp.111-119, 2023.
  6. Y. W. Park, W. J. Lee, M. S. Kim, M. J. Jeong, M. J. Kang, and S. H. Yeom, "Implementation of input device using motion and voice recognition," in Proceedings of the Korean Society of Computer Information Conference, Daejon, pp.287-288, 2023.
  7. Y. R. Kim, S. Y. Seo, and G. M. Park, "Touchless media art kiosks using gesture recognition," in Proceedings of Korean Society of Broadcasting and Media Engineering Conference, pp.232-235, 2022.
  8. C. Lugaresi et al. "MediaPipe: a framework for building perception pipelines," ArXiv abs/1906.08172, 2019.
  9. R. C. Staudemeyer and E. R. Morris, "Understanding LSTM - a tutorial into long short-term memory Recurrent Neural Networks," ArXiv, abs/1909.09586, 2019.
  10. Deep learning model lightweight technology analysis [Internet], https://rb.gy/xzis54
  11. X. Hu and H. Wen, "Research on model compression for embedded platform through quantization and pruning," Journal of Physics: Conference Series, Vol.2078, No.1, 2021.
  12. Model optimization [Internet], https://rb.gy/oio321
  13. G. Casiez, N. Roussel, and D. Vogel, "1€ filter: a simple speed-based low-pass filter for noisy input in interactive systems," In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.2527-2530, 2012.