Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

Gesture recognition with wearable device based on deep learning

딥러닝 기반의 웨어러블 디바이스에서의 제스처 인식

  • Published : 2017.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 비접촉식 센서 기반의 웨어러블 디바이스를 이용한 딥러닝 기반의 제스처 인식에 대한 연구이다. 이를 위하여 Flexible MSG 센서를 기반으로 한 Flexible Epidermal Tactile Sensor를 사용하였으며, Flexible Epidermal Tactile Sensor는 손, 손가락 제스처를 취했을 때 손목, 손가락과 연결되어 있는 근육들의 움직임에 따라 발생하는 피부 표면의 전극을 취득하는 센서이다. 실험을 위하여 7가지 손, 손가락 제스처를 정의하였으며, 손목의 꺾임, 손목의 뒤틀림, 손가락의 오므림과 펴짐, 아무 동작도 취하지 않은 기본 상태에 대한 제스처로 정의하였다. 실험 데이터 수집에는 손목이나 손가락에 부상, 장애등이 없는 일반적인 8명의 참가자가 참가하였으며 각각 한 제스처에 대하여 20번씩 반복하여 1120개의 샘플을 수집하였다. 입력신호에 대한 제스처를 학습하기 위해 본 논문에서는 1차원 Convolutional Neural Network를 제안하였으며, 성능 비교를 위해 신호의 크기를 반영하는 특징벡터인 Integral Absolute Value와 Difference Absolute Mean Value를 입력신호에서 추출하고 Support Vector Machine을 사용하여 본 논문에서 제안한 1차원 CNN과 성능비교를 하였다. 그 결과 본 논문에서 제안한 1차원 CNN의 분류 정확도가 우수한 성능을 나타냈다.

Keywords

References

  1. Journal of the Institute of Electronics and Information Engineers: Jeong Hyun Tae, Survey on gesture recognition method using wearable device, The Magazine of the IEIE, Vol 42, No. 6, pp. 56-62, 2015, 6
  2. In proceedings of the 17th International Conference of Pattern Recognition: Y. Yamamoto, I. Yoda, K. sakaue, Armpointing gesture interface using surrounded streo cameras system, ICPR 04, Vol 4, pp. 965-970, 8, 2004
  3. 5th International Conference on Multimodal Interfaces: Kai, N., Rainer, S, Pointing Gesture Recognition based on 3DTracking of Face, Hands and Head Orientation, pp. 140-146, 2003
  4. The conference of the Institute of Electronics and Information Engineers: Jinhyuk Kim, Shiho Kim, Implementation of Hand Gesture Recognition using wearable Armband EMG sensors, pp. 1121-1122, 6, 2015
  5. Wearable Computers, 2007 11th IEEE International Symposium on: Georg Ogris, Matthias Kreil, Paul Lukowicz, Using FSR based muscule activity monitoring to recognize manipulative arm gestures, 2007, 10
  6. Future Information Technology: Hansol Kim, Yoonkyung Kim, Daejune Ko, Jinman Kim, Eui Chul Lee, Pointing Gesture Interface for Large Display Environments Based on the Kinect Skeleton Model, Lecture Notes in Electrical Engineering, Vol 309, pp. 509-514, 2014
  7. Jounal of The Korean Institute of Broadcast and Media Engineers: Hanhoon Park, Junyeong Choi, Jong-Il Park, Kwang- Seok Moon, A Study on Hand Region Detection for Kinect-Based Hand Shape Recognition, Vol 18, No. 3, pp. 393- 400, 2013, 5
  8. http://nod.com
  9. http://www.thalmic.com/myo