Journal of the Institute of Convergence Signal Processing (융합신호처리학회논문지)

The Korea Institute of Convergence Signal Processing (한국융합신호처리학회)
권호 표지

Development of Sign Language Translation System using Motion Recognition of Kinect

키넥트의 모션 인식 기능을 이용한 수화번역 시스템 개발

  • Received : 2013.09.26
  • Accepted : 2013.10.31
  • Published : 2013.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, the system which can translate sign language through motion recognition of Kinect camera system is developed for the communication between hearing-impaired person or language disability, and normal person. The proposed algorithm which can translate sign language is developed by using core function of Kinect, and two ways such as length normalization and elbow normalization are introduced to improve accuracy of translating sign langauge for various sign language users. After that the sign language data is compared by chart in order to know how effective these ways of normalization. The accuracy of this program is demonstrated by entering 10 databases and translating sign languages ranging from simple signs to complex signs. In addition, the reliability of translating sign language is improved by applying this program to people who have various body shapes and fixing measure errors in body shapes.

청각, 언어장애인과 수화를 모르는 일반인과의 대화를 위해, 키넥트를 이용한 모션 인식을 통해 수화를 번역하여 주는 시스템을 개발하였다. 키넥트의 주요기능을 이용하여 수화를 번역하는 알고리즘들을 설계하고, 다양한 수화자에 대한 수화번역의 정확도를 높이기 위한 방법으로서 길이정규화와 팔꿈치정규화의 두 가지 정규화 방법을 사용하였다. 그리고 이러한 정규화 방법이 효과적인지 알아보기 위해서 실제 수화데이터를 차트로 비교하였다. 또한 10개의 데이터베이스를 입력하여 간단한 수화부터 복잡한 수화까지 직접 실시하고, 이를 키넥트로 인식하여 번역을 해봄으로서 프로그램의 정확도를 검증하였다. 추가적으로 다양한 체형의 수화자를 인식시켜 프로그램을 실행 시켜봄으로서 체형에 따른 오차 값의 보완을 완료하여 수화번역에 대한 신뢰도를 높였다.

Keywords

References

  1. H. S. Yoon, J. Soh, Y. J. Bae, and H. S. Yang, "Hand gesture recognition using combined features of location, angle and velocity," Pattern Recognition, Vol. 32, No. 7, pp. 1491-1501, 2001.
  2. H. D. Yang, A. Y. Park, and S. W. Lee, "Gesture spotting and recognition for human-robot interaction," IEEE Trans. on Robotics, Vol. 23, No. 2, pp. 256-270, 2007. https://doi.org/10.1109/TRO.2006.889491
  3. 조선영, 변혜란, 이희경, 차지훈, "키넥트 센서 데이터를 이용한 손 제스처 인식," 방송공학회논문지, Vol. 17, No. 3, pp. 447-458, 2012.
  4. 최창열, 이우범, "KS 표준 시표를 이용한 손-동작 인식 기반의 자가 시력 측정 시스템," 한국신호처리시스템학회논문지, Vol. 11, No. 4, pp. 303-309, 2010.
  5. Tommer Leyvand, Casey Meekhof, Yi-Chen Wei, Jian-Sun, and Baining Guo, "Kinect identity: Technology and Experience," Computer, Vol. 44, No. 4, pp. 94-96, 2011.
  6. 강찬석, 키넥트 개발 입문서, 한국과학기술연구원, 실감 교류로보틱스연구센터, 2012.
  7. 자렛 웹, 제임스 애쉴리, 이제 시작이야 키넥트 프로그 래밍, 비제이퍼블릭, 2012.
  8. 김동근, OpenCV Programing: OpenCV로 배우는 디지 털 영상처리, 가메출판사, 2011.
  9. G. R. Bradski, A. Kaehler, 황선규, Learning OpenCV 제대로 배우기, O'REILLY, 한빛미디어, 2009.
  10. 김계경, 김혜진, 조수현, 이재현, "인간-로봇 상호작용을 위한 제스처 인식 기술," ETRI 전자통신동향분석, Vol. 20, No. 2, pp. 14-20, 2005.
  11. M. Sonka, V. Hlavac, and R. Boyle, Image Processing, Analysis and Machine Vision, Third Edition, THOMSON, 2007.
  12. 김정현, 노용완, 김동규, 홍광석, "장갑 장치와 제스처 추적을 이용한 수화 제스처 인식기의 실계 및 구현," 한국신호처리시스템학회 추계학술대회, 제6권, 제2호, pp. 233-237, 2005.
  13. 이현석, 김승필, 정학수, 유민구, 김성대, 권홍규, 정완 영, "키넥트를 이용한 모션 인식 수화 번역 프로그램," 한국신호처리시스템학회 하계학술대회, 제14권, 제1호, pp. 92-94, 2013