Sign Language recognition Using Sequential Ram-based Cumulative Neural Networks

순차 램 기반 누적 신경망을 이용한 수화 인식

  • 이동형 (한국폴리텍 VII대학 울산캠퍼스 정보통신시스템과) ;
  • 강만모 (울산대학교 컴퓨터정보통신공학부) ;
  • 김영기 (울산과학대학 컴퓨터정보학부) ;
  • 이수동 (울산대학교 컴퓨터정보통신공학부)
  • Received : 2009.09.12
  • Published : 2009.10.30

Abstract

The Weightless Neural Network(WNN) has the advantage of the processing speed, less computability than weighted neural network which readjusts the weight. Especially, The behavior information such as sequential gesture has many serial correlation. So, It is required the high computability and processing time to recognize. To solve these problem, Many algorithms used that added preprocessing and hardware interface device to reduce the computability and speed. In this paper, we proposed the Ram based Sequential Cumulative Neural Network(SCNN) model which is sign language recognition system without preprocessing and hardware interface. We experimented with using compound words in continuous korean sign language which was input binary image with edge detection from camera. The recognition system of sign language without preprocessing got 93% recognition rate.

가중치가 없는 램 기반 신경망은 가중치를 재조정하는 기존 신경망에 비해 계산량 및 인식 시간이 적은 장점을 가지고 있다. 특히 연속적인 연관성을 갖는 제스처와 같은 행위 정보는 각각의 정보들이 시계열적 상관관계를 갖는다. 이와 같은 행위 정보를 인식하려면 일반적으로 많은 계산량과 처리 시간이 요구된다. 이런 문제점을 해결하기 위해 일반적으로 전처리 과정의 삽입 및 하드웨어 인터페이스 활용 등을 이용한다. 본 논문에서는 이와 같은 추가적인 방법 없이 순차 램 기반 누적 신경망으로 연속적인 행위 정보인 한글 복합어 수화 인식 시스템을 구현하였다. 제안된 모델의 성능을 검증하기 위하여 카메라로부터 입력받은 연속적인 복합어 수화 영상을 최소한의 이미지 처리인 경계선 검출만으로 수화 인식을 실험하였다. 경계선 검출 후 이진 영상을 전처리 과정 없이 제안된 순차 램 기반 누적 신경망 시스템으로 처리된 결과는 93%의 인식률을 얻었다.

Keywords

References

  1. 이성환 "오프라인 필기체 문자인식 기술의 현황", 한국정보과학회지, 제11권 제5호, 1993년 10월.
  2. I. Aleksander and H. Morton, "An Introduction to Neural computing", Chapman & Hall, 1990
  3. 권영철, "경험 유관이진신경망", 울산대학교, 1995
  4. 김성진, 권영철, 이수동, "RAM을 이용한 경험유관 축적신경망모델", 대한전자공학회, 제41권, CI편, 제2호, pp. 98-102, 2004년 3월
  5. 김성진, 이동형, 권영철, 이수동, "다중판별자를 가지는 동적 삼차원 뉴로 시스템", 한국정보과학회, Vol.34, pp.585-594, No. 7. 2007
  6. Marcilio Carlos Pereira de Souto, Paulo J. L. Adeodato, "Learnability in sequential RAM-based neural networks", SBRN 1998: pp.20-25
  7. P. J. L. Adeodato. "Sequential digital neural networks.", Technical report, King" s College, London, UK, 1994
  8. I. Aleksander. "Microcircuit learning computers.", Mills and Boon Ltd., 1971
  9. I. Aleksander. Neural systems engineering: towards a unified design discipline? IEE Journal of Computing & Control, 1(6): pp.259-265, 1990 https://doi.org/10.1049/cce:19900074
  10. Aleksander, I., Thomas, W. V., and Bowden, P. A. 1984 "WISARD a radical step forward in image recognition," Sensor Review, pp. 120-124, July 1984
  11. I. Aleksander. "Iconic learning in networks of logical neurons.", In Proc. of ICES96, Tokyo, 1996. Invited paper.
  12. S. Silva and T. B., Ludermir. "Implementing finite state automata in recurrent RAM-based networks.", In Proc. ICANN95, pp.461-466, 1995
  13. 전북도교육청, DCU 특교과 스터디, http://www.cein2l.net/suhwoa/
  14. 김정배, 김대진, 장원, 변증남, 김성권, "연속된 한글 수화에서의 복합어 인식", HCI 2000, 한국정보과학회, pp.24-26, 2000년. 1월