Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Confusion Model Selection Criterion for On-Line Handwritten Numeral Recognition

온라인 필기 숫자 인식을 위한 혼동 모델 선택 기준

  • 박미나 (강원대학교 컴퓨터정보통신공학과) ;
  • 하진영 (강원대학교 컴퓨터학부)
  • Published : 2007.11.15
Download PDF
⟨ Previous Next ⟩

Abstract

HMM tends to output high probability for not only the proper class data but confusable class data, since the modeling power increases as the number of parameters increases. Thus it may not be helpful for discrimination to simply increase the number of parameters of HMM. We proposed two methods in this paper. One is a CMC(Confusion Likelihood Model Selection Criterion) using confusion class data probability, the other is a new recognition method, RCM(Recognition Using Confusion Models). In the proposed recognition method, confusion models are constructed using confusable class data, then confusion models are used to depress misrecognition by confusion likelihood is subtracted from the corresponding standard model probability. We found that CMC showed better results using fewer number of parameters compared with ML, ALC2, and BIC. RCM recorded 93.08% recognition rate, which is 1.5% higher result by reducing 17.4% of errors than using standard model only.

HMM은 파라미터의 수가 많을수록 모델링 성능이 향상되어 해당 클래스 데이타는 뿐만 아니라 혼동되는 다른 클래스 데이타에 대해서도 높은 확률을 출력하는 경향이 있다. 그러므로 단순히 파라미터 수를 증가 시키는 것은 변별력 향상에 도움이 되지 않는다. 본 논문에서는 혼동되는 클래스 데이터의 확률을 이용한 혼동 확률 선택 기준CMC(Confusion Model Selection Criterion)과 혼동 클래스 데이터를 구성하여 혼동 모델을 만들고 이것을 이용한 새로운 인식 방법인 RCM(Recognition using Confusion Models)을 제안하였다. 제안한 인식 방법은 혼동되는 클래스 데이타의 구성으로 혼동 데이타 집합을 만들고 이것을 이용하여 별도의 혼동 모델을 훈련한 후, 혼동 모델의 확률을 해당 표준 모델의 확률에서 차감하여 해당 클래스 데이타의 오인식 가능성을 억제한다. 모델 선택 기준 CMC를 온라인 필기 숫자 데이타를 대상으로 실험하여 기존 모델 선택 기준인 ML, ALC2, BIC와 비교 분석한 결과, 제안한 방법인 CMC가 적은 파라미터로 좋은 결과를 보였으며, 제안한 혼동 모델 인식 방법인 RCM은 93.08%의 인식률을 보여 표준 모델만을 사용한 인식한 방법보다 정인식률이 약 1.5%향상되었고, 이는 오류의 17.4%가 감소된 결과이다.

Keywords

References

  1. 박미나, 하진영, 'HMM 모델링을 위한 HMM의 State수와 Mixture 수 분석', 한국정보과학회 춘계 학술발표논문집, 제29권 제1호, pp. 658-660, 2002년 4월
  2. 하진영, A. Biem, J. Subrahmonia, 박미나, '모델의 사전 확률 추정을 통한 HMM 구조의 최적화', 한국정보과학회 추계 학술발표논문집, 제28권 제2호, pp. 325-327, 2001년 10월
  3. H.Singer and M, ostendorf, 'Maximum likelihood successive state splitting,' ICASSP, pp. 601-604, 1996
  4. Andress Stolcke and stephen Omohundro, 'Hidden Markov Model induction by Bayesian model merging,' in Advances in NIPS, Vol.5. pp. 11-18, 1993
  5. 하진영, 신봉기, '온라인 한글 인식을 위한 HMM 상태 수의 최적화', 한국정보과학회 추계 학술발표논문집, pp. 372-374, 1998
  6. D. Li, A. Biem and J. Subrahmonia, 'HMM Topology Optimization for Handwriting Recognition,' ICASSP 2001
  7. S. Chen and P. S. Gopalakrishnan. 'Clustering via the Bayesian Information criterion with applications in speech recognition,' ICASSP, 2, pp. 645-649, 1998
  8. Raymond C.Vasko, Jr., Amro EL-Jaroudi J.Robert, Boston 'An Algorithm To Determine Hidden Markov Model Topology,' IEEE, pp. 3577-3579, 1996
  9. Raymond C.Vasko, Jr., Amro EL-Jaroudi J.Robert, Boston 'Application of Hidden Markov Model Topology Estimation To Repetitive Lifting Data,' IEEE, pp. 4073-4076, 1997
  10. Schwarz, 'Estimating the dimension of a model,' Ann, Statist, Vol.6, No.2, pp. 461-464, 1978 https://doi.org/10.1214/aos/1176344136
  11. Mi-Na Park, Jin-Young Ha, 'On-Line Handwritten Numeral Recognition using Topology Optimized HMMs,' The 5th Asia Pacific International Symposium on Information Technology, ISSN 1738-9062, pp. 87-290, 2006
  12. Mi-Na Park, Jin-young Ha, 'HMM Topology Optimization for Handwriting and Speech Recognition,' The 20th Commemorative International Technical Conference on Circutes, Systems, Computer and Communications, Proceedings Volume1, pp. 261-262, July 2005
  13. http://clopinet.com/isabelle/Projects/modelselect/
  14. Walter Zucchini, 'An Introduction to Model Selection,' Journal of Mathematical Psychology 44, 41-61, 2000 https://doi.org/10.1006/jmps.1999.1276
  15. R. A. Fisher, 'The use of multiple measure in taxonomic problems,' Cont. Math. Stat., pp. 32. 179-32. 188, 1950
  16. L.R. Bahl, P. F. Brown, P. V. de Souza, and R. L. Mercer, 'Maximum mutual information estimation of hidden Markov model parameters for speech recognition,' in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, Tokyo, Japan, 1986, pp. 49-52
  17. Belen Martin Barragan, 'Binarized Support Vector Machines: detecting relevant variables and interactions,' International Workshop on Feature Selection for Data Mining:Interfacing Machine Learning and Statistics(FSDM), 2006
  18. A. Barron, J. Rissanen, and B. Yu, 'The minimum description length principle in coding and modeling,' IEEE Trans. Inform. Theory, Vol.44, pp. 2743-2760, 1998 https://doi.org/10.1109/18.720554
  19. MacKay, 'Bayesian interpolation,' Neural computation, Vol.4, No.3, pp. 415-447, 1992 https://doi.org/10.1162/neco.1992.4.3.415
  20. E. Kass and A. Raftery. 'Bayes factors,' Technical Report 254, University of Washington, Department of Statistics. 1994
  21. A. Biem, J.-Y. Ha and J. Subrahmonia, 'A Bayesian Model Selection Criterion for HMM Topology Optimization,' ICASSP 2002. Orlando, Florida, U.S.A., pp. I-989 - I-992, May, 2002
  22. Jin-Young Ha, Alain Biem and Jayasheree Subrahmonia 'Use of Model Prior for HMM Topology Optimization,' The 4th Korea-China Joint Symposium on Information Technology for Oriental Language Processing and Pattern Recognition, 2001
  23. L. R. Bahl, P. F. Brown, P. V. de Souza, and R. L. Mercer, 'Maximum mutual information estimation of hidden Markov model parameters for speech recognition,' Proc. ICASSP-86, pp. 49-52, 1986
  24. Nopsuwanchai Roongroj and D. Povey, 'Discriminative training for HMM-based offline handwritten character recognition,' Proc. of 7th International Conference on Document Analysis and Recognition, Vol.1, pp. 114-118, 2003
  25. Steve Young, Dan KerShaw, Julian Odell, Dave Ollason, Valtcho Valthchev, Phil Woodland, The HTK Book(for HTK version 3.0), Microsoft Corporation, 1999