Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지
DOI QR코드

DOI QR Code

An Automatic Smile Analysis System for Smile Self-training

자가 미소 훈련을 위한 자동 미소 분석 시스템

  • 송원창 (원광대학교 컴퓨터공학과) ;
  • 강선경 (원광대학교 컴퓨터공학과) ;
  • 정성태 (원광대학교 컴퓨터공학과)
  • Received : 2011.06.23
  • Accepted : 2011.09.27
  • Published : 2011.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, we propose an automated smile analysis system for self smile training. The proposed system detects the face area from the input image with the AdaBoost algorithm, followed by identifying facial features based on the face shape model generated by using an ASM(active shpae model). Once facial features are identified, the lip line and teeth area necessary for smile analysis are detected. It is necessary to judge the relationship between the lip line and teeth for smiling degree analysis, and to this end, the second differentiation of the teeth image is carried out, and then individual the teeth areas are identified by means of histogram projection on the vertical axis and horizontal axis. An analysis of the lip line and individual the teeth areas allows for an automated analysis of smiling degree of users, enabling users to check their smiling degree on a real time basis. The developed system in this study exhibited an error of 8.6% or below, compared to previous smile analysis results released by dental clinics for smile training, and it is expected to be used directly by users for smile training.

본 논문에서는 사용자가 스스로 미소 훈련을 할 수 있도록 자동으로 미소를 분석하는 시스템을 제안한다. 제안된 시스템은 입력 영상으로부터 AdaBoost 알고리즘을 통해 얼굴 영역을 검출한 다음, ASM(active shape model)을 이용하여 생성된 얼굴 형태 모델을 이용하여 얼굴의 특징을 찾는다. 얼굴 특징을 찾은 다음에는 미소 분석에 필요한 입술 라인과 개별 치아 영역을 추출한다. 미소의 정도를 분석하기 위해 입술 라인과 치아와의 관계 판별이 필요한데, 이를 위해 치아 영상에 대해 2차 미분을 실행한 후, 세로축과 가로축에 히스토그램 프로젝션 방법을 이용하여 개별적인 치아 영역을 찾는다. 입술 라인과 개별 치아 영역에 대한 분석을 통해 사용자의 미소 정도를 자동으로 분석하고 결과를 실시간으로 사용자가 직접 확인할 수 있게 해 준다. 본 논문에서 개발된 시스템은 기존에 치과 병원에서 이루어진 미소 훈련을 위한 미소 평가 결과와 8.6% 이하의 오차를 보였으며 사용자가 혼자서도 미소를 훈련하는데 활용할 수 있는 것으로 분석되었다.

Keywords

References

  1. C. J. Miller, "The Smile Line as a Guide to Anterior Esthetics," Dental clinics of North America, Vol.33, No.2, pp. 157-164, 1989.
  2. L. R. Rubin, "The Anatomy of a Smile : Its Importance in the Treatment of Facial Paralysis," Plastic and reconstructive surgery, Vol.53, No.4, pp. 384-387, 1974. https://doi.org/10.1097/00006534-197404000-00002
  3. R. M. Gibson, "Smiling and Facial Exercise," Dental clinics of North America, Vol.33, No.2, pp. 139-144, 1989.
  4. 김정회, 진태호, 동진근, "Gibson씨 미소훈련법의 효과에 관한 연구," 대한치과보철학회지, Vol. 33, No.1, pp. 164-175, 1995.
  5. 김현성, 김일평, 오상천, 동진근, "성격이 미소에 끼치는 영향에 관한 연구," 대한치과보철학회지, Vol.34, No.4, pp. 687-697, 1996.
  6. 취찐수, "미소 훈련기," (주)삼국무역, 출원번호 : 20-2004-0026216.
  7. 김효주, "미소선이 표시된 거울," 출원번호: 20- 2006-0009758.
  8. 김현수, 진태호, 동진근, "한국 노인의 미소시 입술과 치아와의 관계에 관한 연구," 대한치과보철학회지, Vol.31, No.4, pp. 533-541, 1993
  9. T. F. Cootes, C. J. taylor, D. H. Cooper and J. Graham, "Active Shape Models - Their Training and Application," Computer vision and image understanding, Vol.61, No.1, pp. 38-59, 1995. https://doi.org/10.1006/cviu.1995.1004
  10. 박미애, 고재필, "모델기반 특징추출을 이용한 지역변화 특성에 따른 개체기반 표정 인식," 멀티미디어학회논문지, Vol.9, No.11, pp. 1465- 1473, 2006.
  11. 정성태, 이호근, "실시간 얼굴 검출 시스템 설계 및 구현," 멀티미디어학회논문지, Vol.8, No.8, pp. 1057-1068, 2005.
  12. P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," Proceedings of the 2001 IEEE Conference on Computer Vision and Pattern Recognition, Vol.1, pp. I-511-I-518, 2001.
  13. Y. Freund and R. E. Schapire, "A Decision- Theoretic Generalization of On-Line Learning and an Application to Boosting," Journal of Computer and System Sciences, Vol.55, No.1, pp. 119-139, 1997. https://doi.org/10.1006/jcss.1997.1504
  14. 윤민의, 동진근, 진태호, "한국 청년의 미소에 관한 연구," 대한치과보철학회지, Vol.30, No.2, pp. 259-271, 1992.
  15. J. K. Dong, T. H. Jin, H. W. Cho and S. C. Oh, "The Esthetics of the Smile: A Review of Some Recent Studies," The International journal of prosthodontics, Vol.12 No.1, pp. 9- 19, 1999.
  16. BioID face database, http://bioid.com/downloads/ facedb/index.php
  17. XM2VTS face database, http://www.ee.surrey. ac.uk/CVSSP/xm2vtsdb/
  18. IMM face database, http://www2.imm.dtu.dk

Cited by

  1. Comparison of Active Contour and Active Shape Approaches for Corpus Callosum Segmentation vol.16, pp.9, 2013, https://doi.org/10.9717/kmms.2013.16.9.1018