DOI QR코드

DOI QR Code

Emotion Classification Method Using Various Ocular Features

다양한 눈의 특징 분석을 통한 감성 분류 방법

  • 김윤경 (상명대학교 대학원 컴퓨터과학과) ;
  • 원명주 (상명대학교 대학원 감성공학과) ;
  • 이의철 (상명대학교 컴퓨터과학과)
  • Received : 2014.06.25
  • Accepted : 2014.10.14
  • Published : 2014.10.28

Abstract

In this paper, emotion classification was performed by using four ocular features extracted from near-infrared camera image. According to comparing with previous work, the proposed method used more ocular features and each feature was validated as significant one in terms of emotion classification. To minimize side effects on ocular features caused by using visual stimuli, auditory stimuli for causing two opposite emotion pairs such as "positive-negative" and "arousal-relaxation" were used. As four features for emotion classification, pupil size, pupil accommodation rate, blink frequency, and eye cloased duration were adopted which could be automatically extracted by using lab-made image processing software. At result, pupil accommodation rate and blink frequency were statistically significant features for classification arousal-relaxation. Also, eye closed duration was the most significant feature for classification positive-negative.

본 논문에서는 근적외선 카메라를 이용한 눈의 다양한 특징 분석을 통해 감성을 분류하는 방법에 관한 연구를 진행하였다. 제안하는 방법은 기존의 유사한 연구와 비교했을 때, 감성 분류를 위해 더 많은 눈의 특징을 사용하였고, 각 특징이 모두 유의미한 정보를 포함하고 있음을 검증하였다. 긍정-부정, 각성-이완의 상반된 감성 유발을 위해 청각 자극을 사용함으로써, 눈의 특징에 끼치는 영향을 최소화하였다. 감성 분류를 위한 특징으로써, 동공 크기, 동공 크기 변화율, 깜박임 빈도, 눈을 감은 지속시간을 사용하였으며, 이들은 근적외선 카메라 영상으로부터 자체 개발한 자동화된 처리 방법을 통해 추출된다. 분석 결과, 각성-이완 감성 유발 자극에 대해서는 동공 크기 변화율과 깜박임 빈도 특징이 유의한 차이를 보였다. 또한, 긍정-부정 감성 유발 자극에 대해에서는 눈을 감은 지속시간 특징이 유의한 차이를 보였다. 특히 동공 크기 특징은 각성-이완, 긍정-부정의 상반된 감성 자극 유발 상황에서 모두 유의한 차이가 없음을 확인할 수 있었다.

Keywords

References

  1. 이의철, "시각 자극에 의한 감성 반응의 정량적 측정을 위한 카메라 비젼 시스템", 제23회 영상처리 및 이해에 관한 워크샵, 제주그랜드호텔, 2011(2).
  2. H. Heo, E. Lee, J. Woo, C. Kim, K. Park, and M. Whang, "Realistic game system using Multi-Modal user interface," IEEE Transaction on Consumer Electronics, Vol.56, Issue.3, pp.1364-1372, 2010(8). https://doi.org/10.1109/TCE.2010.5606271
  3. T. Partala and V. Surakka, "Pupil size variation as an indication of affective processing," Int. J. Human-Computer Studies, Vol.59, Issue.1-2, pp.185-198, 2003(7). https://doi.org/10.1016/S1071-5819(03)00017-X
  4. Y. Song, L. Morency, and R. Davis, "Learning a Sparse Codebook of Facial and Body Microexpressions for Emotion Recognition," ICMI, pp.237-244, 2013(12).
  5. H. Gunes and M. Piccardi, "Bi-modal emotion recognition from expressive face and body gesture," J. of Network and Computer Applications, Vol.30, Issue.4, pp.1334-1345, 2007(9). https://doi.org/10.1016/j.jnca.2006.09.007
  6. P. Ekman, R. Levenson, and W. Friesen, "Autonomic nervous system activity distinguishes among emotions," Science New Series, Vol.221, No.4616, pp.1280-1210, 1983(9).
  7. S. Kawai, H. Takano, and K. Nakamura, "Pupil Diameter Variation in Positive and Negative Emotions with Visual Stimulus," IEEE Int. C, pp.13-16, 2013(10).
  8. 엄진섭, 박광배, 손진훈, "ERP와 동공 반응을 이용한 숨긴정보검사", Korean J. of the science of Emotion & sensibility, Vol.15, No.2, pp.259-268, 2012.
  9. 이재화, 이건표, "제품 사용 환경의 사용자 초기 감성 측정 방법에 관한 연구", Korean J. of the science of Emotion & sensibility, Vol.13, No.1, pp.111-120, 2010.
  10. M. Miyao, S. Hacisalihzade, and J. Allen, "Effects of VDT resolution on eyestrain and readability: an eye movement approach," Ergonomics, Vol.32, Issue.6, pp.603-614, 2007(5).
  11. K. Kaneko and K. Sakamoto, "Spontaneous blinks as a criterion of visual fatigue during prolonged work on visual display terminals," Perceptual and Motor Skills, Vol.92, Issue.1, pp.234-350, 2001(2). https://doi.org/10.2466/pms.2001.92.1.234
  12. E. Lee, K. Park, M. Whang, and K. Min, "Measuring the degree of eyestrain caused by watching LCD and PDP devices," Int. J. of Industrial Ergonomics, Vol.39, Issue.5, pp.798-806, 2009(9). https://doi.org/10.1016/j.ergon.2009.02.008
  13. 배민경, 장운수, 조지혜, 김치중, 이의철, "정확한 동공 검출 및 분석을 통한 감성 특징 추출 및 시각화 방법", 제25회 신호처리합동학술대회, 성균관대학교, 2012(9).
  14. J. Daugman, "High confidence visual recognition of personals by a test of statistical independence," IEEE Trans. Pattern Anal. Machine Intell., Vol.15, Issue.11, pp.1148-1160, 1993(11). https://doi.org/10.1109/34.244676
  15. J. Daugman, "New Methods in Iris Recognition," IEEE Trans. On Systems, Man, and Cybermetics, PartB: Cybermetics, Vol.37, Issue.5, pp.1167-1175, 2007(10).
  16. T. Tan, Z. He, and Z. Sun, "Efficient and robust segmentation of noisy iris images for non-cooperative iris recognition," Image and Vision Computiong, Vol.28, Issue.2, pp.223-230, 2010(2). https://doi.org/10.1016/j.imavis.2009.05.008
  17. E. Lee, J. Lee, and K. Park, "Experimental Investigations of Pupil Accommodation Factors," Investigative Ophthalmology & Visual Science, Vol.52, No.9, pp.6478-6485, 2011(7). https://doi.org/10.1167/iovs.10-6423
  18. C. Basch, "Focus Group Interview:An Underutilized Research Technique for Improving Theory and Practice in Health Education," Health education & Behavior, Vol.14, No.4, pp.411-448, 1987(12). https://doi.org/10.1177/109019818701400404
  19. B. Moser, G. Stevens, and C. Watts, "The two-sample test versus Satterthwaite's approximate f test. Communications in Statistics," Theory and Methods, Vol.18, Issue.11, pp.3963-3975, 1989(5). https://doi.org/10.1080/03610928908830135