• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1373-1382
• /
• 2011

본 논문에서는 사용자가 스스로 미소 훈련을 할 수 있도록 자동으로 미소를 분석하는 시스템을 제안한다. 제안된 시스템은 입력 영상으로부터 AdaBoost 알고리즘을 통해 얼굴 영역을 검출한 다음, ASM(active shape model)을 이용하여 생성된 얼굴 형태 모델을 이용하여 얼굴의 특징을 찾는다. 얼굴 특징을 찾은 다음에는 미소 분석에 필요한 입술 라인과 개별 치아 영역을 추출한다. 미소의 정도를 분석하기 위해 입술 라인과 치아와의 관계 판별이 필요한데, 이를 위해 치아 영상에 대해 2차 미분을 실행한 후, 세로축과 가로축에 히스토그램 프로젝션 방법을 이용하여 개별적인 치아 영역을 찾는다. 입술 라인과 개별 치아 영역에 대한 분석을 통해 사용자의 미소 정도를 자동으로 분석하고 결과를 실시간으로 사용자가 직접 확인할 수 있게 해 준다. 본 논문에서 개발된 시스템은 기존에 치과 병원에서 이루어진 미소 훈련을 위한 미소 평가 결과와 8.6% 이하의 오차를 보였으며 사용자가 혼자서도 미소를 훈련하는데 활용할 수 있는 것으로 분석되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.267-272
• /
• 2009

Video digests provide an effective way of confirming a video content rapidly due to their very compact form. By watching a digest, users can easily check whether a specific content is worth seeing in full. The impression created by the digest greatly influences the user's choice in selecting video contents. We propose a novel method of automatic digest creation that evokes a joyful impression through the created digest by exploiting smile/laughter facial expressions as emotional cues of joy from video. We assume that a digest presenting smiling/laughing faces appeals to the user since he/she is assured that the smile/laughter expression is caused by joyful events inside the video. For detecting smile/laughter faces we have developed a neural network based method for classifying facial expressions. Video segmentation is performed by automatic shot detection. For creating joyful digests, appropriate shots are automatically selected by shot ranking based on the smile/laughter detection result. We report the results of user trials conducted for assessing the visual impression with automatically created 'joyful' digests produced by our system. The results show that users tend to prefer emotional digests containing laughter faces. This result suggests that the attractiveness of automatically created video digests can be improved by extracting emotional cues of the contents through automatic facial expression analysis as proposed in this paper.