• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.924-942
• /
• 2020

The facial expression is diverse and various among persons due to the impact of the psychology factor. Whilst the facial action is comparatively steady because of the fixedness of the anatomic structure. Therefore, to improve performance of the action unit recognition will facilitate the facial expression recognition and provide profound basis for the mental state analysis, etc. However, it still a challenge job and recognition accuracy rate is limited, because the muscle movements around the face are tiny and the facial actions are not obvious accordingly. Taking account of the moving of muscles impact each other when person express their emotion, we propose to make full use of co-occurrence relationship among action units (AUs) in this paper. Considering the dynamic characteristic of AUs as well, we adopt the 3D Convolutional Neural Network(3DCNN) as base framework and proposed to recognize multiple action units around brows, nose and mouth specially contributing in the emotion expression with putting their co-occurrence relationships as constrain. The experiments have been conducted on a typical public dataset CASME and its variant CASME2 dataset. The experiment results show that our proposed AU co-occurrence constraint 3DCNN based AU recognition approach outperforms current approaches and demonstrate the effectiveness of taking use of AUs relationship in AU recognition.

• 한국컴퓨터정보학회논문지
• /
• 제10권3호
• /
• pp.55-64
• /
• 2005

사이버 공간 내에서 텍스트나 영상 이외에 보조적인 통신 수단으로써, 아바타 통신을 이용할 수 있다. 실시간 아바타 영상 통신을 위하여, 전체 영상이나 압축 영상을 전송하는 대신에 아바타의 애니메이션 파라미터(팔의 동작 및 제스처를 위한 각도 또는 얼굴 표정을 위한 파라미터 등)만을 전송하는 지적 통신방식을 이용하기도 한다. 본 논문에서는 팔, 다리 등의 파라메타 등의 몸의 동적 움직임을 보조할 수 있는 수단으로써, 송신자의 감정을 표현할 수 있는 아바타의 얼굴 표정 생성에 대하여 제안한다. 얼굴 표정은 AU(Action Unit)에 의하여 표현할 수 있으며, 여기에서는 모양과 구조가 다른 아바타 모델에서 표정을 생성하기 위한 AU를 찾아내는 방법을 제안한다. 그리고, 감정 표현의 극대화를 위하여 얼굴 표현의 효율을 위하여, 눈썹, 눈, 코, 입에 대한 코믹 스타일을 가지는 아바타 모델을 제안한다. 또한, 얼굴 표정 합성을 위한 파라메타들도 제시하도록 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권11호
• /
• pp.5546-5559
• /
• 2019

Facial action units (AUs) have recently drawn increased attention because they can be used to recognize facial expressions. A variety of methods have been designed for frontal-view AU detection, but few have been able to handle multi-view face images. In this paper we propose a method for multi-view facial AU detection using a fused multilayer, multi-task, and multi-label deep learning network. The network can complete two tasks: AU detection and facial view detection. AU detection is a multi-label problem and facial view detection is a single-label problem. A residual network and multilayer fusion are applied to obtain more representative features. Our method is effective and performs well. The F1 score on FERA 2017 is 13.1% higher than the baseline. The facial view recognition accuracy is 0.991. This shows that our multi-task, multi-label model could achieve good performance on the two tasks.

• ETRI Journal
• /
• 제37권6호
• /
• pp.1199-1210
• /
• 2015

Automatic emotion recognition based on facial cues, such as facial action units (AUs), has received huge attention in the last decade due to its wide variety of applications. Current computer-based automated two-phase facial emotion recognition procedures first detect AUs from input images and then infer target emotions from the detected AUs. However, more robust AU detection and AU-to-emotion mapping methods are required to deal with the error accumulation problem inherent in the multiphase scheme. Motivated by our key observation that a single AU detector does not perform equally well for all AUs, we propose a novel two-phase facial emotion recognition framework, where the presence of AUs is detected by group decisions of multiple AU detectors and a target emotion is inferred from the combined AU detection decisions. Our emotion recognition framework consists of three major components - multiple AU detection, AU detection fusion, and AU-to-emotion mapping. The experimental results on two real-world face databases demonstrate an improved performance over the previous two-phase method using a single AU detector in terms of both AU detection accuracy and correct emotion recognition rate.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.881-883
• /
• 2015

실제적인 표정인식 응용에서는 테스트 시 등장하는 인물이 트레이닝 데이터에 존재하지 않는 경우가 빈번하여 성능 저하가 발생한다. 본 논문에서는 인물에 독립적인(subject-independent) 표정인식을 위한 얼굴특징을 제안한다. 제안방법은 인물에 공통적인 얼굴 근육 움직임(Action Unit(AU))에 기반한 기하학 정보를 표정 특징으로 사용한다. 따라서 인물의 고유 아이덴티티(identity)의 영향은 감소되고 표정과 관련된 정보는 강조된다. 인물에 독립적인 표정인식 실험결과, 86%의 높은 표정인식률과 테스트 비디오 시퀀스 당 3.5ms(Matlab 기준)의 매우 빠른 분류속도를 달성하였다.

• 한국콘텐츠학회논문지
• /
• 제14권9호
• /
• pp.476-483
• /
• 2014

본 논문은 국내 표정 연구에 적합한 얼굴 표정 이미지를 제작하는 것에 목적을 두었다. 이를 위해서 1980년대 태생의 한국인의 표준 형상에 FACS-Action Unit을 결합하여, KSFI(Korean Standard Facial Image) AU set를 제작하였다. KSFI의 객관성을 확보하기 위해 6가지 기본 감성(슬픔, 행복, 혐오, 공포, 화남, 놀람) 이미지를 제작하여, 감성 별 인식 정확률과 얼굴 요소의 감성인식 기여도를 평가하였다. 실험 결과, 정확률이 높은 행복, 놀람, 슬픔, 분노의 이미지의 경우 주로 눈과 입의 얼굴 요소를 통해 감성을 판단하였다. 이러한 연구 결과를 통해 본 연구에서는 표정 이미지의 AU 변경할 수 있는 KSFI 콘텐츠를 제안하였다. 향후 KSFI가 감성 인식률 향상에 기여할 수 있는 학습 콘텐츠로서의 역할을 할 수 있을 것으로 사료된다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.651-654
• /
• 1999

In this paper we propose an emotional expression method using a comic model and special marks for effective sign-language communications. Until now we have investigated to produce more realistic facial and emotional expression. When representing only emotional expression, however, a comic expression could be better than the real picture of a face. The comic face is a comic-style expression model in which almost components except the necessary parts like eyebrows, eyes, nose and mouth are discarded. In the comic model, we can use some special marks for the purpose of emphasizing various emotions. We represent emotional expression using Action Units(AU) of Facial Action Coding System(FACS) and define Special Unit(SU) for emphasizing the emotions. Experimental results show a possibility that the proposed method could be used efficiently for sign-language image communications.

• 전자공학회논문지CI
• /
• 제40권1호
• /
• pp.59-73
• /
• 2003

인터넷 가상공간에서 서로 다른 언어 사이의 언어 장벽을 극복하기 위한 한 방법으로 CG 애니메이션 기술을 이용한 수화 통신 시스템이 연구되고 있다. 지금까지 연구에서는 비언어 통신 수단으로서 팔과 손의 제스춰만을 고려하였으나, 얼굴 표정이 의사전달에 중요한 요소가 된다. 특히 사실적인 감정표현보다는 얼굴 요소가 과장된 코믹한 표현이 보다 효과적이고, 또 눈썹, 눈, 입 등의 AU(Action Units)만이 아니라 뺨과 턱의 움직임도 중요한 역할을 하게 됨을 알게 되었다. 따라서 3D 표정 생성 에디터에서 AU를 추출하고, 보다 효율적을 표정 생성을 위해 FACS(Facial Action Unit)으로 분류한다. 또 기존에 표정 에디터에 비해서 제안된 표정 에디터는 PAU에 대한 강도를 강하게 줌으로써, 6가지 표정을 분리할 수 있음을 보인다. 또한 얼굴 표정 생성에서 “뺨을 올림”과 “턱을 내림”에 대한 움직임을 자동화하기 위해서 포물형 편미분식(Parabolic Partial Differential Equations)과 Runge-Kutta법을 이용하여 보다 자연스러운 표정을 생성하였다. 또한 이를 이용하여 구조가 서로 다른 아바타 모델에 감정을 재생하는 방법을 제안하였다. 본 방법을 윈도우 플렛폼에서 Visual C＋＋와 Open Inventor 라이브러리를 이용하여 구현하였으며, 실험 결과 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 확인하였다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.537-544
• /
• 2020

본 논문에서는 FACS(Facial Action Coding System)에 기반을 둔 안드로이드 로봇 헤드의 개발을 통한 감정표현 방법을 제안한다. 안드로이드 로봇은 인간과 가까운 외모를 가진 로봇을 말하며, 인공 피부, 인공 근육을 가지고 있다. 감정 표현을 로봇으로 구현하기 위해서는 인공 근육의 개수와 배치를 정하여야 하는데 이를 위해 인간의 얼굴 움직임을 해부학적으로 분석하였다. FACS는 해부학을 기반으로 하여 표정을 만들 때의 얼굴의 움직임을 분석한 시스템이다. FACS에서는 표정은 AU(Action Unit)의 조합으로 만들어지며, 이 AU를 기반으로 로봇의 인공 근육의 수와 위치를 정하게 된다. 개발된 안드로이드 헤드는 30개의 인공 근육에 해당되는 모터와 와이어를 가지고 있으며, 표정 구현을 위한 인공 피부를 가지고 있다. 제한된 머리 공간에 많은 모터를 탑재하기 위해 spherical joint와 스프링을 이용하여 초소형 안구 모듈이 개발되었고, 와이어 경로의 효율적인 설계를 기반으로 30개의 모터가 배치되었다. 제작된 안드로이드 헤드는 30 자유도를 가지고 13개의 기본 감정 표현을 구현 가능하였고, 전시회에서 일반 관람객들을 대상으로 인식률을 평가 받았다.

• 전자공학회논문지
• /
• 제51권11호
• /
• pp.193-201
• /
• 2014

본 논문에서는 얼굴영상에 나타난 사람의 표정을 인식하기 위해 얼굴검출, 얼굴정렬, 얼굴단위 추출, 그리고 AdaBoost를 이용한 학습 방법과 효과적인 인식방법을 제안한다. 입력영상에서 얼굴 영역을 찾기 위해서 얼굴검출을 수행하고, 검출된 얼굴영상에 대하여 학습된 얼굴모델과 정렬(Face Alignment)을 수행한 후, 얼굴의 표정을 나타내는 단위요소(Facial Units)들을 추출한다. 본 논문에서 제안하는 얼굴 단위요소들을 표정을 표현하기 위한 기본적인 액션유닛(AU, Action Units)의 하위집합으로 눈썹, 눈, 코, 입 부분으로 나눠지며, 이러한 액션유닛에 대하여 AdaBoost 학습을 수행하여 표정을 인식한다. 얼굴유닛은 얼굴표정을 더욱 효율적으로 표현할 수 있고 학습 및 테스트에서 동작하는 시간을 줄여주기 때문에 실시간 응용분야에 적용하기 적합하다. 실험결과, 제안하는 표정인식 시스템은 실시간 환경에서 90% 이상의 우수한 성능을 보여준다.