• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.1188-1203
• /
• 2020

The human expression contains a lot of information that can be used to detect complex conditions such as pain and fatigue. After deep learning became the mainstream method, the traditional feature extraction method no longer has advantages. However, in order to achieve higher accuracy, researchers continue to stack the number of layers of the neural network, which makes the real-time performance of the model weak. Therefore, this paper proposed an expression recognition framework based on densely concatenated convolutional neural networks to balance accuracy and latency and apply it to humanoid robots. The techniques of feature reuse and parameter compression in the framework improved the learning ability of the model and greatly reduced the parameters. Experiments showed that the proposed model can reduce tens of times the parameters at the expense of little accuracy.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.924-942
• /
• 2020

The facial expression is diverse and various among persons due to the impact of the psychology factor. Whilst the facial action is comparatively steady because of the fixedness of the anatomic structure. Therefore, to improve performance of the action unit recognition will facilitate the facial expression recognition and provide profound basis for the mental state analysis, etc. However, it still a challenge job and recognition accuracy rate is limited, because the muscle movements around the face are tiny and the facial actions are not obvious accordingly. Taking account of the moving of muscles impact each other when person express their emotion, we propose to make full use of co-occurrence relationship among action units (AUs) in this paper. Considering the dynamic characteristic of AUs as well, we adopt the 3D Convolutional Neural Network(3DCNN) as base framework and proposed to recognize multiple action units around brows, nose and mouth specially contributing in the emotion expression with putting their co-occurrence relationships as constrain. The experiments have been conducted on a typical public dataset CASME and its variant CASME2 dataset. The experiment results show that our proposed AU co-occurrence constraint 3DCNN based AU recognition approach outperforms current approaches and demonstrate the effectiveness of taking use of AUs relationship in AU recognition.

• 한국컴퓨터정보학회논문지
• /
• 제28권12호
• /
• pp.33-40
• /
• 2023

한국이 초고령사회로 진입하면서 노인 복지에 대한 필요성이 증가하고 있으나 현재 복지 인력 부족이 사회문제로 대두되고 있다. 이에 대한 해결책으로 노인의 사회적 고립감 완화와 위급 상황 시 비상 연락 등의 기능을 하는 노인 돌봄 로봇이 활발히 연구되고 있다. 하지만 이러한 기능들은 사용자의 접촉이 있어야만 작동하여 기존 노인 돌봄 로봇의 한계점으로 자리 잡고 있다. 본 논문에서는 기존의 문제를 해결하기 위해 상용화된 노인 돌봄 로봇과 카메라를 통해 직접적인 접촉 없이도 사용자와 상호작용할 수 있는 돌봄 로봇 시스템을 제안한다. 돌봄 로봇에 연결된 엣지 디바이스에 표정 인식 모델과 행동 인식 모델을 탑재하였고, 공공데이터를 통해 모델의 학습 및 성능검증을 진행했다. 실험 결과를 통해 표정 인식과 행동 인식의 성능이 각각 정확도 96.5%, 90.9%인 것을 확인할 수 있으며, 수행 시간의 경우에는 각각 50ms, 350ms인 것을 확인할 수 있다. 해당 결과는 제안한 시스템의 표정 및 행동 인식 정확도가 높고 추론 시간이 효율적임을 확인하며, 이는 비접촉 상황에서도 원활한 상호작용을 가능하게 한다.

• 인터넷정보학회논문지
• /
• 제13권5호
• /
• pp.9-19
• /
• 2012

디지털 콘텐츠에서 HCI로 활용되는 가상 인간은 얼굴 표정과 신체자세와 같은 모달을 이용하여 다양한 감정을 표현하지만 비언어적 다중모달의 조합에 대한 연구는 많지 않다. 감정을 표현하는 가상 인간을 제작하려면 계산 엔진 모델은 얼굴 표정과 신체자세와 같은 비언어적 모달의 조합이 사용자에 의해 어떻게 인식되는지를 고려해야 하기 때문에 본 연구는 가상 인간의 감정 표현 디자인에 필요한 비언어적 다중모달의 영향을 분석하여 제시한다. 먼저 가상 인간에 대한 다중모달 별 감정 인식을 평가하여 다른 모달간의 상대적 영향성을 분석하였다. 그리고 일치하는 얼굴과 자세 모달을 통해 기본 감정 및 정서가와 활성화 인식에 대한 영향을 평가하며 감정이 불일치하는 다중모달을 통해 일상생활에서 빈번하게 드러나는 중첩된 감정의 인식 정도를 관측하였다. 실험 결과, 가상 인간의 얼굴과 신체자세의 표정이 일치하면 감정 인식이 용이하며, 얼굴 표정으로 감정 카테고리를 판별하지만 감정의 활성화 차원 판단에는 자세 모달리티가 선호됨을 확인하였다. 본 연구 결과는 감정을 드러내는 가상 인간의 행동 동기화 및 애니메이션 엔진 시스템 구현에 활용할 수 있다.

• 대한인간공학회지
• /
• 제30권1호
• /
• pp.195-202
• /
• 2011

Objective: The aim of this study is to investigate and review the previous researches about objective measuring fatigue caused by visual stimuli. Also, we analyze possibility of alternative visual fatigue measurement methods using facial expression recognition and gesture recognition. Background: In most previous researches, visual fatigue is commonly measured by survey or interview based subjective method. However, the subjective evaluation methods can be affected by individual feeling's variation or other kinds of stimuli. To solve these problems, signal and image processing based visual fatigue measurement methods have been widely researched. Method: To analyze the signal and image processing based methods, we categorized previous works into three groups such as bio-signal, brainwave, and eye image based methods. Also, the possibility of adopting facial expression or gesture recognition to measure visual fatigue is analyzed. Results: Bio-signal and brainwave based methods have problems because they can be degraded by not only visual stimuli but also the other kinds of external stimuli caused by other sense organs. In eye image based methods, using only single feature such as blink frequency or pupil size also has problem because the single feature can be easily degraded by other kinds of emotions. Conclusion: Multi-modal measurement method is required by fusing several features which are extracted from the bio-signal and image. Also, alternative method using facial expression or gesture recognition can be considered. Application: The objective visual fatigue measurement method can be applied into the fields of quantitative and comparative measurement of visual fatigue of next generation display devices in terms of human factor.

• 한국산업정보학회논문지
• /
• 제20권2호
• /
• pp.57-63
• /
• 2015

얼굴 표정인식 기술은 다른 감정인식기술에 비해 비접촉성, 비강제성, 편리성의 특징을 가지고 있다. 비전 기술을 심리로봇에 적용하기 위해서는 표정인식을 하기 전 단계에서 얼굴 영역을 정확하고 빠르게 추출할 수 있어야 한다. 본 논문에서는 성능이 향상된 얼굴영역 검출을 위해서 먼저 영상에서 YCbCr 피부색 색상 정보를 이용하여 배경을 제거하고 상태 기반 방법인 Haar-like Feature 방법을 이용하였다. 입력영상에 대하여 배경을 제거함으로써 처리속도가 향상된, 배경에 강건한 얼굴검출 결과를 얻을 수 있었다.

• 한국가축번식학회지
• /
• 제23권4호
• /
• pp.365-369
• /
• 1999

Interferon tau (IFN$\tau$), the pregnancy recognition signal in ruminants, suppresses transcription of the estrogen receptor (ER) gene in the endometrial luminal (LE) and superficial glandular epithelium (sGE) to prevent oxytocin receptor (OTR) expression and pulsatile release of luteolytic prostaglandin $F_{2{\alpha}}$ (PGF), Interferon regulatory factors one (IRF-l) and two (IRF-2) are transcription factors induced by IFN$\tau$ that activate and silence gene expression, respectively. Available results suggest that IFN$\tau$ acts directly on LE and sGE during pregnancy to induce sequentially IRF-l and then IRF-2 gene expression to silence transcription of ER and OTR genes, block the luteolytic mechanism to maintenance a functional corpus luteum (CL) and, signal maternal recognition of pregnancy. The theory for maternal recognition of pregnancy in pigs is that the uterine endometrium of cyclic gilts secretes PGF in an endocrine direction, toward the uterine vasculature for transport to the CL to exert its luteolytic effect. However, in pregnant pigs, estrogens secreted by the conceptuses are responsible, perhaps in concert with effects of prolactin and calcium, for exocrine secretion of PGF into the uterine lumen where it is sequestered to exert biological effects and / or be metabolized to prevent luteolysis.

• 한국인터넷방송통신학회논문지
• /
• 제18권1호
• /
• pp.113-117
• /
• 2018

사람의 감정은 다양한 요소에 의해서 드러난다. 말, 행동, 표정, 옷차림 등등. 하지만 사람은 자신의 감정을 숨길 줄 안다. 따라서 어느 한 가지만으로는 쉽게 그 감성을 짐작할 수 없다. 우리는 이러한 문제를 해결하고 보다 진솔한 사람의 감성을 파악하기 위해 행동과 표정에 주의를 기울이기로 하였다. 행동과 표정은 부단한 노력과 훈련이 없으면 쉽게 감출 수 없기 때문이다. 본 논문에서는 딥러닝 방법을 통해 적은 데이터를 가지고 점진적으로 사람의 행동과 표정을 학습하여 두 가지 결과의 조합을 통해 사람의 감성을 추측하는 알고리즘을 제안한다. 이 알고리즘을 통해 우리는 보다 종합적으로 사람의 감성을 파악할 수 있다.

• 한국실천공학교육학회논문지
• /
• 제4권2호
• /
• pp.171-175
• /
• 2012

최근 정보기술을 이용하여 인간의 감정을 인식하고 소통할 수 있는 ICT(Information and Communication Technology)의 연구가 증가하고 있다. 예를 들어 상대방의 마음을 읽기 위해서 그 사람과의 관계를 형성하고 활동을 해야만 하는 시대에서 사회의 디지털화로 그 경험이 디지털화 되어가며 마인드를 리딩 할 수 있는 디지털기기들이 출현하고 있다. 즉, 인간만이 예측할 수 있었던 감정을 디지털 기기가 대신해 줄 수 있게 된 것이다. 얼굴에서의 감정인식은 현재 연구되어지는 여러 가지 감정인식 중에서 효율적이고 자연스러운 휴먼 인터페이스로 기대되고 있다. 본 논문에서는 감성 ICT에 대한 고찰을 하고 그 사례로서 얼굴감정 인식 시스템에 대한 메카니즘을 살펴보고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4549-4566
• /
• 2017

This work presents a novel facial descriptor, which is named as multiscale adaptive local directional texture pattern (MALDTP) and employed for expression recognition. We apply an adaptive threshold value to encode facial image in different scales, and concatenate a series of histograms based on the MALDTP to generate facial descriptor in term of Gabor filters. In addition, some dedicated experiments were conducted to evaluate the performance of the MALDTP method in a person-independent way. The experimental results demonstrate that our proposed method achieves higher recognition rate than local directional texture pattern (LDTP). Moreover, the MALDTP method has lower computational complexity, fewer storage space and higher classification accuracy than local Gabor binary pattern histogram sequence (LGBPHS) method. In a nutshell, the proposed MALDTP method can not only avoid choosing the threshold by experience but also contain much more structural and contrast information of facial image than LDTP.