• International Journal of Contents
• /
• 제15권4호
• /
• pp.59-64
• /
• 2019

In recent years, emotion recognition has been an interesting and challenging topic. Compared to facial expressions and speech modality, gesture-based emotion recognition has not received much attention with only a few efforts using traditional hand-crafted methods. These approaches require major computational costs and do not offer many opportunities for improvement as most of the science community is conducting their research based on the deep learning technique. In this paper, we propose an end-to-end deep learning approach for classifying emotions based on bodily gestures. In particular, the informative keyframes are first extracted from raw videos as input for the 3D-CNN deep network. The 3D-CNN exploits the short-term spatiotemporal information of gesture features from selected keyframes, and the convolutional LSTM networks learn the long-term feature from the features results of 3D-CNN. The experimental results on the FABO dataset exceed most of the traditional methods results and achieve state-of-the-art results for the deep learning-based technique for gesture-based emotion recognition.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제15권3호
• /
• pp.186-191
• /
• 2015

Hand gesture is the most common tool used to interact with and control various electronic devices. In this paper, we propose a novel hand gesture recognition method using fuzzy logic based classification with a new type of sensor array. In some cases, feature patterns of hand gesture signals cannot be uniquely distinguished and recognized when people perform the same gesture in different ways. Moreover, differences in the hand shape and skeletal articulation of the arm influence to the process. Manifold features were extracted, and efficient features, which make gestures distinguishable, were selected. However, there exist similar feature patterns across different hand gestures, and fuzzy logic is applied to classify them. Fuzzy rules are defined based on the many feature patterns of the input signal. An adaptive neural fuzzy inference system was used to generate fuzzy rules automatically for classifying hand gestures using low number of feature patterns as input. In addition, emotion expression was conducted after the hand gesture recognition for resultant human-robot interaction. Our proposed method was tested with many hand gesture datasets and validated with different evaluation metrics. Experimental results show that our method detects more hand gestures as compared to the other existing methods with robust hand gesture recognition and corresponding emotion expressions, in real time.

• 제어로봇시스템학회논문지
• /
• 제13권9호
• /
• pp.832-837
• /
• 2007

Electroencephalographic(EEG) is used to record activities of human brain in the area of psychology for many years. As technology develope, neural basis of functional areas of emotion processing is revealed gradually. So we measure fundamental areas of human brain that controls emotion of human by using EEG. Hands gestures such as shaking and head gesture such as nodding are often used as human body languages for communication with each other, and their recognition is important that it is a useful communication medium between human and computers. Research methods about gesture recognition are used of computer vision. Many researchers study Emotion Recognition method which uses one of EEG signals and Gestures in the existing research. In this paper, we use together EEG signals and Gestures for Emotion Recognition of human. And we select the driver emotion as a specific target. The experimental result shows that using of both EEG signals and gestures gets high recognition rates better than using EEG signals or gestures. Both EEG signals and gestures use Interactive Feature Selection(IFS) for the feature selection whose method is based on a reinforcement learning.

• 한국컴퓨터정보학회논문지
• /
• 제15권7호
• /
• pp.75-81
• /
• 2010

본 논문에서는 웹캠을 이용하여 사용자의 안면 또는 손동작을 인식하고, 그 제스쳐가 나타내는 감성(희노애락)을 플래시 콘으로 표현하여 상대방에게 전송하는 감성 메신저를 구현한다. 이 메신저는 안면 인식 모듈과 손동작 인식 모듈, 메신저 모듈로 구성된다. 안면 인식 모듈에서는 눈, 입의 각 영역을 이진 영상으로 변환하여 눈과 입의 모양 변화에 따라 윙크, 입맞춤, 하품 등을 인식한다. 또한 손동작 인식 모듈에서는 인식한 손가락 수에 따라 가위-바위-보로 인식한다. 메신저 모듈은 안면 인식 모듈과 손동작 인식 모듈에서 인식한 윙크, 입맞춤, 하품과 가위-바위-보를 플래시 콘으로 표현하여 상대방에게 전달한다. 본 논문에서는 시뮬레이션을 통하여 감성 메신저의 CPU 점유율이 최소임을 검증한다. 또한 감성 메신저의 손동작 인식 모듈의 성능이 안면 인식 모듈에 비해 우수함을 보인다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제7권4호
• /
• pp.256-261
• /
• 2007

Electroencephalographic(EEG) is used to record activities of human brain in the area of psychology for many years. As technology developed, neural basis of functional areas of emotion processing is revealed gradually. So we measure fundamental areas of human brain that controls emotion of human by using EEG. Hands gestures such as shaking and head gesture such as nodding are often used as human body languages for communication with each other, and their recognition is important that it is a useful communication medium between human and computers. Research methods about gesture recognition are used of computer vision. Many researchers study Emotion Recognition method which uses one of EEG signals and Gestures in the existing research. In this paper, we use together EEG signals and Gestures for Emotion Recognition of human. And we select the driver emotion as a specific target. The experimental result shows that using of both EEG signals and gestures gets high recognition rates better than using EEG signals or gestures. Both EEG signals and gestures use Interactive Feature Selection(IFS) for the feature selection whose method is based on the reinforcement learning.

• 한국지능시스템학회논문지
• /
• 제17권1호
• /
• pp.46-51
• /
• 2007

영상을 통한 감정 인식 기술은 사회의 여러 분야에서 필요성이 대두되고 있음에도 불구하고 인식 과정의 어려움으로 인해 풀리지 않는 문제로 남아 있다. 특히, 인간의 움직임을 이용한 감정 인식 기술은 많은 응용이 가능하기 때문에 개발의 필요성이 증대되고 있다. 영상을 통해 감정을 인식하는 시스템은 매우 다양한 기법들이 사용되는 복합적인 시스템이다. 따라서 이를 설계하기 위해서는 영상에서의 움직임 추출, 특징 벡터 추출 및 패턴 인식 등 다양한 기법의 연구가 필요하다. 본 논문에서는 이전에 연구된 움직임 추출 방법들을 바탕으로 한 새로운 감정 인식 시스템을 제안한다. 제안된 시스템은 은닉 마코프 모델을 통해 동정된 분류기를 이용하여 감정을 인식한다. 제안된 시스템의 성능을 평가하기 위해 평가데이터 베이스가 구축되었으며, 이를 통해 제안된 감정 인식 시스템의 성능을 확인하였다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권2호
• /
• pp.105-110
• /
• 2008

Human being recognizes emotion fusing information of the other speech signal, expression, gesture and bio-signal. Computer needs technologies that being recognized as human do using combined information. In this paper, we recognized five emotions (normal, happiness, anger, surprise, sadness) through speech signal and facial image, and we propose to method that fusing into emotion for emotion recognition result is applying to multimodal method. Speech signal and facial image does emotion recognition using Principal Component Analysis (PCA) method. And multimodal is fusing into emotion result applying fuzzy membership function. With our experiments, our average emotion recognition rate was 63% by using speech signals, and was 53.4% by using facial images. That is, we know that speech signal offers a better emotion recognition rate than the facial image. We proposed decision fusion method using S-type membership function to heighten the emotion recognition rate. Result of emotion recognition through proposed method, average recognized rate is 70.4%. We could know that decision fusion method offers a better emotion recognition rate than the facial image or speech signal.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2004년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.132-134
• /
• 2004

Emotion recognition between human and human is done compositely using various features that are face, voice, gesture and etc. Among them, it is a face that emotion expression is revealed the most definitely. Human expresses and recognizes a emotion using complex and various features of the face. This paper proposes hybrid feature extraction for emotions recognition from facial expression. Hybrid feature extraction imitates emotion recognition system of human by combination of geometrical feature based extraction and color distributed histogram. That is, it can robustly perform emotion recognition by extracting many features of facial expression.

• 한국지능시스템학회논문지
• /
• 제16권5호
• /
• pp.587-593
• /
• 2006

영상을 통한 감정 인식 기술은 사회의 여러 분야에서 필요성이 대두되고 있음에도 불구하고 인식 과정의 어려움으로 인해 풀리지 않는 문제로 남아 있다. 인간의 움직임을 이용한 감정 인식 기술은 많은 응용이 가능하기 때문에 개발의 필요성이 증대되고 있다. 영상을 통해 감정을 인식하는 시스템은 매우 다양한 기법들이 사용되는 복합적인 시스템이다. 따라서 이를 설계하기 위해서는 영상에서의 움직임 추출, 특징 벡터 추출 및 패턴 인식 등 다양한 기법의 연구가 필요하다. 본 논문에는 이전에 연구된 움직임 추출 방법들을 바탕으로 한 새로운 감정 인식 시스템을 제안한다. 제안된 시스템은 은닉 마르코프 모델을 통해 동정된 분류기를 이용하여 감정을 인식한다. 제안된 시스템의 성능을 평가하기 위해 평가데이터 베이스가 구축되었으며, 이를 통해 제안된 감정 인식 시스템의 성능을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제17권3호
• /
• pp.322-327
• /
• 2007

심리학 분야의 연구자들은 Electroencephalographic(EEG)을 오래전부터 인간 두뇌의 활동을 측정 기록하는데 사용하였다. 과학이 발달함에 따라 점차적으로 인간의 두뇌에서 감정을 조절하는 기본적인 영역들이 밝혀지고 있다. 그래서 인간의 감정을 조절하는 인간의 두뇌 활동 영역들을 EEG를 이용하여 측정하였다. 손짓이나 고개의 움직임은 사람들 사이에 대화를 위한 인간의 몸 언어로 사용된다. 그리고 그것들의 인식은 컴퓨터와 인간 사이에 유용한 회화수단으로 매우 중요하다. 몸짓에 관한 연구들은 주로 영상을 통한 인식 방법이 주를 이루고 있다. 많은 연구자들의 기존 연구에서는 생체신호나 몸짓중 한 가지만을 이용하여 감정인식 방법 연구를 하였다. 본 논문에서는 EEG 신호와 몸짓을 같이 사용해서 사람의 감정을 인식하였다. 그리고 인식의 대상자를 운전자라는 특정 대상자를 설정하고 실험을 하였다. 실험 결과 생체신호와 몸짓을 같이 사용한 실점의 인식률이 둘 중 한 가지만을 사용한 것보다 높은 인식률을 보였다. 생체신호와 몸짓들의 특징 신호들은 강화학습의 개념을 이용한 IFS(Interactive Feature Selection)를 이용하여 특징 선택을 하였다.