• 로봇학회논문지
• /
• 제5권1호
• /
• pp.7-13
• /
• 2010

This paper presents the sound-based emotion estimation method and the growing HRI (human-robot interaction) system for a Mon-E robot. The method of emotion estimation uses the musical element based on the law of harmony and counterpoint. The emotion is estimated from sound using the information of musical elements which include chord, tempo, volume, harmonic and compass. In this paper, the estimated emotions display the standard 12 emotions including Eckman's 6 emotions (anger, disgust, fear, happiness, sadness, surprise) and the opposite 6 emotions (calmness, love, confidence, unhappiness, gladness, comfortableness) of those. The growing HRI system analyzes sensing information, estimated emotion and service log in an edutainment robot. So, it commands the behavior of the robot. The growing HRI system consists of the emotion client and the emotion server. The emotion client estimates the emotion from sound. This client not only transmits the estimated emotion and sensing information to the emotion server but also delivers response coming from the emotion server to the main program of the robot. The emotion server not only updates the rule table of HRI using information transmitted from the emotion client and but also transmits the response of the HRI to the emotion client. The proposed system was applied to a Mon-E robot and can supply friendly HRI service to users.

• 한국지능시스템학회논문지
• /
• 제15권2호
• /
• pp.197-203
• /
• 2005

본 논문에서는 얼굴영상을 이용하여 한국인과 일본인의 감정인식에 대하여 연구하였다. 얼굴의 감정인식을 위하여 심리학자인 Ekman과 Friesen의 연구에 의해 문화에 영향을 받지 않고 공통으로 인식하는 6개의 기본 감정인 기쁨, 슬픔, 화남, 놀람, 공포, 혐오를 바탕으로 실험하였다. 감정인식에서 입력영상은 이산 웨이블렛을 기반으로 한 다해상도 분석기법을 사용하여 데이터 수를 압축한 후, 각각의 영상에서 주성분분석기법 및 선형판별분석기법에 의해 얼굴의 감정특징을 추출하였다. 실험결과 한국인과 일본인 모두 "기쁨", "슬픔", "화남" 감정은 비교적 인식률이 높은 반면에 "놀람", "공포", "혐오" 감정은 인식률이 저조하게 나타냈다. 특히, 일본인의 경우 "혐오" 감정이 가장 저조한 결과를 나타냈으며, 전반적으로 한국인에 비해 일본인의 감정인식결과가 낮은 것으로 나타났다.

• 감성과학
• /
• 제15권4호
• /
• pp.503-516
• /
• 2012

지금까지 로봇 및 소프트웨어 에이전트들을 살펴보면, 감정 모델이 내부에 종속적으로 존재하기 때문에 감정모델만을 별도로 분리해 새로운 시스템에 재활용하기란 쉽지 않다. 따라서 어떤 로봇 및 에이전트와 연동될 수 있는 Engine of computational Emotion model (이하 EE로 표시한다)을 소개한다. 이 EE는 어떤 입력 정보에도 치중되지 않고, 어떤 로봇 및 에이전트의 내부와도 연동되도록 독립적으로 감정을 담당하기 위해, 입력 단계인 인식과 출력 단계인 표현을 배제하고, 순수하게 감정의 생성 및 처리를 담당하는 중간 단계인 감정 발생만을 분리하여, '입력단 및 출력단과 독립적인 소프트웨어 형태, 즉 엔진(Engine)'으로 존재한다. 이 EE는 어떤 입력단 및 출력단과 상호작용이 가능하며, 자체 감정뿐 아니라 상대방의 감정을 사용하며, 성격을 활용하여 종합적인 감정을 산출해낸다. 또한 이 EE는 로봇 및 에이전트의 내부에 라이브러리 형태로 존재하거나, 별도의 시스템으로 존재하여 통신할 수 있는 구조로 활용될 수 있다. 감정은 Joy(기쁨), Surprise(놀람), Disgust(혐오), Fear(공포), Sadness(슬픔), Anger(분노)의 기본 감정을 사용하며, 문자열과 계수를 쌍으로 갖는 정보를 EE는 입력 인터페이스를 통해 입력 신호로 받고, 출력 인터페이스를 통해 출력 신호로 내보낸다. EE는 내부에 감정마다 감정경험의 연결 목록을 가지고 있으며, 이의 계수의 쌍으로 구성된 정보를 감정의 생성 및 처리하기 위한 감정상태 목록으로 사용한다. 이 감정경험 목록은 '인간이 실생활에서 경험하는 다양한 감정에 대한 이해를 도모'하는 감정표현어휘로 구성되어 있다. EE는 인간의 감정을 탐색하여 적절한 반응을 나타내주는 상호작용 제품에 이용 가능할 것이다. 본 연구는 제품이 '인간을 공감하고 있음'을 인간이 느낄 수 있도록 유도하는 시스템을 만들고자 함이므로, HRI(인간－로봇 상호작용)나 HCI(인간－컴퓨터 상호작용)와 관련 제품이 효율적인 감정적 공감 서비스를 제공하는데 도움이 될 수 있을 것으로 기대한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2001년도 추계학술대회 학술발표 논문집
• /
• pp.203-207
• /
• 2001

In this Paper, we propose the neural network based emotion recognition method for intelligently recognizing the human's emotion using CCD color image. To do this, we first acquire the color image from the CCD camera, and then propose the method for recognizing the expression to be represented the structural correlation of man's feature Points(eyebrows, eye, nose, mouse) It is central technology that the Process of extract, separate and recognize correct data in the image. for representation is expressed by structural corelation of human's feature Points In the Proposed method, human's emotion is divided into four emotion (surprise, anger, happiness, sadness). Had separated complexion area using color-difference of color space by method that have separated background and human's face toughly to change such as external illumination in this paper. For this, we propose an algorithm to extract four feature Points from the face image acquired by the color CCD camera and find normalization face picture and some feature vectors from those. And then we apply back-prapagation algorithm to the secondary feature vector. Finally, we show the Practical application possibility of the proposed method.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권1호
• /
• pp.1-6
• /
• 2005

In this paper, we propose an emotion recognition method using the facial images and speech signals. Six basic emotions including happiness, sadness, anger, surprise, fear and dislike are investigated. Facia] expression recognition is performed by using the multi-resolution analysis based on the discrete wavelet. Here, we obtain the feature vectors through the ICA(Independent Component Analysis). On the other hand, the emotion recognition from the speech signal method has a structure of performing the recognition algorithm independently for each wavelet subband and the final recognition is obtained from the multi-decision making scheme. After merging the facial and speech emotion recognition results, we obtained better performance than previous ones.

• Journal of information and communication convergence engineering
• /
• 제19권3호
• /
• pp.148-154
• /
• 2021

With the advent of context-aware computing, many attempts were made to understand emotions. Among these various attempts, Speech Emotion Recognition (SER) is a method of recognizing the speaker's emotions through speech information. The SER is successful in selecting distinctive 'features' and 'classifying' them in an appropriate way. In this paper, the performances of SER using neural network models (e.g., fully connected network (FCN), convolutional neural network (CNN)) with Mel-Frequency Cepstral Coefficients (MFCC) are examined in terms of the accuracy and distribution of emotion recognition. For Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) dataset, by tuning model parameters, a two-dimensional Convolutional Neural Network (2D-CNN) model with MFCC showed the best performance with an average accuracy of 88.54% for 5 emotions, anger, happiness, calm, fear, and sadness, of men and women. In addition, by examining the distribution of emotion recognition accuracies for neural network models, the 2D-CNN with MFCC can expect an overall accuracy of 75% or more.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3498-3512
• /
• 2021

This article describes how events that make up text stories can be represented and extracted. We also address the results from our simple experiment on extracting and clustering events in terms of emotions, under the assumption that different emotional events can be associated with the classified clusters. Each emotion cluster is based on Plutchik's eight basic emotion model, and the attributes of the NLTK-VADER are used for the classification criterion. While comparisons of the results with human raters show less accuracy for certain emotion types, emotion types such as joy and sadness show relatively high accuracy. The evaluation results with NRC Word Emotion Association Lexicon (aka EmoLex) show high accuracy values (more than 90% accuracy in anger, disgust, fear, and surprise), though precision and recall values are relatively low.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권2호
• /
• pp.105-110
• /
• 2008

Human being recognizes emotion fusing information of the other speech signal, expression, gesture and bio-signal. Computer needs technologies that being recognized as human do using combined information. In this paper, we recognized five emotions (normal, happiness, anger, surprise, sadness) through speech signal and facial image, and we propose to method that fusing into emotion for emotion recognition result is applying to multimodal method. Speech signal and facial image does emotion recognition using Principal Component Analysis (PCA) method. And multimodal is fusing into emotion result applying fuzzy membership function. With our experiments, our average emotion recognition rate was 63% by using speech signals, and was 53.4% by using facial images. That is, we know that speech signal offers a better emotion recognition rate than the facial image. We proposed decision fusion method using S-type membership function to heighten the emotion recognition rate. Result of emotion recognition through proposed method, average recognized rate is 70.4%. We could know that decision fusion method offers a better emotion recognition rate than the facial image or speech signal.

• 대한한의학원전학회지
• /
• 제22권2호
• /
• pp.315-325
• /
• 2009

Since the days of early Confucianism, the nature(性) and the emotion(情) have been the methodological tool to explain the original nature of the human being, by dividing the human mind into the nature and the emotion. This study examines the interconversion(相成相資) theory of the nature and the emotion mentioned in the "Sadanron(四端論)" chapter of "Dong-uisusebowon." We have contemplated how Gi(氣) of sadness and anger mutually create each other, that of pleasure and enjoyment do as well, transforming sad nature[哀性] of the Taeyang-in(太陽人) into anger emotion, anger nature of the Soyang-in(少陽人) into sad emotion[哀情], pleasure nature[喜性] of the Taeuemin(太陰人) into enjoy emotion[樂情], enjoy nature[樂性] of the Soeumin(少陰人) into pleasure emotion[喜情] considering the circumstances in which the nature changes into the emotion based on the original texts of "Dong-uisusebowon", "Sasang-uihakchobon-gwon(四象醫學草本卷)" and "Gyeokchigo(格致藁)".

• 문화기술의 융합
• /
• 제5권1호
• /
• pp.13-20
• /
• 2019

이 연구는 시조의 감정 코드를 AI에 코딩시킬 수 있는 부호들을 연구하여 문학치료에 활용하고자 하는 것이다. 본 연구에서는 시조 "공산에 우는 접동"의 감정 코딩을 시행해보았다. 결과적으로 Emotion Codon은 슬픔의 카타르시스의 상태를 나타낼 수 있었다. 이렇게 시조의 감정 코드들을 Emotion Codon으로 착상시키는 것은 인체의 감정을 AI에 착상시키는 것과 같다고 할 수 있다. 기본적인 감정 코드들을 Emotion Codon에 착상시켜 AI의 자가 학습을 유도하면 인체에서 일어나는 다양한 감정들을 AI가 조합할 수 있다고 본다. 이때 AI는 인간의 감정을 대신할 수 있게 되어 인체의 감정 치료에 유용하게 활용될 수 있다. 본 연구를 지속하면 인체의 감정을 유도하여 마음과 정신을 치료할 수 있을 것으로 사료된다.