• Journal of Korea Society of Industrial Information Systems
• /
• v.20 no.2
• /
• pp.57-63
• /
• 2015

Compared to other emotion recognition technology, facial expression recognition technology has the merit of non-contact, non-enforceable and convenience. In order to apply to a psychological robot, vision technology must be able to quickly and accurately extract the face region in the previous step of facial expression recognition. In this paper, we remove the background from any image using the YCbCr skin color technology, and use Haar-like Feature technology for robust face detection. We got the result of improved processing speed and robust face detection by removing the background from the input image.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• v.15 no.1
• /
• pp.1-11
• /
• 2015

A concept of Deep Level Situation Understanding is proposed to realize human-like natural communication (called casual communication) among multi-agent (e.g., humans and robots/machines), where the deep level situation understanding consists of surface level understanding (such as gesture/posture understanding, facial expression understanding, speech/voice understanding), emotion understanding, intention understanding, and atmosphere understanding by applying customized knowledge of each agent and by taking considerations of thoughtfulness. The proposal aims to reduce burden of humans in humans-robots interaction, so as to realize harmonious communication by excluding unnecessary troubles or misunderstandings among agents, and finally helps to create a peaceful, happy, and prosperous humans-robots society. A simulated experiment is carried out to validate the deep level situation understanding system on a scenario where meeting-room reservation is done between a human employee and a secretary-robot. The proposed deep level situation understanding system aims to be applied in service robot systems for smoothing the communication and avoiding misunderstanding among agents.

• Journal of Mechanical Science and Technology
• /
• v.19 no.3
• /
• pp.743-755
• /
• 2005

Human Sensibility Engineering System (HSES) has been applied to product development for customer's satisfaction based on ergonomic technology. The system is composed of three parts such as human sensibility analysis, inference mechanism, and presentation technologies. Inference mechanism translating human sensibility into design elements plays an important role in the HSES. In this paper, we propose a rule-based inference model for HSES. The rule-based inference model is composed of five rules and two inference approaches. Each of these rules reasons the design elements for selected human sensibility words with the decision variables from regression analysis in terms of forward inference. These results are evaluated by means of backward inference. By comparing the evaluation results, the inference model decides on product design elements which are closer to the customer's feeling and emotion. Finally, simulation results are tested statistically in order to ascertain the validity of the model.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.56-57
• /
• 2013

본 논문에서는 연극공연을 관람하는 관객의 반응정보를 수집하기 위하여, 청각센서를 통해 관객의 음성을 획득하고 획득된 음성에 대한 감정을 예측하여 관객 반응정보 관리시스템에 전송하는 음성신호 기반 감정인식 시스템을 구현한다. 이를 위해, 관객용 헤드셋 마이크와 다채널 녹음장치를 이용하여 관객음성을 획득하는 인터페이스와 음성신호의 특징벡터를 추출하여 SVM (support vector machine) 분류기에 의해 감정을 예측하는 시스템을 구현하고, 이를 관객 반응정보 수집 시스템에 적용한다. 실험결과, 구현된 시스템은 6가지 감정음성 데이터를 활용한 성능평가에서 62.5%의 인식률을 보였고, 실제 연극공연 환경에서 획득된 관객음성과 감정인식 결과를 관객 반응정보 수집 시스템에 전송함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.532-536
• /
• 2018

심층인공신경망을 이용한 대화 모델링 연구가 활발하게 진행되고 있다. 본 논문에서는 대화에서 발화의 감정과 화행을 분류하기 위해 멀티태스크(multitask) 학습을 이용한 End-to-End 시스템을 제안한다. 우리는 감정과 화행을 동시에 분류하는 시스템을 개발하기 위해 멀티태스크 학습을 수행한다. 또한 불균형 범주 분류를 위해 계단식분류(cascaded classification) 구조를 사용하였다. 일상대화 데이터셋을 사용하여 실험을 수행하였고 macro average precision으로 성능을 측정하여 감정 분류 60.43%, 화행 분류 74.29%를 각각 달성하였다. 이는 baseline 모델 대비 각각 29.00%, 1.54% 향상된 성능이다. 본 논문에서는 제안하는 구조를 이용하여, 발화의 감정 및 화행 분류가 End-to-End 방식으로 모델링 가능함을 보였다. 그리고, 두 분류 문제를 하나의 구조로 적절히 학습하기 위한 방법과 분류 문제에서의 범주 불균형 문제를 해결하기 위한 분류 방법을 제시하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.25 no.2E
• /
• pp.74-78
• /
• 2006

This paper proposes an effective method for classifying emotions of the music from its acoustical signals. Two feature sets, timbre and tempo, are directly extracted from the modified discrete cosine transform coefficients (MDCT), which are the output of partial MP3 (MPEG 1 Layer 3) decoder. Our tempo feature extraction method is based on the long-term modulation spectrum analysis. In order to effectively combine these two feature sets with different time resolution in an integrated system, a classifier with two layers based on AdaBoost algorithm is used. In the first layer the MDCT-driven timbre features are employed. By adding the MDCT-driven tempo feature in the second layer, the classification precision is improved dramatically.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.211-214
• /
• 2014

본 연구에서는 질의를 기반으로 사용자의 감정상태를 예측하는 방법을 제안한다. 제안방법은 자극-감정 규칙베이스 구축, 규칙확률 값 기반 질의 랭킹, 질의 랭킹 기반 사용자 감정예측의 단계로 구성된다. 방법의 적절성을 검증하기 위하여 힘들다와 심심하다에 대한 결과로 사용자평가를 실시하였다. 힘들다의 결과에서는 힘들다 정도에 대한 점수가 높은 질의들을 지속적으로 검색하는 사용자들을 힘들다라고 판단할 수 있다고 분석되었다. 심심하다의 결과에서는 방법 간 유의미한 차이를 보이지 않았으나, 특정 개별질의의 지속적인 패턴을 분석하는 것이 좀 더 높은 점수를 얻은 것으로 평가되었다.

• Proceedings of the KAIS Fall Conference
• /
• 2006.05a
• /
• pp.265-270
• /
• 2006

최근의 휴대전화 단말기(Cellular Phone, CP)는 IT기술을 적극적으로 접목하여 다양한 기능을 부가하고 있으나, 단순한 IT기술의 접목만으로는 CP기술 발전의 한계를 드러내고 있다. 이러한 상황에서 휴대전화 단말기에 개인용 로봇(Personal Robot)을 결합하여 로봇의 개인 서비스 기능과 엔터테인먼트 기능을 갖춘 개인로봇형 휴대전화단말기인 RCP(Robotic Cellular Phone)의 개념을 도입한 연구가 진행되고 있다. 본 논문에서는 RCP세부기술 중 하나인 $RCP^{Interaction}$에 주목한 연구로, RCP의 촉각 및 청각자극환경에서 인간이 느끼는 감성을 생체신호를 활용하여 객관적으로 감성을 평가할 수 있는 시스템에 대한 연구를 수행 하였다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.119-121
• /
• 2016

최근 사람과 컴퓨터가 대화를 하는 채팅시스템 연구가 활발해지고 있다. 컴퓨터가 사람의 말에 적절한 응답을 하기 위해선 그 의미를 분석할 필요가 있다. 발화에 대한 의미 분석의 기본이 되는 연구로 감정분석과 화행분석이 있다. 그러나 이 둘은 서로 밀접한 연관이 있음에도 불구하고 함께 분석하는 연구가 시도 되지 않았다. 본 연구에서는 Long Short-term Memory(LSTM)를 이용하여 대화체 문장의 감정과 화행, 서술자를 동시에 분석하는 통합 대화 분석모델을 제안한다. 사랑 도메인 데이터를 사용한 실험에서 제안 모델은 감정 58.08%, 화행 82.60%, 서술자 62.74%의 정확도(Accuracy)를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.141-146
• /
• 2016

대화 시스템에서 사용자가 나타내는 발화에 내재된 감정을 분류하는 것은, 시스템이 적절한 응답과 서비스를 제공하는데 있어 매우 중요하다. 본 연구에서는 대화 내 감정 분류를 하는데 있어 직접적, 간접적으로 드러나는 감정 자질을 자동으로 학습하고 감정이 지속되는 대화 문맥을 효과적으로 반영하기 위해 CNN-LSTM 방식의 딥 뉴럴 네트워크 구조를 제안한다. 그리고 대량의 구어체 코퍼스를 이용한 사전 학습으로 데이터 부족 문제를 완화하였다. 실험 결과 제안하는 방법이 기존의 SVM이나, 단순한 RNN, CNN 네트워크 구조에 비해 전반전인 성능 향상을 보였고, 특히 감정이 있는 경우 더 잘 분류하는 것을 확인할 수 있었다.