• The Journal of the Acoustical Society of Korea
• /
• 제21권2E호
• /
• pp.98-104
• /
• 2002

The present study describes a combination method to recognize the human affective states such as anger, happiness, sadness, or surprise. For this, we extracted emotional features from voice signals and facial expressions, and then trained them to recognize emotional states using hidden Markov model (HMM) and neural network (NN). For voices, we used prosodic parameters such as pitch signals, energy, and their derivatives, which were then trained by HMM for recognition. For facial expressions, on the other hands, we used feature parameters extracted from thermal and visible images, and these feature parameters were then trained by NN for recognition. The recognition rates for the combined parameters obtained from voice and facial expressions showed better performance than any of two isolated sets of parameters. The simulation results were also compared with human questionnaire results.

• 제어로봇시스템학회논문지
• /
• 제13권8호
• /
• pp.735-742
• /
• 2007

The importance of the interaction capability of a robot increases as the application of a robot is extended to a human's daily life. In this paper, a portable mediate interface Handybot is developed with various interaction channels to be used with an intelligent home service robot. The Handybot has a task-oriented channel of an icon language as well as a verbal interface. It also has an emotional interaction channel that recognizes a user's emotional state from facial expression and speech, transmits that state to the robot, and expresses the robot's emotional state to the user. It is expected that the Handybot will reduce spatial problems that may exist in human-robot interactions, propose a new interaction method, and help creating rich and continuous interactions between human users and robots.

• 말소리와 음성과학
• /
• 제6권3호
• /
• pp.3-12
• /
• 2014

Larynx plays an important role in phonation and protection of the respiratory tract during swallowing. The reduced anatomical and physiological function in elevation of larynx and glottis closure can cause problems in voice and swallowing. The present study investigated the Korean version of handicap index of dysphagia in elderly Koreans. Therefore, 60 normal elderly Koreans ranged from 65 to 95 and 20 normal Korean young adults aged from 20 to 25 were participated in this study to compare total (T), physical (P), functional (F), and emotional (E) index scores between two groups as well as among sub groups (60s, 70s, 80s) in elderly. For swallowing, total and sub dysphagia handicap index (DHI) scores, voice quality during /a/phonation following swallowing (saliva and water), intensity of coughing, and L-DDK were measured. The results showed that functional (P), physical (P), emotional (E) scores as well as total (T) score were significantly different between young adults and old adults in DHI(p<.05). Additionally, there was a negative correlation between total DHI score and intensity of coughing (r=-.51) as well as L-DDK (r=-.70). These findings suggest that a slow rate in vocal fold adduction and reduced intensity of coughing in the elderly affect swallowing function. Thus, recently translated Korean version of DHI may be useful as supplement in evaluating the swallowing problems in elderly people.

• 한국지능시스템학회논문지
• /
• 제19권6호
• /
• pp.755-759
• /
• 2009

인간의 감정을 인식하는 기술은 인간-로봇 상호작용 분야의 중요한 연구주제 중 하나이다. 특히, 화자독립 감정인식은 음성감정인식의 상용화를 위해 꼭 필요한 중요한 이슈이다. 일반적으로, 화자독립 감정인식 시스템은 화자종속 시스템과 비교하여 감정특징 값들의 화자 그리고 성별에 따른 변화로 인하여 낮은 인식률을 보인다. 따라서 본 논문에서는 신뢰도 평가방법을 이용한 감정인식결과의 거절 방법을 사용하여 화자독립 감정인식 시스템을 일관되고 정확하게 구현할 수 있는 방법을 제시한다. 또한, 제안된 방법과 기존 방법의 비교를 통하여 제안된 방법의 효율성 및 가능성을 검증한다.

• 말소리와 음성과학
• /
• 제8권3호
• /
• pp.67-78
• /
• 2016

This study examined the affective prosodic characteristics observed from the children with cochlear implant (CI, hereafter) and normal hearing (NH, hereafter) along with listener's perception on them. Speech samples were acquired from 15 normal and 15 CI children. 8 SLPs(Speech Language Pathologists) perceptually evaluated affective types using Praat's ExperimentMFC. When it comes to the acoustic results, there were statistically meaningful differences between 2 groups in affective types [joy (discriminated by intensity deviation), anger (by intensity-related variables dominantly and duration-related variables partly), and sadness (by all aspects of prosodic variables)]. CI's data are much more louder when expressing joy, louder and slower when expressing anger, and higher, louder, and slower when it comes to sadness than those of NH. The listeners showed much higher correlation when evaluating normal children than CI group(p<.001). Chi-square results revealed that listeners did not show coherence at CI's utterance, but did at those of NH's (CI(p<.01), normal(p=.48)). When CI utterances were discriminated into 3 emotional types by DA(Discriminant Analysis) using 8 acoustic variables, speed related variables such as articulation rate took primary role.

• 한국콘텐츠학회논문지
• /
• 제6권3호
• /
• pp.125-134
• /
• 2006

본 논문은 음성이 인간에게 전달되어 나타나는 여러 가지 감정 표현 중에서 단지 4가지 감정 즉 두려움, 싫증, 놀람 그리고 중성에 대한 감정 표현이 얼굴과 몸동작에 동시에 나타내는 애니메이션 시스템인 HEEAS(Human Emotional Expression Animation System)를 구현하는데 그 주된 목적이 있다. 이를 위해서 본 논문에서는 감정 표현이 풍부한 한국인 20대 청년을 모델로 설정하였다. 또한 입력되어진 음성 신호를 통해서 추출된 감정표현에 대한 데이터를 얼굴코드와 몸동작코드를 부여하고 이를 데이터 베이스화 하여 실제 애니메이션 구현을 하기 위한 처리의 시간을 최소화하였다. 즉, 입력되어진 음성 신호를 이용해서 원하는 결과인 얼굴, 몸동작에 대한 자료를 이진 검색을 이용해서 데이터베이스에서 찾으므로 검색 시간을 최소화하였다. 실제 감정 표현에 대한문제들을 실험을 통해서 얻은 결과가 99.9%의 정확도임을 알 수가 있었다.

• 대한음성학회지:말소리
• /
• 제55권
• /
• pp.1-14
• /
• 2005

Sasang Constitution, one branch of oriental medicine, claims that people can be classified into four different 'constitutions:' Taeyang, Taeum, Soyang, and Soeum. This study investigates whether the classification of the constitutions could be accurately made solely based on people's voice by analyzing the data from 46 different voices whose constitutions were already determined. Seven source-related parameters and four filter-related parameters were phonetically analyzed and the GMM(Gaussian mixture model) was tried on the data. Both the results from phonetic analyses and GMM showed that all the parameters (except one) failed to distinguish the constitutions of the people successfully. And even the single exception, B2 (the bandwidth of the second formant) did not provide us with sufficient reasons to be the source of distinction. This result seems to suggest one of the two conclusions: either the Sasang Constitutions cannot be substantiated with phonetic characteristics of peoples' voices with reliable accuracy, or we need to find yet some other parameters which haven't been conventionally proposed.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1998년도 제15회 음성통신 및 신호처리 워크샵(KSCSP 98 15권1호)
• /
• pp.350-355
• /
• 1998

감정을 표현하는 음성 합성 시스템을 구현하기 위해서는 감정음성에 대한 분석이 필요하다. 본 논문에선,s 평상, 화남, 기쁨, 슬픔의 네 가지 감정에 대한 음성 데이터에 대해 음절 세그먼트, 라벨링을 행한 감정 음성 데이터베이스를 구축하였고, 감정표현이 음성에 영향을 미치는 요인에대하여, 운율, 음운적인 요소로 나누어 분석하였다. 또한 기본 주파수, 에너지, 음절지속시간에 대한 분석과 감정 음성의기본 주파수, 에너지, 음절지속시간, 스펙트럼 포락의 인지 정도를 측정하기 위하여 평상 음성에 감정 음성의 운율 요소를 적용하는 음성을 합성하여 ABX 방법으로 평가하였다. 그 결과, 기본 주파수의변화가 73.3%, 음절지속시간은 43.3% 로 올바른 감정으로 인지되었으며, 특히 슬픈 감정에서 음절지속시간은 76.6%가 올바르게 감정을 나타내는 것으로 인지되었다.

• 감성과학
• /
• 제11권4호
• /
• pp.541-552
• /
• 2008

감정은 수량, 크기, 종류를 측정하기 어려워 언어로 표현하는데 한계가 있다. 세익스피어의 '햄릿'에서 주인공 햄릿의 경우 여러 가지 극적인 상황으로 인해 말로 표현하기 힘든 감정 상태를 가진다. 따라서 본 논문은 현재의 감정 상태를 말 대신 위치와 색으로 시각화하여 표현하는 인공감정을 제안하고, 이를 이용하여 '햄릿'에 나오는 등장인물들의 감정을 시각화했다. 제안된 인공감정은 네 단계에 걸쳐 구성된다. 첫 번째 단계에선 감정을 인과관계에 따라 분석하여 어떤 종류의 감정자극이 얼마만큼 들어왔는지 분석한다. 두 번째 단계에선, 감정의 생성과 소멸을 표현하는 단위감정그래프를 제안하고, 이를 통해 들어온 감정 자극의 생성, 유지, 소멸을 성격에 따라 표현한다. 세 번째 단계에선 단위감정그래프를 이용하여 같은 종류의 연속된 감정자극을 표현하는 감정그래프를 제안한다. 그리고 감정별로 감정그래프를 하나씩 둬서 각 감정들의 생성과 소멸을 개별적으로 관리한다. 네 번째 단계에선 서로 다른 감정 간의 상호관계에 따라 감정별 감정그래프의 현재 감정을 복합하는 감정장을 제안하고, 감정장상의 위치와 위치에 따른 색으로 현재의 감정 상태를 표현한다. 제안된 인공감정으로 감정상태의 변화를 시각화해보기 위해 '햄릿'에서 등장인물인 햄릿과 거트루드의 감정변화를 인공감정을 통해 시각화하였다.

• 대한전자공학회논문지SP
• /
• 제40권5호
• /
• pp.371-377
• /
• 2003

본 논문에서 음성신호를 사용하여 인간의 감정를 인식하기 위한 특징 파라메터 비교에 관하여 연구하였다. 이를 위하여 여러 가지 감정 상태에 따라 분류된 한국어 음성 데이터 베이스를 이용하여 얻어진 음성 신호의 피치와 에너지의 평균, 표준편차와 최대 값 등 통계적인 정보 나타내는 파라메터와 음소의 특성을 나타내는 MFCC 파라메터가 사용되었다. 파라메터들의 성능을 평가하기 위하여 문장 및 화자 독립 감정 인식 시스템을 구현하여 인식 실험을 수행하였다. 성능 평가를 위한 실험에서는 운율적 특징으로 피치와 에너지와 각각의 미분 값을 사용하였고, 음소의 특성을 나타내는 특징으로 MFCC와 그 미분 값을 사용하였다. 벡터 양자화 방법을 사용한 화자 및 문장 독립 인식 시스템을 사용한 실험 결과에서 MFCC와 델타 MFCC를 사용한 경우가 피치와 에너지를 사용한 방법보다 우수한 성능을 나타내었다.