• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.79-82
• /
• 2000

감정 표현 음성을 합성하기 위하여 본 연구에서는 감정 음성 데이터의 피치와 지속시간의 음절 유형별 및 어절 내 음절 위치에 따른 변화를 분석하였고, 스펙트럼 포락이 감정 변화에 어떤 영향을 미치는지를 분석하였다. 그 결과, 피치와 지속시간의 음절 유형별, 어절 내 음절 위치에 따른 변화와, 스펙트럼 포락 등도 감정 변화에 영향을 미치는 것으로 나타났다. 또한, 감정 음성의 음향학적 분석 결과를 적용하여 감정 음성을 합성하고 평가하기 위하여, 평상 음성의 음운 및 운율 파라미터 (피치, 에너지, 지속시간, 스펙트럼 포락)를 조절함으로써 감정 음성을 생성하는 감정 편집기를 구현하였다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.14 no.8
• /
• pp.3992-3998
• /
• 2013

This paper is related to the method of adding a emotional speech corpus to a high-quality large corpus based speech synthesizer, and generating various synthesized speech. We made the emotional speech corpus as a form which can be used in waveform concatenated speech synthesizer, and have implemented the speech synthesizer that can be generated various synthesized speech through the same synthetic unit selection process of normal speech synthesizer. We used a markup language for emotional input text. Emotional speech is generated when the input text is matched as much as the length of intonation phrase in emotional speech corpus, but in the other case normal speech is generated. The BIs(Break Index) of emotional speech is more irregular than normal speech. Therefore, it becomes difficult to use the BIs generated in a synthesizer as it is. In order to solve this problem we applied the Variable Break[3] modeling. We used the Japanese speech synthesizer for experiment. As a result we obtained the natural emotional synthesized speech using the break prediction module for normal speech synthesize.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.815-818
• /
• 2000

본 논문에서는 감정 표현 음성 합성 시스템을 구현하기 위해서, 감정 음성 데이터베이스의 음향학적 특징인 피치, 에너지, 지속시간, 스펙트럼 포락에 대해 분석한 결과와 문법적 요소인 품사에 따른 감정 음성 데이터의 피치 변화를 분석하였다. 분석 결과, 기본 주파수, 에너지, 지속시간, 스펙트럼 포락은 감정 표현에 중요한 영향을 미치는 것으로 나타났으며, 전반적으로 화남과 기쁨의 감정이 평상과 슬픔의 감정 보다 피치 및 에너지의 변화가 크게 나타났으며, 특히 기쁜 감정의 경우 부사, 관형사, 연결어미, 조사, 접미사에서 피치 변화가 많았으며, 화난 감정의 경우, 관형사, 명사, 용언, 접미사에서 피치 변화가 높게 나타났다. 이러한 분석 결과를 적용해 감정 음성을 합성하기 위하여, 평상 음성에 각 감정 음성의 운율 요소를 적용하여 감정 음성을 합성하여 평가한 결과, 기쁜 감정은 기본 주파수의 변화에 의해 86.7%, 화난 감정은 에너지의 변화에 의해 91%, 슬픈 감정은 음절지속시간의 변화에 의해 76.7%가 각각 올바른 감정으로 인지되었다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.08a
• /
• pp.350-355
• /
• 1998

감정을 표현하는 음성 합성 시스템을 구현하기 위해서는 감정음성에 대한 분석이 필요하다. 본 논문에선,s 평상, 화남, 기쁨, 슬픔의 네 가지 감정에 대한 음성 데이터에 대해 음절 세그먼트, 라벨링을 행한 감정 음성 데이터베이스를 구축하였고, 감정표현이 음성에 영향을 미치는 요인에대하여, 운율, 음운적인 요소로 나누어 분석하였다. 또한 기본 주파수, 에너지, 음절지속시간에 대한 분석과 감정 음성의기본 주파수, 에너지, 음절지속시간, 스펙트럼 포락의 인지 정도를 측정하기 위하여 평상 음성에 감정 음성의 운율 요소를 적용하는 음성을 합성하여 ABX 방법으로 평가하였다. 그 결과, 기본 주파수의변화가 73.3%, 음절지속시간은 43.3% 로 올바른 감정으로 인지되었으며, 특히 슬픈 감정에서 음절지속시간은 76.6%가 올바르게 감정을 나타내는 것으로 인지되었다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.15 no.9
• /
• pp.5763-5768
• /
• 2014

Maintaining a voice color is important when compounding both the normal voice because an emotion is not expressed with various emotional voices in a single synthesizer. When a synthesizer is developed using the recording data of too many expressed emotions, a voice color cannot be maintained and each synthetic speech is can be heard like the voice of different speakers. In this paper, the speech data was recorded and the change in the voice color was analyzed to develop an emotional HMM-based speech synthesizer. To realize a speech synthesizer, a voice was recorded, and a database was built. On the other hand, a recording process is very important, particularly when realizing an emotional speech synthesizer. Monitoring is needed because it is quite difficult to define emotion and maintain a particular level. In the realized synthesizer, a normal voice and three emotional voice (Happiness, Sadness, Anger) were used, and each emotional voice consists of two levels, High/Low. To analyze the voice color of the normal voice and emotional voice, the average spectrum, which was the measured accumulated spectrum of vowels, was used and the F1(first formant) calculated by the average spectrum was compared. The voice similarity of Low-level emotional data was higher than High-level emotional data, and the proposed method can be monitored by the change in voice similarity.

• The Journal of the Acoustical Society of Korea
• /
• v.40 no.5
• /
• pp.523-529
• /
• 2021

In this paper, we designed and developed an Emotional Speech Synthesis Markup Language (SSML) processor. Multi-speaker emotional speech synthesis technology that can express multiple voice colors and emotional expressions have been developed, and we designed Emotional SSML by extending SSML for multiple voice colors and emotional expressions. The Emotional SSML processor has a graphic user interface and consists of following four components. First, a multi-speaker emotional text editor that can easily mark specific voice colors and emotions on desired positions. Second, an Emotional SSML document generator that creates an Emotional SSML document automatically from the result of the multi-speaker emotional text editor. Third, an Emotional SSML parser that parses the Emotional SSML document. Last, a sequencer to control a multi-speaker and emotional Text-to-Speech (TTS) engine based on the result of the Emotional SSML parser. Based on SSML which is a programming language and platform independent open standard, the Emotional SSML processor can easily integrate with various speech synthesis engines and facilitates the development of multi-speaker emotional text-to-speech applications.

• The Journal of the Acoustical Society of Korea
• /
• v.38 no.5
• /
• pp.614-620
• /
• 2019

In this paper, we propose a method to effectively determine the representative style embedding of each emotion class to improve the global style token-based end-to-end speech synthesis system. The emotion expressiveness of conventional approach was limited because it utilized only one style representative per each emotion. We overcome the problem by extracting multiple number of representatives per each emotion using a k-means clustering algorithm. Through the results of listening tests, it is proved that the proposed method clearly express each emotion while distinguishing one emotion from others.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.423-426
• /
• 2021

본 논문은 전역 스타일 토큰(Global Style Token)을 기준으로 하여 감정의 세기를 조절할 수 있는 방법을 소개한다. 기존의 전역 스타일 토큰 연구에서는 원하는 스타일이 포함된 참조 오디오(reference audio)을 사용하여 음성을 합성하였다. 그러나, 참조 오디오의 스타일대로만 음성합성이 가능하기 때문에 세밀한 감정 조절에 어려움이 있었다. 이 문제를 해결하기 위해 본 논문에서는 전역 스타일 토큰의 레퍼런스 인코더 부분을 잔여 블록(residual block)과 컴퓨터 비전 분야에서 사용되는 AlexNet으로 대체하였다. AlexNet은 5개의 함성곱 신경망(convolutional neural networks) 으로 구성되어 있지만, 본 논문에서는 1개의 신경망을 제외한 4개의 레이어만 사용했다. 청취 평가(Mean Opinion Score)를 통해 제시된 방법으로 감정 세기의 조절 가능성을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.453-455
• /
• 2020

본 논문은 시각 장애인을 위한 감정 음성 자막 서비스를 생성하는 종단 간(end-to-end) 감정 음성 합성 시스템(emotional text-to-speech synthesis system, TTS)의 음성 합성 속도를 높이면서도 합성음의 음질을 향상시키는 방법을 제안한다. 기존에 사용했던 전역 스타일 토큰(Global Style Token, GST)을 이용한 감정 음성 합성 방법은 다양한 감정을 표현할 수 있는 장점을 갖고 있으나, 합성음을 생성하는데 필요한 시간이 길고 학습할 데이터의 동적 영역을 효과적으로 처리하지 않으면 합성음에 클리핑(clipping) 현상이 발생하는 등 음질이 저하되는 양상을 보였다. 이를 보안하기 위해 본 논문에서는 새로운 데이터 전처리 과정을 도입하였고 기존의 보코더(vocoder)인 웨이브넷(WaveNet)을 웨이브알엔엔(WaveRNN)으로 대체하여 생성 속도와 음질 측면에서 개선됨을 보였다.

• Journal of Internet Computing and Services
• /
• v.23 no.2
• /
• pp.71-77
• /
• 2022

In this paper, a database is collected for extending the speech synthesis model to a model that synthesizes speech according to emotions and generating facial expressions. The database is divided into male and female data, and consists of emotional speech and facial expressions. Two professional actors of different genders speak sentences in Korean. Sentences are divided into four emotions: happiness, sadness, anger, and neutrality. Each actor plays about 3300 sentences per emotion. A total of 26468 sentences collected by filming this are not overlap and contain expression similar to the corresponding emotion. Since building a high-quality database is important for the performance of future research, the database is assessed on emotional category, intensity, and genuineness. In order to find out the accuracy according to the modality of data, the database is divided into audio-video data, audio data, and video data.