• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.493-494
• /
• 2023

음성 기반의 감정 분석은 인간의 감정을 정확하게 파악하는 데 중요한 연구 분야로 자리잡고 있다. 최근에는 wav2vec2.0과 같은 트랜스포머 기반의 모델이 음성 인식 분야에서 뛰어난 성능을 보이며 주목받고 있다. 본 연구에서는 wav2vec2.0 모델을 활용하여 한국어 감성 발화 데이터에 대한 감정 분류를 위한 데이터 샘플링 전략을 제안한다. 실험을 통해 한국어 음성 감성분석을 위해 학습 데이터를 활용할 때 감정별로 샘플링하여 데이터의 개수를 유사하게 하는 것이 성능 향상에 도움이 되며, 긴 음성 데이터부터 이용하는 것이 성능 향상에 도움이 됨을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
• /
• pp.145-150
• /
• 2008

본 논문에서는 8개의 문장에 대해서 6명의 화자가 5가지 감정 상태로 발화한 총 240개의 문장을 감정 음성 말뭉치로 활용하여 각 감정 상태에서 특징적으로 나타나는 억양 패턴을 분석하고, 이러한 억양 패턴을 음성 합성 시스템에 적용하는 방법에 대해서 논의한다. 이를 위해 본 논문에서는 감정 상태에 따른 특징적 억양 패턴을 억양구의 길이, 억양구의 구말 경계 성조, 하강 현상에 중점을 두어 분석하고, 기쁨, 슬픔, 화남, 공포의 감정을 구분 지을 수 있는 억양 특징들을 음성 합성 시스템에 적용하는 과정을 보인다. 본 연구를 통해 화남의 감정에서 나타나는 억양의 상승 현상을 확인할 수 있었고, 각 감정에 따른 특징적 억양 패턴을 찾을 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.939-941
• /
• 2021

사람은 표정, 음성, 말 등을 통해 감정을 표출한다. 본 논문에서는 화자의 음성데이터만을 사용하여 감정을 분류하는 방법을 제안한다. 멜 스펙트로그램(Mel-Spectrogram)을 이용하여 음성데이터를 시간에 따른 주파수 영역으로 변화한다. 멜 스펙트로그램으로 변환된 데이터를 CNN을 이용하여 특징 벡터화한 후 Bi-Directional LSTM을 이용하여 화자의 발화 시간 동안 변화되는 감정을 분석한다. 마지막으로 완전 연결 네트워크를 통해 전체 감정을 분류한다. 감정은 Anger, Excitement, Fear, Happiness, Sadness, Neutral로, 총 6가지로 분류하였으며 데이터베이스로는 상명대 연구팀에서 구축한 한국어 음성 감정 데이터베이스를 사용하였다. 실험 결과 논문에서 제안한 CNN-LSTM 모델의 정확도는 88.89%로 측정되었다.

• 한국컴퓨터정보학회논문지
• /
• 제19권11호
• /
• pp.159-166
• /
• 2014

본 논문에서는 감정을 통해 단어의 의미가 변화될 때 운율과 음질로 표현되는 음향 요소가 어떠한 역할을 하는지 분석한다. 이를 위해 6명의 발화자에 의해 5가지 감정 상태로 표현된 60개의 데이터를 이용하여 감정에 따른 운율과 음질의 변화를 살펴본다. 감정에 따른 운율과 음질의 변화를 찾기 위해 8개의 음향 요소를 분석하였으며, 각 감정 상태를 표현하는 주요한 요소를 판별 해석을 통해 통계적으로 분석한다. 그 결과 화남의 감정은 음의 세기 및 2차 포먼트 대역너비와 깊은 연관이 있음을 확인할 수 있었고, 기쁨의 감정은 2차와 3차 포먼트 값 및 음의 세기와 연관이 있으며, 슬픔은 음질 보다는 주로 음의 세기와 높낮이 정보에 영향을 받는 것을 확인할 수 있었으며, 공포는 음의 높낮이와 2차 포먼트 값 및 그 대역너비와 깊은 관계가 있음을 알 수 있었다. 이러한 결과는 감정 음성 인식 시스템뿐만 아니라, 감정 음성 합성 시스템에서도 적극 활용될 수 있을 것으로 예상된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.916-917
• /
• 2023

본 연구는 사용자의 음성 패턴 분석과 텍스트 분류를 중심으로 이루어지는 한국어 감정 인식 작업을 개선하기 위해 Macaron Net 텍스트 모델의 결과와 MFCC 음성 모델의 결과 가중치 합을 분류하여 최종 감정을 판단하는 기존 82.9%였던 정확도를 텍스트 모델 기준 87.0%, Multi-Modal 모델 기준 88.0%로 개선한 모델을 제안한다. 해당 모델을 우울증 예방 플랫폼의 핵심 모델에 탑재하여 covid-19 팬데믹 이후 사회의 문제점으로 부상한 우울증 문제 해소에 기여 하고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
• /
• pp.254-260
• /
• 2007

음성은 컴퓨터로 대변되는 기계와 사람 그리고 기계를 매개로 한 사람과 사람의 상호작용에서 가장 쉽고 직관적인 인터페이스로 널리 활용되고 있다. 인간에게 음성정보를 제공하는 음성합성 분야에서는 합성결과의 자연스러움과 인식성이 시스템의 주요 평가요소로 활용되고 있는데 이러한 자연스러움과 인식성은 합성결과의 정확성뿐만 아니라 발화환경이나 발화자의 발화특징 혹은 감정상태 등에 의해 많은 영향을 받게 된다. 담화표지는 문장의 명제 내용에는 직접 관여하지 않으면서 화자의 발화 의도나 심리적 태도를 전달하는 구성 요소를 말하는데 본 논문에서는 담화표지가 포함된 대화 음성 데이터를 수집하여 담화표지의 음성언어적인 특징을 분석하고 분석된 결과를 음성합성 시스템에 활용하는 표현방식에 대해 논의한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.449-453
• /
• 2019

미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

• 인간행동과 음악연구
• /
• 제13권2호
• /
• pp.67-83
• /
• 2016

본 연구는 감정단어의 억양 패턴을 음향학적으로 분석하여 멜로디의 음높이 패턴으로 전환한 뒤 그 특성을 알아보았다. 이를 위해 만 19-23세 여성 30명을 대상으로 기쁨, 화남, 슬픔을 표현하는 4음절 감정단어의 음성자료를 수집하였다. 총 180개의 어휘를 수집하고 Praat 프로그램을 이용하여 음절 당 평균 주파수(f0)를 측정한 후 평균 음정과 음높이 패턴의 멜로디 요소로 전환하였다. 연구 결과, 첫째, 감정단어의 음높이 패턴은 '즐거워서' A3-A3-G3-G3, '즐거워요' G4-G4-F4-F4, '행복해서' C4-D4-B3-A3, '행복해요' D4-D4-A3-G3, '억울해서' G3-A3-G3-G3, '억울해요' G3-G3-G3-A3, F3-G3-E3-D3, '불안해서' A3-A3-G3-A3, '불안해요' A3-G3-F3-F3, '침울해서' C4-C4-A3-G3, '침울해요' A3-A3-F3-F3으로 나타났다. 둘째, 음 진행에서는 기쁨이 넓은 간격의 도약 진행, 화남이 좁은 간격의 도약 진행, 슬픔이 넓은 간격의 순차 진행 특성을 보였다. 본 연구에서는 감정의 속성과 본질, 한국어의 음성 특성을 고려하여 감정단어의 억양 패턴을 분석하고, 이를 멜로디 요소에 반영한 특성을 제시하였다. 또한, 체계적이고 객관화된 방법으로 말과 멜로디의 전환 가능성 및 적합성을 확인한 것에 의의가 있다. 본 연구의 결과는 감정을 효과적으로 표현할 수 있는 멜로디 창작 방안을 마련하기 위한 근거 자료로 활용될 수 있다.