• Title/Summary/Keyword: 감정 음성

Search Result 235, Processing Time 0.026 seconds

A Deep Learning System for Emotional Cat Sound Classification and Generation (감정별 고양이 소리 분류 및 생성 딥러닝 시스템)

  • Joo Yong Shim;SungKi Lim;Jong-Kook Kim
    • The Transactions of the Korea Information Processing Society
    • /
    • v.13 no.10
    • /
    • pp.492-496
    • /
    • 2024
  • Cats are known to express their emotions through a variety of vocalizations during interactions. These sounds reflect their emotional states, making the understanding and interpretation of these sounds crucial for more effective communication. Recent advancements in artificial intelligence has introduced research related to emotion recognition, particularly focusing on the analysis of voice data using deep learning models. Building on this background, the study aims to develop a deep learning system that classifies and generates cat sounds based on their emotional content. The classification model is trained to accurately categorize cat vocalizations by emotion. The sound generation model, which uses deep learning based models such as SampleRNN, is designed to produce cat sounds that reflect specific emotional states. The study finally proposes an integrated system that takes recorded cat vocalizations, classify them by emotion, and generate cat sounds based on user requirements.

Emotion Recognition Algorithm Based on Minimum Classification Error incorporating Multi-modal System (최소 분류 오차 기법과 멀티 모달 시스템을 이용한 감정 인식 알고리즘)

  • Lee, Kye-Hwan;Chang, Joon-Hyuk
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • v.46 no.4
    • /
    • pp.76-81
    • /
    • 2009
  • We propose an effective emotion recognition algorithm based on the minimum classification error (MCE) incorporating multi-modal system The emotion recognition is performed based on a Gaussian mixture model (GMM) based on MCE method employing on log-likelihood. In particular, the reposed technique is based on the fusion of feature vectors based on voice signal and galvanic skin response (GSR) from the body sensor. The experimental results indicate that performance of the proposal approach based on MCE incorporating the multi-modal system outperforms the conventional approach.

Face Emotion Recognition using ResNet with Identity-CBAM (Identity-CBAM ResNet 기반 얼굴 감정 식별 모듈)

  • Oh, Gyutea;Kim, Inki;Kim, Beomjun;Gwak, Jeonghwan
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.559-561
    • /
    • 2022
  • 인공지능 시대에 들어서면서 개인 맞춤형 환경을 제공하기 위하여 사람의 감정을 인식하고 교감하는 기술이 많이 발전되고 있다. 사람의 감정을 인식하는 방법으로는 얼굴, 음성, 신체 동작, 생체 신호 등이 있지만 이 중 가장 직관적이면서도 쉽게 접할 수 있는 것은 표정이다. 따라서, 본 논문에서는 정확도 높은 얼굴 감정 식별을 위해서 Convolution Block Attention Module(CBAM)의 각 Gate와 Residual Block, Skip Connection을 이용한 Identity- CBAM Module을 제안한다. CBAM의 각 Gate와 Residual Block을 이용하여 각각의 표정에 대한 핵심 특징 정보들을 강조하여 Context 한 모델로 변화시켜주는 효과를 가지게 하였으며 Skip-Connection을 이용하여 기울기 소실 및 폭발에 강인하게 해주는 모듈을 제안한다. AI-HUB의 한국인 감정 인식을 위한 복합 영상 데이터 세트를 이용하여 총 6개의 클래스로 구분하였으며, F1-Score, Accuracy 기준으로 Identity-CBAM 모듈을 적용하였을 때 Vanilla ResNet50, ResNet101 대비 F1-Score 0.4~2.7%, Accuracy 0.18~2.03%의 성능 향상을 달성하였다. 또한, Guided Backpropagation과 Guided GradCam을 통해 시각화하였을 때 중요 특징점들을 더 세밀하게 표현하는 것을 확인하였다. 결과적으로 이미지 내 표정 분류 Task에서 Vanilla ResNet50, ResNet101을 사용하는 것보다 Identity-CBAM Module을 함께 사용하는 것이 더 적합함을 입증하였다.

Analysis of Livestock Vocal Data using Lightweight MobileNet (경량화 MobileNet을 활용한 축산 데이터 음성 분석)

  • Se Yeon Chung;Sang Cheol Kim
    • Smart Media Journal
    • /
    • v.13 no.6
    • /
    • pp.16-23
    • /
    • 2024
  • Pigs express their reactions to their environment and health status through a variety of sounds, such as grunting, coughing, and screaming. Given the significance of pig vocalizations, their study has recently become a vital source of data for livestock industry workers. To facilitate this, we propose a lightweight deep learning model based on MobileNet that analyzes pig vocal patterns to distinguish pig voices from farm noise and differentiate between vocal sounds and coughing. This model was able to accurately identify pig vocalizations amidst a variety of background noises and cough sounds within the pigsty. Test results demonstrated that this model achieved a high accuracy of 98.2%. Based on these results, future research is expected to address issues such as analyzing pig emotions and identifying stress levels.

Emotion Recognition and Expression System of User using Multi-Modal Sensor Fusion Algorithm (다중 센서 융합 알고리즘을 이용한 사용자의 감정 인식 및 표현 시스템)

  • Yeom, Hong-Gi;Joo, Jong-Tae;Sim, Kwee-Bo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.18 no.1
    • /
    • pp.20-26
    • /
    • 2008
  • As they have more and more intelligence robots or computers these days, so the interaction between intelligence robot(computer) - human is getting more and more important also the emotion recognition and expression are indispensable for interaction between intelligence robot(computer) - human. In this paper, firstly we extract emotional features at speech signal and facial image. Secondly we apply both BL(Bayesian Learning) and PCA(Principal Component Analysis), lastly we classify five emotions patterns(normal, happy, anger, surprise and sad) also, we experiment with decision fusion and feature fusion to enhance emotion recognition rate. The decision fusion method experiment on emotion recognition that result values of each recognition system apply Fuzzy membership function and the feature fusion method selects superior features through SFS(Sequential Forward Selection) method and superior features are applied to Neural Networks based on MLP(Multi Layer Perceptron) for classifying five emotions patterns. and recognized result apply to 2D facial shape for express emotion.

Trends in Brain Wave Signal and Application Technology (뇌파신호 및 응용 기술 동향)

  • Kim, D.Y.;Lee, J.H.;Park, M.H.;Choi, Y.H.;Park, Y.O.
    • Electronics and Telecommunications Trends
    • /
    • v.32 no.2
    • /
    • pp.19-28
    • /
    • 2017
  • 뇌파신호는 사람의 생각이나 감정을 가장 현실적인 방법으로 취득하여 해석하고 분석할 수 있는 유용한 정보원이다. 뇌파는 음성인식 이후에 사람과 사람, 사람과 사물, 사람과 컴퓨터 간에 편리하고 가장 자연스러운 초연결(Hyper-Connection) 접속과 통신을 가능하게 하는 유력하고 궁극적인 수단이다. 하지만 뇌파를 두뇌 활동 시 발생하는 신경세포와 신경세포 사이에 형성된 시냅스들의 화학적 활성화에 의한 전자기적 신호 평균의 총합으로만 해석하는 한, 뇌과학에서 이룩한 복잡한 사람의 생각과 감정 패턴과의 연결 해석이 불가능한 한계가 발생한다. 본고에서는 이를 극복하여 뇌파를 미래의 초연결 접속과 통신 수단으로 활용 가능하도록 하기 위한 기술적 가치와 가능성을 재발견하기 위하여 뇌과학에서 밝혀지고 있는 생각과 감정회로와 연동 해석하기 위한 뇌파신호의 처리, 해석 및 응용 기술 동향에 대해 기술한다.

  • PDF

Recognition of Emotional State of Speaker Using Machine learning (SVM 을 이용한 화자의 감정상태 인식)

  • Lee, Na-Ra;Choi, Hoon-Ha;Kim, Hyun-jung;Won, Il-Young
    • Annual Conference of KIPS
    • /
    • 2012.11a
    • /
    • pp.468-471
    • /
    • 2012
  • 음성을 통한 자동화된 감정 인식은 편리하고 다양한 서비스를 제공할 수 있어 중요한 연구분야라고 할 수 있다. 기계학습의 다양한 알고리즘을 사용하여 감정을 인식하는 연구가 진행되어 왔지만 그 성능은 아직 초보적 단계를 벋어나지 못하고 있는 실정이다. 앞선 연구에서 우리는 비감독 학습 방법으로 감성을 그룹화 하고 이것을 이용하여 다시 감독 학습을 하는 시스템을 소개 하였다. 본 연구에서 우리는 감독 학습 방법에서 사용했던 오류 역전파 알고리즘을 support vector machine(SVM) 으로 변경하고 몇 가지 구조를 변경하여 기능을 개선하였다. 실험을 통하여 성능을 측정하였으며 어느 정도 개선된 결과를 얻을 수 있었다.

Deep Learning Model for Metaverse Environment to Detect Metaphor (메타버스 환경에서 음성 혐오 발언 탐지를 위한 딥러닝 모델 설계)

  • Song, Jin-Su;Karabaeva, Dilnoza;Son, Seung-Woo;Shin, Young-Tea
    • Annual Conference of KIPS
    • /
    • 2022.05a
    • /
    • pp.621-623
    • /
    • 2022
  • 최근 코로나19로 인해 비대면으로 소통할 수 있는 플랫폼에 대한 관심이 증가하고 있으며, 가상 세계의 개념을 도입한 메타버스 플랫폼이 MZ세대의 새로운 SNS로 떠오르고 있다. 아바타를 통해 상호 교류가 가능한 메타버스는 텍스트 기반의 소통뿐만 아니라 음성과 동작 시선 등을 활용하여 변화된 의사소통 방식을 사용한다. 음성을 활용한 소통이 증가함에 따라 다른 이용자에게 불쾌감을 주는 혐오 발언에 대한 신고가 증가하고 있다. 그러나 기존 혐오 발언 탐지 시스템은 텍스트를 기반으로 하여 사전에 정의된 혐오 키워드만 특수문자로 대체하는 방식을 사용하기 때문에 음성 혐오 발언에 대해서는 탐지하지 못한다. 이에 본 논문에서는 인공지능을 활용한 음성 혐오 표현 탐지 시스템을 제안한다. 제안하는 시스템은 음성 데이터의 파형을 통해 은유적 혐오 표현과 혐오 발언에 대한 감정적 특징을 추출하고 음성 데이터를 텍스트 데이터로 변환하여 혐오 문장을 탐지한 결과와 결합한다. 향후, 제안하는 시스템의 현실적인 검증을 위해 시스템 구축을 통한 성능평가가 필요하다.

Exploring Types of Verbal Violence Through Speech Analysis on Non-facing Channels (비대면 채널에서의 음성분석을 통한 언어폭력 유형 탐색)

  • Kim, Jongseon;Ahn, Seongjin
    • The Journal of Korean Association of Computer Education
    • /
    • v.23 no.3
    • /
    • pp.71-79
    • /
    • 2020
  • This study investigates the rising issue of verbal violence at non-facing channels. Focus Group Interview(FGI) was conducted to examine verbal violence occurred during emotional labors in real-life cases. In addition, the distribution of verbal violence in the conversation was confirmed through a new big data technology called Speech Analysis(SA). The result findings highlighted the two perspectives as below. First, verbal violence occurred through calls, is classified into personal insult, swearing/verbal abuse, unreasonable demand, (sexual) harassment and intimidation/threat. Second, Speech Analysis result exhibited the most frequently appeared verbal violence were personal insult and swearing/verbal abuse. Informal language use and speaking in disrespectable manner was the highest rate in personal insult category. Moreover general cursing was the highest rate in swearing/verbal abuse category. In particular, the rate of using curse language was the highest in overall cases of verbal violence. This study summarizes the types of verbal violence that occur in non-facing channels and suggests a need for further investigation on how verbal stress affects working environment for emotional labor.

Emotion Recognition Using Output Data of Image and Speech (영상과 음성의 출력 데이터를 이용한 감성 인식)

  • Joo, Young-Hoon;Oh, Jae-Heung;Park, Chang-Hyun;Sim, Kwee-Bo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.13 no.3
    • /
    • pp.275-280
    • /
    • 2003
  • In this paper, we propose a method for recognizing the human s emotion using output data of image and speech. The proposed method is based on the recognition rate of image and speech. In case that we use one data of image or speech, it is hard to produce the correct result by wrong recognition. To solve this problem, we propose the new method that can reduce the result of the wrong recognition by multiplying the emotion status with the higher recognition rate by the higher weight value. To experiment the proposed method, we suggest the simple recognizing method by using image and speech. Finally, we have shown the potentialities through the expriment.