• 스마트미디어저널
• /
• 제9권3호
• /
• pp.90-97
• /
• 2020

인터넷과 스마트폰의 발달로 디지털 음원은 쉽게 접근이 가능해졌고 이에 따라 음악 검색 및 추천에 대한 관심이 높아지고 있다. 음악 추천 방법으로는 장르나 감정을 분류하기 위해 음정, 템포, 박자 등의 멜로디를 사용한 연구가 진행되고 있다. 하지만 음악에서 가사는 인간의 감정을 표현하는 수단 중의 하나로 역할 비중이 점점 높아지고 있기 때문에 가사를 기반으로 한 감정 분류 연구가 필요하다. 이에 본 논문에서는 가사를 기반으로 이별 감정을 세분화하기 위해 이별 가사의 감정을 분석한다. 이별 가사에 나타나는 단어 간 유사도를 Word2Vec 학습을 통해 벡터화하여 감정 사전을 구축 한 후 LSTM을 활용하여 가사를 학습시켜 유사한 감정으로 가사를 분류해주는 Word2Vec과 LSTM을 활용한 이별 가사 감정 분류 방법을 제안한다.

• 디지털융복합연구
• /
• 제20권2호
• /
• pp.57-62
• /
• 2022

본 연구는 비대면 수업에서 미술품의 해설을 듣고 수업의 결과로 학습자의 감정을 확인하는 것을 목적으로 수행되었다. 제안한 시스템은 AI 서버를 통해 미술품의 해설을 듣고 학습자의 감정을 전용 키로 입력하고 그 결과를 음악으로 표현하게 된다. 이를 위해 감정 키를 활용한 비대면 미술감상 수업 모형의 방향을 설정하였고, 이를 바탕으로 비대면 미술감상을 위한 시스템을 구성하였다. 학습자는 미술품의 해설을 듣고 제시되는 질의에 대한 감정을 입력하기 위해 본 연구에서 제안한 '감정 키를 활용한 스마트 기기'를 사용하게 된다. 제안한 시스템을 통해 온라인 미술수업에서 학습자는 감정 상태를 표현할 수 있게 되고 교수자는 수업 참여결과를 전달받아 교육적 분석을 위해 다양하게 활용하게 된다.

• 한국산업정보학회논문지
• /
• 제28권4호
• /
• pp.11-19
• /
• 2023

본 논문에서는 사용자의 감정 분석에 따른 향을 추천하는 스마트 미러 시스템을 제안한다. 본 논문은 자연어 처리 중 임베딩 기법(CounterVectorizer와 TF-IDF 기법), 머신러닝 분류 기법 중 최적의 모델(DecisionTree, SVM, RandomForest, SGD Classifier)을 융합하여 시스템을 구축하고 그 결과를 비교한다. 실험 결과, 가장 높은 성능을 보이는 SVM과 워드 임베딩을 파이프라인 기법으로 감정 분류기 모델에 적용한다. 제안된 시스템은 Flask 웹 프레임워크를 이용하여 웹 서비스를 제공하는 개인감정 분석 기반 향 추천 미러를 구현한다. 본 논문은 Google Speech Cloud API를 이용하여 사용자의 음성을 인식하고 STT(Speech To Text)로 음성 변환된 텍스트 데이터를 사용한다. 제안된 시스템은 날씨, 습도, 위치, 명언, 시간, 일정 관리에 대한 정보를 사용자에게 제공한다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.28-35
• /
• 2023

본 연구에서는 음성감정인식의 적용 가능성과 실용성 향상을 위해 적은 수의 파라미터를 가지는 새로운 경량화 모델 RoutingConvNet(Routing Convolutional Neural Network)을 제안한다. 제안모델은 학습 가능한 매개변수를 줄이기 위해 양방향 MFCC(Mel-Frequency Cepstral Coefficient)를 채널 단위로 연결해 장기간의 감정 의존성을 학습하고 상황 특징을 추출한다. 저수준 특징 추출을 위해 경량심층 CNN을 구성하고, 음성신호에서의 채널 및 공간 신호에 대한 정보 확보를 위해 셀프어텐션(Self-attention)을 사용한다. 또한, 정확도 향상을 위해 동적 라우팅을 적용해 특징의 변형에 강인한 모델을 구성하였다. 제안모델은 음성감정 데이터셋(EMO-DB, RAVDESS, IEMOCAP)의 전반적인 실험에서 매개변수 감소와 정확도 향상을 보여주며 약 156,000개의 매개변수로 각각 87.86%, 83.44%, 66.06%의 정확도를 달성하였다. 본 연구에서는 경량화 대비 성능 평가를 위한 매개변수의 수, 정확도간 trade-off를 계산하는 지표를 제안하였다.

• 스마트미디어저널
• /
• 제12권9호
• /
• pp.81-88
• /
• 2023

최근 코로나19로 인한 비대면 서비스의 확산으로 온라인을 통한 소통이 증가하고 있다. 비대면 상황에서는 텍스트나 음성, 이미지 등의 모달리티를 통해 상대방의 의견이나 감정을 인식하고 있다. 현재 다양한 모달리티를 결합한 멀티모달 감정인식에 관한 연구가 활발하게 진행되고 있다. 그중 음성 데이터를 활용한 감정인식은 음향 및 언어정보를 통해 감정을 이해하는 수단으로 주목하고 있으나 대부분 단일한 음성 특징값으로 감정을 인식하고 있다. 하지만 대화문에는 다양한 감정이 복합적으로 존재하기 때문에 다중 감정을 인식하는 방법이 필요하다. 따라서 본 논문에서는 복합적으로 존재하는 내재된 감정인식을 위해 음성 데이터를 전처리한 후 특징 벡터를 추출하고 시간의 흐름을 고려한 다중 감정 회귀 모델을 제안한다.

• International journal of advanced smart convergence
• /
• 제9권1호
• /
• pp.193-201
• /
• 2020

The main objective of this study is to investigate the impact of additional modalities on the performance of emotion recognition using speech, facial expression and physiological measurements. In order to compare different approaches, we designed a feature-based recognition system as a benchmark which carries out linear supervised classification followed by the leave-one-out cross-validation. For the classification of four emotions, it turned out that bimodal fusion in our experiment improves recognition accuracy of unimodal approach, while the performance of trimodal fusion varies strongly depending on the individual. Furthermore, we experienced extremely high disparity between single class recognition rates, while we could not observe a best performing single modality in our experiment. Based on these observations, we developed a novel fusion method, called parametric decision fusion (PDF), which lies in building emotion-specific classifiers and exploits advantage of a parametrized decision process. By using the PDF scheme we achieved 16% improvement in accuracy of subject-dependent recognition and 10% for subject-independent recognition compared to the best unimodal results.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2002년도 추계학술대회 논문집
• /
• pp.79-84
• /
• 2002

디지털 삶에서 인간들은 더 이상 보호막으로써의 건축 환경이 아닌 함께 상호작용 할 수 있는 감성반응 환경을 요구한다. 즉, 실내 공간은 사람들의 요구를 충족시키거나 사람들의 기분을 만족시키기 위해 건물이 마치 살아 있는 유기체처럼 쉬지 않고 변하는 공간이다. 그러나 건축공간의 물리적 특성의 한계에서 유동적인 감성반응 환경의 요구를 충족시키는 데에는 많은 한계점이 따른다. 그래서, 본 연구에서는 이러한 한계점을 극복하기 위해 디지털 환경을 이용한 가상공간에서 실행하였다. 이는 실제공간에서의 시행착오를 줄일 수 있을 뿐만 아니라 빠른 시간 내에 인간의 반응을 연구할 수 있다. 특히, 본 연구에서는 감성반응의 실내배색에 의해 실내공간에서의 디지털 벽면의 디자인을 가상공간에서 개발하여 거주자의 감성 반응을 평가하는 것을 연구 목적으로 두었다. 이와 같은 거주자의 감성반응형 환경 디자인은 미래의 디자인의 패러다임이 될 것이다.

• Journal of Information Processing Systems
• /
• 제17권6호
• /
• pp.1138-1156
• /
• 2021

Emotional semantics are the highest level of semantics that can be extracted from an image. Constructing a system that can automatically recognize the emotional semantics from images will be significant for marketing, smart healthcare, and deep human-computer interaction. To understand the direction of image emotion recognition as well as the general research methods, we summarize the current development trends and shed light on potential future research. The primary contributions of this paper are as follows. We investigate the color, texture, shape and contour features used for emotional semantics extraction. We establish two models that map images into emotional space and introduce in detail the various processes in the image emotional semantic recognition framework. We also discuss important datasets and useful applications in the field such as garment image and image retrieval. We conclude with a brief discussion about future research trends.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 춘계학술발표대회
• /
• pp.146-148
• /
• 2011

홈 네트워크 분야는 현재 유무선 통신과 디지털 정보 기기를 기반으로 지능화 된 주거 공간을 제공하고자 하는 스마트 홈 연구가 활발하게 진행 중이다. 최근 사용자에게 더 편리하고 실용적인 스마트 홈 서비스를 어떻게 제공할 것인가에 대한 이슈가 대두되고 있다. 본 논문에서는 이를 위해 범용성, 유용성, 편의성을 고려한 서비스에 대해 연구하였다. 플랫폼 독립적인 웹서비스를 기반으로 홈 내 자원에 대한 기본 정보을 제공하고, 자원 사이의 관계 상황을 찾아 새로운 관계 정보를 제공한다. 이를 활용하여 사용자 편의적인 인터페이스를 가진 모바일 응용 프로그램을 개발하였다. 향후 장애 정보와 결합하여 홈 내 유지보수 서비스로의 확장을 기대한다.

• International journal of advanced smart convergence
• /
• 제11권4호
• /
• pp.177-184
• /
• 2022

The purpose of this study is to provide implications by conducting research on brand benefits for skiwear brand customers. For this purpose, a structural equation model was established and empirical research was conducted by selecting brand convenience as a hygiene variable and brand emotion, brand satisfaction, and repurchase intention as endogenous variables. In order to analyze the general characteristics of the subjects, frequency analysis was conducted using SPSS 25 and Cronbach's alpha analysis was conducted using the same statistical program. Confirmatory factor analysis and path analysis were conducted using AMOS 21. In addition, the benefits of skiwear brand, which is an independent variable, were composed of two sub-dimensions, and psychological benefits rather than functional benefits were found to have a stronger impact on brand emotion, suggesting practical implications.