• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.493-495
• /
• 2023

Deep learning methods and attention mechanisms have been incorporated to improve facial emotion recognition, which has recently attracted much attention. The fusion approaches have improved accuracy by combining various types of information. This research proposes a fusion network with self-attention and local attention mechanisms. It uses a multi-layer perceptron network. The network extracts distinguishing characteristics from facial images using pre-trained models on RAF-DB dataset. We outperform the other fusion methods on RAD-DB dataset with impressive results.

• 한국정보통신학회논문지
• /
• 제26권3호
• /
• pp.333-340
• /
• 2022

코로나19는 모두로 하여금 초조하고 불안하게 만들고, 사람들간에는 거리두기가 필요하다. 코로나19로 인해 심리적으로 초조하고 불안 해 지고 거리두기가 필요해졌다. 대학교에서는 학기 초에 정신건강에 대한 단체 평가와 검사가 이루어진다. 본 연구에서는 다층감지기 신경망 모델을 채택하고 훈련시켜 딥러닝을 진행했다. 훈련이 끝난 후, 실제 사진과 동영상을 입력하고, 안면탐지를 진행하고, 표본에 있는 사람의 얼굴 위치를 알아낸 후, 그 감정을 다시 분류하고, 그 표본의 예측한 감정 결과를 그림으로 보여주었다. 결과는 다음과 같다. 테스트 시험에서는 93.2%의 정확도를 얻었고, 실제 사용에서는 95.57%의 정확도를 얻었다. 그중 분노의 식별율은 95%, 혐오의 식별율은 97%, 행복의 식별율은 96%, 공포의 식별율은 96%, 슬픔의 식별율은 97%, 놀라움의 식별율은 95%, 중립의 식별율은 93%이었다. 본 연구의 고효율적 정서 식별 기술은 학생들의 부정적 정서를 포착하는 객관적 데이터를 제공 할 수 있다. 딥러닝의 감정식별 시스템은 심리건강을 향상하기 위한 데이터들을 제공할 수 있다.

• 인지과학
• /
• 제14권4호
• /
• pp.33-42
• /
• 2003

본 논문은 내적상태의 차원모형을 기반으로 한 얼굴 표정인식을 위한 새로운 시스템을 제시한다. 얼굴표정 정보는 3단계로 추출된다. 1단계에서는 Gabor 웨이브렛 표상이 얼굴 요소들의 경계선을 추출한다. 2단계에서는 중립얼굴상에서 얼굴표정의 성긴 특징들이 FCM 군집화 알고리즘을 사용하여 추출된다. 3단계에서는 표정영상에서 동적인 모델을 사용하여 성긴 특징들이 추출된다. 마지막으로 다층 퍼셉트론을 사용하여 내적상태의 차원모델에 기반한 얼굴표정 인식을 보인다. 정서의 이차원 구조는 기본 정서와 관련된 얼굴표정의 인식 뿐만 아니라 다양한 정서의 표정들로 인식할 수 있음을 제시한다.

• 감성과학
• /
• 제14권4호
• /
• pp.627-636
• /
• 2011

본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권6호
• /
• pp.386-391
• /
• 2017

본 논문에서는 실생활에서 수집한 웨어러블 센서 데이터에서 사용자의 체험 기반 감정 태그정보를 자동으로 부여하는 시스템을 제안한다. 사용자 본인의 감정과 사용자가 보고 듣는 정보를 종합적으로 고려하여 네 가지의 감정 태그를 정의한다. 직접 수집한 웨어러블 센서 데이터를 중심으로 기존 감성컴퓨팅 연구를 통해 알려진 보조 정보를 결합하여, 다중 센서 데이터를 입력으로 하고 감정 태그를 구분하는 머신러닝 기반 분류 시스템을 학습하였다. 다중 모달리티 기반 감정 태깅 시스템의 유용성을 보이기 위해, 기존의 단일 모달리티 기반의 감정 인식 접근법과의 정량적, 정성적 비교를 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.916-917
• /
• 2023

본 연구는 사용자의 음성 패턴 분석과 텍스트 분류를 중심으로 이루어지는 한국어 감정 인식 작업을 개선하기 위해 Macaron Net 텍스트 모델의 결과와 MFCC 음성 모델의 결과 가중치 합을 분류하여 최종 감정을 판단하는 기존 82.9%였던 정확도를 텍스트 모델 기준 87.0%, Multi-Modal 모델 기준 88.0%로 개선한 모델을 제안한다. 해당 모델을 우울증 예방 플랫폼의 핵심 모델에 탑재하여 covid-19 팬데믹 이후 사회의 문제점으로 부상한 우울증 문제 해소에 기여 하고자 한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권4호
• /
• pp.41-51
• /
• 2023

본 논문에서는 보행자의 걸음걸이로부터 분노 감정 검출을 위한 다중 시간 윈도 특징 추출 기술을 제안한다. 기존의 걸음걸이 기반 감정인식 기술에서는 보행자의 보폭, 한 보폭에 걸리는 시간, 보행 속력, 목과 흉부의 전방 기울기 각도(Forward Tilt Angle)를 계산하고, 전체 구간에 대해서 최솟값, 평균값, 최댓값을 계산해서 이를 특징으로 활용하였다. 하지만 이때 각 특징은 보행 전체 구간에 걸쳐 항상 균일하게 변화가 발생하는 것이 아니라, 때로는 지역적으로 변화가 발생한다. 이에 본 연구에서는 장기부터 중기 그리고 단기까지 즉, 전역적인 특징과 지역적인 특징을 모두 추출할 수 있는 다중 시간 윈도 특징 추출(Multi-Time Window Feature Extraction) 기술을 제안한다. 또한, 제안하는 특징 추출 기술을 통해 각 구간에서 추출된 특징들을 효과적으로 학습할 수 있는 앙상블 모델을 제안한다. 제안하는 앙상블 모델(Ensemble Model)은 복수의 분류기로 구성되며, 각 분류기는 서로 다른 다중 시간 윈도에서 추출된 특징으로 학습된다. 제안하는 특징 추출 기술과 앙상블 모델의 효과를 검증하기 위해 일반인에게 공개된 3차원 걸음걸이 데이터 세트를 사용하여 시험 평가를 수행했다. 그 결과, 4가지 성능 평가지표에 대해서 제안하는 앙상블 모델이 기존의 특징 추출 기술로 학습된 머신러닝(Machine Learning) 모델들과 비교하여 최고의 성능을 달성하는 것을 입증하였다.

• 한국정보통신학회논문지
• /
• 제20권7호
• /
• pp.1317-1324
• /
• 2016

아두이노 플렛폼을 활용하여 스마트 주얼리에 보석처럼 빛나는 효과를 나타내기 위해 감성적인 주얼리로 색을 표현하였다. 감성적인 색 표현을 위해 플러칙의 감정 팽이 모형을 활용하여 감정과 색의 유사성을 적용하였다. 스마트폰에서 쉽게 접할 수 있는 온도, 조도, 소리, 자이로 센서와 스마트 주얼리의 맥박센서로부터 인식된 값을 입력받아 감성을 인식하고 처리하는 과정은 온톨로지 기반의 추론규칙을 적용하고, 상황정보에서 나타난 감성에 따라 감성 색을 찾고 그 감성 색을 스마트 주얼리의 LED에 적용하였다. 주얼리 착용자의 감정에 따라 스마트 주얼리에 내장된 LED에 결정된 감성 색으로 빛을 냈다.

• 디지털콘텐츠학회 논문지
• /
• 제19권4호
• /
• pp.821-827
• /
• 2018

Affective Computing은 HCI (Human Computer Interaction) 및 건강 관리 분야에서 다양한 애플리케이션이 개발됨에 따라 최근 몇 년 동안 관심이 높아지고 있다. 이에 필수적으로 필요한 인간의 감정 인식에 대한 중요한 연구가 있었지만, 언어 및 표정과 비교하여 심전도 (ECG) 또는 뇌파계 (EEG) 신호와 같은 생리적 신호 분석에 따른 감정 분석에 대한 관심은 적었다. 본 논문에서는 이산 웨이블릿 변환을 이용한 EEG 기반 감정 인식 시스템을 제안하고 감정 관련 정보를 얻기 위해 다른 뇌파와 뇌 영역을 연구 하였으며, 웨이블릿 계수에 기초한 특징 세트가 웨이블릿 에너지 특징과 함께 추출되었다. 중복성을 최소화하고 피처 간의 관련성을 극대화하기 위해 mRMR 알고리즘이 피쳐 선택에 적용된다. 다중클래스 Support Vector Machine을 사용하여 4 가지 종류의 인간 감정을 크게 분류하였으며 공개적으로 이용 가능한 "DEAP"데이터베이스의 뇌파 기록이 실험에서 사용되었다. 제안 된 접근법은 기존의 알고리즘에 비해 향상된 성능을 보여준다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권9호
• /
• pp.267-280
• /
• 2020

거울은 일반적으로 아말감으로 코팅된 물리적 반사 표면으로 거울 앞의 상을 선명하게 반사한다. 이것은 언제 어디서나 사용이 가능하며 사용자의 얼굴이나 외모를 확인하기 위한 필수적인 도구이다. 현대 소프트웨어 기술의 출현으로 사람들은 실시간 처리, Microservice 및 머신 러닝이 적용된 편의성과 지능성을 통해 거울 반사 기능을 향상시킬 수 있다. 본 논문에서는 거울로써 실시간 반영과 동시에 사용자 맞춤 정보 조회, 공공 정보 조회, 외모를 통한 나이와 감정 탐지 등의 기능을 가진 디지털 거울 시스템 개발을 제안한다. 더불어, 본 시스템은 터치 기반, 음성 인식 기반, 제스처 기반의 Multi-Modal 사용자 인터페이스를 제공한다. 본 논문에서는 이 시스템에 대한 디자인을 제시하고 현재 기술을 이용하여 실시간 거울 반영과 동시에 유용한 정보 제공 및 지능형 머신 러닝 기술을 제공하는 구현 방법을 제안한다.