Objectives: Both the valence and arousal components of affect are important considerations when managing mental healthcare because they are associated with affective and physiological responses. Research on arousal and valence analysis, which uses images, texts, and physiological signals that employ deep learning, is actively underway; research investigating how to improve the recognition rate is needed. The goal of this research was to design a deep learning framework and model to classify arousal and valence, indicating positive and negative degrees of emotion as high or low. Methods: The proposed arousal and valence classification model to analyze the affective state was tested using data from 40 channels provided by a dataset for emotion analysis using electrocardiography (EEG), physiological, and video signals (the DEAP dataset). Experiments were based on 10 selected featured central and peripheral nervous system data points, using long short-term memory (LSTM) as a deep learning method. Results: The arousal and valence were classified and visualized on a two-dimensional coordinate plane. Profiles were designed depending on the number of hidden layers, nodes, and hyperparameters according to the error rate. The experimental results show an arousal and valence classification model accuracy of 74.65 and 78%, respectively. The proposed model performed better than previous other models. Conclusions: The proposed model appears to be effective in analyzing arousal and valence; specifically, it is expected that affective analysis using physiological signals based on LSTM will be possible without manual feature extraction. In a future study, the classification model will be adopted in mental healthcare management systems.
이 연구의 목적은 한글로 된 주요감정단어들의 리스트를 대상으로 의미적 관계의 네트워크와 극성과 각성의 범주를 분석하는데 있다. 분석결과는 다음과 같다. 첫째, 감정단어 네트워크에서 각 감정단어들은 의미적으로 연결되어 있었다. 이것은 의미적 유사성에 따라 감정단어들의 유형을 구분하는 것을 어렵게 하는 특징이다. 대신에 의미적 관계의 감정단어 네트워크에서 중심적인 역할을 수행하는 감정단어들을 확인할 수 있었다. 둘째, 극성과 각성의 차원을 혼합한 범주에서, 많은 감정단어들은 부정적인 극성과 높은 각성의 단어들 집단과 부정적인 극성과 중간수준 각성의 단어들 집단으로 분류되었다. 이러한 한글감정단어의 특성들은 도서관이나 문헌정보에 나타나는 각종 텍스트 데이터의 감정분석에 유용하게 활용될 것이다.
This paper presents a statistical analysis method for the selection of electroencephalogram (EEG) electrode positions and spectral features to recognize emotion, where emotional valence and arousal are classified into three and two levels, respectively. Ten experiments for a subject were performed under three categorized IAPS (International Affective Picture System) pictures, i.e., high valence and high arousal, medium valence and low arousal, and low valence and high arousal. The electroencephalogram was recorded from 12 sites according to the international 10~20 system referenced to Cz. The statistical analysis approach using ANOVA with Tukey's HSD is employed to identify statistically significant EEG electrode positions and spectral features in the emotion recognition.
본 연구의 목적은 다른 음역대의 목소리로 노래한 음악(고음역대, 저음역대)과 불려진 음악이 조성적으로 다른 경우(장조/단조) 감상자가 경험하는 정서적 반응에 차이가 있는지를 살펴보았다. 음악은 첫째 옥타브 차이를 두고 높은 음역대와 낮은 음역대의 가창 영역과 둘째, 조성적 변인을 통제하기 위해 장조와 단조를 사용한 총 네 가지 음원을 사용하였다. 총 188명의 여성 대학생들이 온라인 설문으로 참여하였으며 시각아날로그척도(Visual Analogue Scale)을 사용하여 지각한 정서가와 각성 수준을 기록하였다. 수집된 자료는 two-way analysis of variance(ANOVA)를 이용하여 분석하였다. 분석 결과 두 음역대 간의 유의미한 정서 반응 차이를 보여주었으며 정서가(valence)보다는 각성 수준(arousal level)에 더 많은 차이를 보여주었다. 둘째, 조성 또한 정서가와 각성 수준에 영향을 미쳤으나 두 정서 변인 중에서는 정서가에 더욱 큰 차이를 보였다. 또한 교호작용을 분석한 결과 음역대와 조성의 상호작용이 정서가에게는 큰 영향을 미치지만 각성에는 영향을 미치지 않는다는 것을 보여주었다. 더 나아가 감상자들이 단조 음악의 높은 음역대 조건에서 가장 부정적인 정서가를 보여주였고 단조 음악의 낮은 음역대 조건에서는 가장 낮은 각성 반응을 보여주었다. 이러한 결과는 음악 감상시 그 음악의 음역대와 조성을 고려해서 선곡해야 함을 암시한다.
This paper proposes an emotion classifier from EEG signals based on Bayes' theorem and a machine learning using a perceptron convergence algorithm. The emotions are represented on the valence and arousal dimensions. The fast Fourier transform spectrum analysis is used to extract features from the EEG signals. To verify the proposed method, we use an open database for emotion analysis using physiological signal (DEAP) and compare it with C-SVC which is one of the support vector machines. An emotion is defined as two-level class and three-level class in both valence and arousal dimensions. For the two-level class case, the accuracy of the valence and arousal estimation is 67% and 66%, respectively. For the three-level class case, the accuracy is 53% and 51%, respectively. Compared with the best case of the C-SVC, the proposed classifier gave 4% and 8% more accurate estimations of valence and arousal for the two-level class. In estimation of three-level class, the proposed method showed a similar performance to the best case of the C-SVC.
본 연구에서는 공개된 뇌파 데이터인 DEAP(A Database for Emotion Analysis using Physiological Signals) 데이터 세트를 활용한 감정분류 분석 및 정확도 향상에 대한 실험을 진행하였다. 실험에는 32명에 대한 32개의 뇌파측정 채널 데이터가 모두 사용되었다. 전처리과정에서는 뇌파 데이터에 대한 256Hz 샘플링작업을 진행하였고, 유한 임펄스 응답 필터를 사용하여 주파수 대역별로 쎄타(4-8Hz), 슬로 알파(8-10Hz), 알파(8-12Hz), 베타(12-30Hz), 감마(31-45Hz) 파형에 대한 데이터를 추출하였다. 추출한 데이터는 시간-주파수 변형을 통하여 데이터의 상태를 구분한 후에, 독립성분분석방법을 통해 잡음(Artifact)을 제거하여 데이터를 정제했다. 도출된 데이터는 분류기 기계학습 알고리즘 실험을 시행할 수 있도록 CSV 파일로 변형 하였으며, 감정분류에는 Arousal-Valence 평면을 사용하였다. 감정은 "긍정적(Positive)", "부정적(Negative)" 이외에 평온한 상태로 존재하는 "중립적(Neutral)"의 3가지 상태로 분류하였다. 정확도를 개선하기 위해서 랜덤 포레스트(Random Forest) 알고리즘에 속성 선택적 분류기(Attribute Selected Classifier: ASC) 방식에 의해 선택된 속성을 적용하여 실험하였다. 정확도는 "각성(Arousal)" 부분에서 Koelstra의 결과보다 "32.48%" 높은 결과가 도출되었고, Liu의 실험의 "정서가(Valence)"와 비교해보면 ASC(Random Forest) 결과가 "8.13%" 더 높은 결과를 도출하였다. 정확도를 개선하기 위해 ASC 방식을 적용한 랜덤 포레스트 분류기 실험결과에서는 전체평균을 기준으로 기존 연구 결과와 대비하여 "2.68%" 높은 정확도가 도출되었다.
The International Affective Picture System (IAPS) developed by Lang and colleagues[1] is widely used in studies relating a variety of physiological indices to subjective emotions. In this study we investigated whether the IAPS can be used for Koreans without significant cultural biases in their subjective emotional reactions. Thirty IAPS picture slides were presented to a group of 52 college students and different 30 slides with similar 3 dimensional emotion ratings to another group of 42 students. Fof each slieds with exposal time of 8sec, subjects were asked to rate on the Semantic Differential Scale (SDS) and Self-Assessment Manikin (SAM) in the 3 dimensions of pleasure valence, arousal, and domensions of pleasure valence, arousal, and dominance. Fnctor analysis was done for SDS ratings, and correlations of SDS and SAM were calculated. Eighteen bipolar adjective were grouped into 3 dimensions of pleasure, arousal, dominance showing good agreement with previous study. SAM were calculated. Eighteen bipolar adjectives were grouped into 3 dimensions of pleasure, arousal, dominance showing good agreement with the previous study. SAM ratings were highly corrlated with two of the 6 SDS adjective pairs associated with the pleasure and dominance dimensions, but not with those associated with arousal dimension suggerting some cultural differences.
오피니언 마이닝과 정서 분석에 대한 기존 연구에서는 정서 단어에 부정어를 붙일 경우 긍정, 부정의 극성과 값이 뒤바뀐다고 가정하고 부정어를 처리하였다. 그러나 지금까지 정서 단어에 부정어가 발생했을 때 극성이 어느 정도 바뀌는지에 대한 정량적 연구는 없었다. 따라서 본 논문에서는 한국어 정서 단어와 그 부정형에 대해서 정서가와 각성 차원을 측정하였다. 결과, 정서 단어에 부정형이 올 경우 정서가와 각성 차원의 중간 수준을 기준으로 극성을 뒤바꾸고 값은 약 30~50% 약화되었다. 이 결과를 오피니언 마이닝과 정서 분석 연구에서 부정어를 처리하는 기준으로 제시하였다.
폭소노미 (foxonomy) 분위기 태그를 이용한 음악 검색 시 내부적으로 단어 태그 대신에 수치 태그 (AV 태그: Arousal과 Valence 값으로 이루어진 태그)를 이용하면 폭소노미의 문제점 중의 하나인 유사어 문제점을 일부 해결할 수 있다. 하지만 이를 위해서는 두 가지 선행 작업이 제대로 이루어져야 하는데, 그 첫 번째가 단어 태그를 수치 태그로 변환하는 작업이며 그 두 번째가 검색 대상인 음악을 수치 태그로 표현하는 작업이다. 첫 번째 작업에 대해서는 이전 연구를 통하여 그 유의성을 보였기 때문에 본 논문에서는 두 번째 작업에 대해서 그 유의성을 밝히고자 하였다. 이를 위하여 본 논문에서는 음악과 AV값 간의 관계를 정의하는 음악-분위기 매핑테이블을 제안하고, ANOVA 검증을 이용하여 분석 하였다. 실험 결과, 동의어 포함 유무에 무관하게 음악 구간의 A값과 V값 모두 12개 음악의 분위기에 대하여 분포차가 발생하고, 모두 제 1종 오류확률 P<0.001를 만족하였다. 결론적으로 음악의 분위기에 따라 AV 값 분포가 다르다는 것을 확인할 수 있었다.
감정을 분류하는 대표적인 알고리즘에는 Support-vector-machine (SVM), Bayesian decision rule 등이 있다. 하지만 기존의 연구자들은 위와 같은 방법에는 문제점이 있다고 지적하였다. 이를 보완하기 위해 다른 연구자는 경사도를 이용하여 새로운 패턴인식 알고리즘을 제안하였다. 본 논문에서는 이 알고리즘을 통해 새로운 EEG 기반의 감정 인식 알고리즘을 제안하고 기존의 연구와 비교한다. 본 논문에서는 신뢰도 높은 자료를 얻기 위해 여러 논문에서 사용된 DEAP (a database for emotion analysis using physiological signals)를 사용하였다. 또한, 객관적인 검증을 위해 기존의 연구에서 사용된 4개의 뇌파 채널(Fz, Fp2, F3, F4)의 PSD (Power Spectral Density)를 특징으로 사용하여 감정의 2개 척도 (Arousal, Valence)를 분류하였다. 본 논문에서 실시한 교차검증 (4-fold)에 의하면 Valence 축에서 85%, Arousal 축에서 87.5의 정확도를 얻을 수 있었다.
본 웹사이트에 게시된 이메일 주소가 전자우편 수집 프로그램이나
그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며,
이를 위반시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.
[게시일 2004년 10월 1일]
이용약관
제 1 장 총칙
제 1 조 (목적)
이 이용약관은 KoreaScience 홈페이지(이하 “당 사이트”)에서 제공하는 인터넷 서비스(이하 '서비스')의 가입조건 및 이용에 관한 제반 사항과 기타 필요한 사항을 구체적으로 규정함을 목적으로 합니다.
제 2 조 (용어의 정의)
① "이용자"라 함은 당 사이트에 접속하여 이 약관에 따라 당 사이트가 제공하는 서비스를 받는 회원 및 비회원을
말합니다.
② "회원"이라 함은 서비스를 이용하기 위하여 당 사이트에 개인정보를 제공하여 아이디(ID)와 비밀번호를 부여
받은 자를 말합니다.
③ "회원 아이디(ID)"라 함은 회원의 식별 및 서비스 이용을 위하여 자신이 선정한 문자 및 숫자의 조합을
말합니다.
④ "비밀번호(패스워드)"라 함은 회원이 자신의 비밀보호를 위하여 선정한 문자 및 숫자의 조합을 말합니다.
제 3 조 (이용약관의 효력 및 변경)
① 이 약관은 당 사이트에 게시하거나 기타의 방법으로 회원에게 공지함으로써 효력이 발생합니다.
② 당 사이트는 이 약관을 개정할 경우에 적용일자 및 개정사유를 명시하여 현행 약관과 함께 당 사이트의
초기화면에 그 적용일자 7일 이전부터 적용일자 전일까지 공지합니다. 다만, 회원에게 불리하게 약관내용을
변경하는 경우에는 최소한 30일 이상의 사전 유예기간을 두고 공지합니다. 이 경우 당 사이트는 개정 전
내용과 개정 후 내용을 명확하게 비교하여 이용자가 알기 쉽도록 표시합니다.
제 4 조(약관 외 준칙)
① 이 약관은 당 사이트가 제공하는 서비스에 관한 이용안내와 함께 적용됩니다.
② 이 약관에 명시되지 아니한 사항은 관계법령의 규정이 적용됩니다.
제 2 장 이용계약의 체결
제 5 조 (이용계약의 성립 등)
① 이용계약은 이용고객이 당 사이트가 정한 약관에 「동의합니다」를 선택하고, 당 사이트가 정한
온라인신청양식을 작성하여 서비스 이용을 신청한 후, 당 사이트가 이를 승낙함으로써 성립합니다.
② 제1항의 승낙은 당 사이트가 제공하는 과학기술정보검색, 맞춤정보, 서지정보 등 다른 서비스의 이용승낙을
포함합니다.
제 6 조 (회원가입)
서비스를 이용하고자 하는 고객은 당 사이트에서 정한 회원가입양식에 개인정보를 기재하여 가입을 하여야 합니다.
제 7 조 (개인정보의 보호 및 사용)
당 사이트는 관계법령이 정하는 바에 따라 회원 등록정보를 포함한 회원의 개인정보를 보호하기 위해 노력합니다. 회원 개인정보의 보호 및 사용에 대해서는 관련법령 및 당 사이트의 개인정보 보호정책이 적용됩니다.
제 8 조 (이용 신청의 승낙과 제한)
① 당 사이트는 제6조의 규정에 의한 이용신청고객에 대하여 서비스 이용을 승낙합니다.
② 당 사이트는 아래사항에 해당하는 경우에 대해서 승낙하지 아니 합니다.
- 이용계약 신청서의 내용을 허위로 기재한 경우
- 기타 규정한 제반사항을 위반하며 신청하는 경우
제 9 조 (회원 ID 부여 및 변경 등)
① 당 사이트는 이용고객에 대하여 약관에 정하는 바에 따라 자신이 선정한 회원 ID를 부여합니다.
② 회원 ID는 원칙적으로 변경이 불가하며 부득이한 사유로 인하여 변경 하고자 하는 경우에는 해당 ID를
해지하고 재가입해야 합니다.
③ 기타 회원 개인정보 관리 및 변경 등에 관한 사항은 서비스별 안내에 정하는 바에 의합니다.
제 3 장 계약 당사자의 의무
제 10 조 (KISTI의 의무)
① 당 사이트는 이용고객이 희망한 서비스 제공 개시일에 특별한 사정이 없는 한 서비스를 이용할 수 있도록
하여야 합니다.
② 당 사이트는 개인정보 보호를 위해 보안시스템을 구축하며 개인정보 보호정책을 공시하고 준수합니다.
③ 당 사이트는 회원으로부터 제기되는 의견이나 불만이 정당하다고 객관적으로 인정될 경우에는 적절한 절차를
거쳐 즉시 처리하여야 합니다. 다만, 즉시 처리가 곤란한 경우는 회원에게 그 사유와 처리일정을 통보하여야
합니다.
제 11 조 (회원의 의무)
① 이용자는 회원가입 신청 또는 회원정보 변경 시 실명으로 모든 사항을 사실에 근거하여 작성하여야 하며,
허위 또는 타인의 정보를 등록할 경우 일체의 권리를 주장할 수 없습니다.
② 당 사이트가 관계법령 및 개인정보 보호정책에 의거하여 그 책임을 지는 경우를 제외하고 회원에게 부여된
ID의 비밀번호 관리소홀, 부정사용에 의하여 발생하는 모든 결과에 대한 책임은 회원에게 있습니다.
③ 회원은 당 사이트 및 제 3자의 지적 재산권을 침해해서는 안 됩니다.
제 4 장 서비스의 이용
제 12 조 (서비스 이용 시간)
① 서비스 이용은 당 사이트의 업무상 또는 기술상 특별한 지장이 없는 한 연중무휴, 1일 24시간 운영을
원칙으로 합니다. 단, 당 사이트는 시스템 정기점검, 증설 및 교체를 위해 당 사이트가 정한 날이나 시간에
서비스를 일시 중단할 수 있으며, 예정되어 있는 작업으로 인한 서비스 일시중단은 당 사이트 홈페이지를
통해 사전에 공지합니다.
② 당 사이트는 서비스를 특정범위로 분할하여 각 범위별로 이용가능시간을 별도로 지정할 수 있습니다. 다만
이 경우 그 내용을 공지합니다.
제 13 조 (홈페이지 저작권)
① NDSL에서 제공하는 모든 저작물의 저작권은 원저작자에게 있으며, KISTI는 복제/배포/전송권을 확보하고
있습니다.
② NDSL에서 제공하는 콘텐츠를 상업적 및 기타 영리목적으로 복제/배포/전송할 경우 사전에 KISTI의 허락을
받아야 합니다.
③ NDSL에서 제공하는 콘텐츠를 보도, 비평, 교육, 연구 등을 위하여 정당한 범위 안에서 공정한 관행에
합치되게 인용할 수 있습니다.
④ NDSL에서 제공하는 콘텐츠를 무단 복제, 전송, 배포 기타 저작권법에 위반되는 방법으로 이용할 경우
저작권법 제136조에 따라 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처해질 수 있습니다.
제 14 조 (유료서비스)
① 당 사이트 및 협력기관이 정한 유료서비스(원문복사 등)는 별도로 정해진 바에 따르며, 변경사항은 시행 전에
당 사이트 홈페이지를 통하여 회원에게 공지합니다.
② 유료서비스를 이용하려는 회원은 정해진 요금체계에 따라 요금을 납부해야 합니다.
제 5 장 계약 해지 및 이용 제한
제 15 조 (계약 해지)
회원이 이용계약을 해지하고자 하는 때에는 [가입해지] 메뉴를 이용해 직접 해지해야 합니다.
제 16 조 (서비스 이용제한)
① 당 사이트는 회원이 서비스 이용내용에 있어서 본 약관 제 11조 내용을 위반하거나, 다음 각 호에 해당하는
경우 서비스 이용을 제한할 수 있습니다.
- 2년 이상 서비스를 이용한 적이 없는 경우
- 기타 정상적인 서비스 운영에 방해가 될 경우
② 상기 이용제한 규정에 따라 서비스를 이용하는 회원에게 서비스 이용에 대하여 별도 공지 없이 서비스 이용의
일시정지, 이용계약 해지 할 수 있습니다.
제 17 조 (전자우편주소 수집 금지)
회원은 전자우편주소 추출기 등을 이용하여 전자우편주소를 수집 또는 제3자에게 제공할 수 없습니다.
제 6 장 손해배상 및 기타사항
제 18 조 (손해배상)
당 사이트는 무료로 제공되는 서비스와 관련하여 회원에게 어떠한 손해가 발생하더라도 당 사이트가 고의 또는 과실로 인한 손해발생을 제외하고는 이에 대하여 책임을 부담하지 아니합니다.
제 19 조 (관할 법원)
서비스 이용으로 발생한 분쟁에 대해 소송이 제기되는 경우 민사 소송법상의 관할 법원에 제기합니다.
[부 칙]
1. (시행일) 이 약관은 2016년 9월 5일부터 적용되며, 종전 약관은 본 약관으로 대체되며, 개정된 약관의 적용일 이전 가입자도 개정된 약관의 적용을 받습니다.