A User Emotion Information Measurement Using Image and Text on Instagram-Based

인스타그램 기반 이미지와 텍스트를 활용한 사용자 감정정보 측정

Abstract

Recently, there are many researches have been studying for analyzing user interests and emotions based on users profiles and diverse information from Social Network Services (SNSs) due to their popularities. However, most of traditional researches are focusing on their researches based on single resource such as text, image, hash tag, and more, in order to obtain what user emotions are. Hence, this paper propose a method for obtaining user emotional information by analyzing texts and images both from Instagram which is one of the well-known image based SNSs. In order to extract emotional information from given images, we firstly apply GRAB-CUT algorithm to retrieve objects from given images. These retrieved objects will be regenerated by their representative colors, and compared with emotional vocabulary table for extracting which vocabularies are the most appropriate for the given images. Afterward, we will extract emotional vocabularies from text information in the comments for the given images, based on frequencies of adjective words. Finally, we will measure WUP similarities between adjective words and emotional words which extracted from the previous step. We believe that it is possible to obtain more precise user emotional information if we analyzed images and texts both time.

1. 서 론

전 세계적으로 소셜 네트워크 서비스(SNS : Social Network Service)의 인기가 높아지면서 사회적인 관심의 대상으로 떠오르고 있으며, 연구 분야에서도 SNS를 활용한 연구가 활발히 진행되고 있다[1,2,3]. 그 중 SNS를 대표하는 트위터(Twitter)나 페이스북(Facebook)을 활용한 감정분석에 대한 연구의 경우 텍스트 기반인 SNS를 활용하여 사용자가 올린 게시물, 이미지, 해쉬태그(Hashtag), 관심사 정보 등 각 요소들 중 하나만을 가지고 감정을 분석하는 연구가 많이 이루어지고 있다. 하지만 앞서 언급한 요소들을 병행하여 감정을 분석하는 연구는 미흡하게 진행되고 있는 실태이다. 최근에는 사용자 각자의 개성과 기호에 따라 특정 관심 분야를 주제로 공유하는 서비스인 버티컬 SNS(Vertical Social Networking Service)가 주요 연구 분야로 떠오르고 있다[13]. 인스타그램(Instagram)은 버티컬 SNS의 종류 중 하나이며, 기존 텍스트 기반의 SNS가 아닌 이미지를 기반으로 한다. 인스타그램을 사용하는 사용자는 일상생활 속에서 발생되는 사건을 사진기나 스마트 디바이스를 통해 촬영하고 이를 자신의 인스타 그램에 게시한다. 게시된 이미지는 인스타그램 내에서 다른 사용자들이 작성한 댓글을 통해 공유되는 감정을 형성한다. 본 논문에서는 인스타그램에서 사용자가 올린 이미지와 이미지에 작성된 댓글 정보를 함께 분석하여 사용자의 감정정보를 측정하는 방법에 대해 제안하고자 한다. 본 논문의 구성은 다음과 같다. 2장에서는 감정을 분석하는 데 있어서 관련된 기존 연구에 대하여 설명한다. 3장에서는 인스타그램을 통해 사용자의 감정정보를 측정하는 전체 구성도와 사용자의 감정정보를 측정하는 방법에 관해 기술 및 실험을 하며, 4장에서는 실험한 결과를 기존 연구의 유사도 측정 방법과 비교 평가한다. 마지막으로 5장에서 결론 및 향후 연구를 제시하며 마무리한다.

 

2. 관련 연구

최근 개인별 특성이 반영된 서비스를 지원하는 개인 맞춤형 시스템에 대한 연구가 활발히 진행되고 있다[4]. 대부분 개인 맞춤형 시스템은 사용자의 개별적인 특성이나, 사용자에게서 수집할 수 있는 자료들을 토대로 데이터를 분석해 이루어지고 있다. 이때 개인 맞춤형 시스템 분야에서 가장 핵심적인 요소라고 할 수 있는 것이 인간의 감정이다. 감정의 사전적인 의미는 ‘어떤 현상이나 일에 대하여 일어나는 마음이나 느끼는 기분’이라고 정의되며, 심리학적으로는 생리적, 심리적, 사회적, 문화적 원인으로 감정이 발생한다고 한다. 인간은 자신의 감정을 표현하기 위해 신체적 또는 텍스트나 시각적인 정보 등 다양한 방법으로 표현한다. 이런 다양한 방법으로 표현된 데이터들을 분석하여 개인의 감정을 측정함으로써 사용자에게 최적화된 서비스를 제공해 줄 수 있다. 인간의 감정을 분석하기 위한 기존 연구에는 심리학 및 색채 분야에서 이미지의 색상을 활용하는 연구들이 있다[5-7]. [5]에서는 사용자의 그림을 히스토그램 클러스터링을 이용해 추출한 색채정보를 활용하여 심리상태를 분석하였고, [6]에서는 감정을 표현하는 색채를 감성형용사 연구를 기반으로 추출하고 색상, 채도, 명도 즉, 3가지 변수들의 상관관계를 분석했으며, 색채의 특성을 분석함으로써 감성에 영향을 주는 요소가 무엇인지 연구하였고, [7]에서는 색채와 감성어휘의 대응관계를 사용자 색체 감성모델로 작성해, 감성검색을 위해 지식베이스를 자동으로 구축하는 방법을 제안했다. 이미지의 색채정보 외에 감정을 분석하는 연구로 사용되는 수단으로는 텍스트 정보가 있다. 텍스트를 분석하는 연구들에는 주로 자연어처리 방법을 활용하여 기존에는 어떠한 제품이나 브랜드에 대한 상품평을 분석하고, 온라인상에서 사용자들의 의견이나 견해 등을 분석하여 긍정과 부정을 판단하는 감성 분석(Sentiment analysis)에 관한 연구가 대부분이었지만, 최근에는 다양한 감정에 대해서도 분석하는 감정 분석(Emotion analysis)의 연구가 활발히 이루어지고 있다. 특히 소셜 미디어의 발전으로 SNS 상의 데이터를 활용하여 감정을 분석한 연구들이 있다. [8]에서는 검색의 편리함을 위해 도입된 기능이기도 하지만, 어떤 특정 주제에 대해 관심과 지지를 드러내는 방식으로 사용되는 해쉬태그를 이용해 감정 분석을 하는데 적용하였고, [9]에서는 SentiWordnet이라는 감성 사전에 기반 하여 트위터의 게시글을 대상으로 감정 분석을 하였으며, [10]에서도 트위터의 게시글을 대상으로 기계학습 모델을 적용하여 감정을 분류하였다. 하지만 기존 연구들에서는 사용자의 감정을 측정하기 위해서 SNS의 한 가지 특징만을 고려하여 사용자의 감정을 분석한다는 문제점을 가진다. 본 논문에서는 기존 연구의 문제점을 해결하기 위해 SNS의 다양한 특징 중 이미지 정보에서 측정된 사용자의 감정과 텍스트 정보에서 측정된 사용자의 감정의 유사도를 측정해 더욱 정확한 사용자의 감정을 측정하는 방법을 제안하고자 한다.

 

3. 사용자 감정정보 측정

3.1 시스템 구성도

본 논문에서는 인스타그램에서 사용자가 게시한 이미지와 이미지에 작성된 댓글을 분석하여 사용자의 감정정보를 측정하기 위한 방법을 제안한다. Fig. 1은 인스타그램을 기반으로 하여 사용자의 감정정보를 측정하기 위한 전체 시스템 구성도이다.

Fig. 1.User emotion information measurement system configuration.

3.2 인스타그램 이미지를 이용한 감정정보 리스트 추출

인스타그램은 기존 텍스트 기반의 SNS가 아닌 이미지 기반의 SNS이며, 이미지를 통해 사람들과 정보와 감정을 공유한다. 본 절에서는 사용자가 게시하는 이미지 내 객체정보를 추출하고 이를 통하여 감정어휘 리스트를 추출하는 방법에 관해 기술한다. 실험에 사용된 데이터는 인스타그램 OpenAPI를 사용해 157개 이미지와 이미지에 작성된 댓글 11,998개를 수집 하였다. 수집된 이미지를 활용하여 사용자의 감정을 측정하기 위해서는 이미지 내 객체의 대표 색상을 추출하고, 이를 통해 감정어휘 테이블과 매칭 해야 한다. 사용자가 게시한 이미지에서 객체를 추출하기 위해선 그랩컷 알고리즘을 이용하여 객체를 추출한다. 그랩컷 알고리즘(GrabCut Algorithm)은 Rother가 제안한 영상분할(Segmentation) 알고리즘 기법 중의 하나이다[11]. 영상분할이란 사용자가 영상에서 선택한 영역 근처를 기반으로 자동으로 경계선을 추출해 주는 것을 말한다.

그랩컷의 입력으로 사용되는 트라이 맵(trimap)은 Table 1의 Grab cut Algorithm 이미지에서 보는 바와 같이 배경에 해당하는 A, 그리고 객체 C를 포함하는 사각영역 B로 구성된다. 사각영역 B에서 객체 C를 추출하기 위해선 배경 A의 정보를 이용해 객체 C와 사각영역 B의 배경을 분리하기 위한 반복적인 알고리즘을 적용함으로써 최적의 객체가 추출된다[17].

Table 1.Instagram Image using Grab cut Algorithm

Table 2는 추출된 객체에서 대표 색상을 추출해주는 과정을 나타낸 것이다. 우선, 추출된 객체가 지니는 Hex Code 값을 구한다. 이때 Hex Code값은 Red(빨강), Green(녹색), Blue(파랑)에 각각 16진수 두 자리를 부여해서 색을 조합하여 여섯 자리의 ‘RRGGBB’의 형태로 숫자를 부여하는 형태이다. 추출된 Hex Code 값에서 색이 차지하는 비율 순으로 상위 5가지로 나타내어 그 중 상위 첫 번째 색상의 베이스 색상을 대표 색상으로 선정한다. 대표 색상이 추출되면 감정어휘 테이블에 매칭 시켜 다음 Table 3의 감정어휘 리스트를 추출한다[12].

Table 2.Representative color extraction using Instagram image

Table 3.Emotional vocabulary list

3.3 인스타그램 댓글을 이용한 감정 형용사 추출

인스타그램의 사용자들은 게시되는 이미지에 대한 자신의 감정이 포함된 의견을 Fig. 2와 같이 댓글로 표현한다. 본 절에서는 수집된 댓글을 통해 감정 형용사를 추출하는 방법에 관해 기술한다.

Fig. 2.Instagram image and text information.

수집된 댓글은 Table 4와 같은 과정을 거쳐서 이미지에 작성된 댓글을 대표하는 감정 형용사를 추출한다.

Table 4.Representative emotional adjective extraction using Instagram text

전처리 과정을 통해 숫자와 기호를 제거하고, POS tagger(Part-of-speech tagging)를 하여 단어의 품사를 분석한다. 품사가 분석된 단어 중 형용사의 품사를 가진 단어만을 추출한다. 추출된 형용사는 빈도수를 측정하여 빈도수가 높은 순으로 내림차순 정렬하여 빈도수가 가장 높은 형용사를 이미지 댓글을 대표하는 감정 형용사로 선정한다. Table 4에서는 최종적으로 ‘cool’이라는 감정 형용사가 추출된다.

 

4. 실험 결과 및 고찰

인스타그램에 게시된 이미지 정보에서 얻은 감정어휘 리스트와 이미지에 작성된 댓글 정보를 통해 대표 감정 형용사와의 유사도 관계를 측정하여 최종적으로 사용자의 감정정보를 정의한다. 본 연구에서는 기존 [18]의 유사도 측정방법에서 사용된 Path Length 유사도 측정 방법과 WUP(Wu&Palmer) 유사도 측정 방법을 비교 평가하는 실험을 하였다. 워드넷이란 특정 단어에 대한 정의와 동시에 동의어, 유의어, 반의어 등과 같은 정보를 제공하며, 단어의 개념을 바탕으로 단어 사이의 의미적인 관계를 나타낸다[14]. 다음 식 (1)은 Path Length 유사도 측정 수식이며, 식 (2)는 WUP 유사도 측정 수식이다.

식 (1)과 (2)의 A는 감정어휘 리스트 내의 어휘를 뜻하며, B는 대표로 선정된 감정 형용사를 뜻한다. 식 (1)은 Path Length 유사도를 이용하여 단어 사이의 최단 경로를 고려하는 방법을 통해 유사도 값을 측정하는 방법이다[15]. Path Length는 두 단어의 최단 경로를 의미한다. 식 (2)는 WUP 유사도를 이용하여 단어 간의 의미적 유사도를 측정하는 방법이다[16]. 워드넷에서는 두 단어가 공유하는 정보량을 표현할 수 있고, WUP 유사도는 각각의 단어가 가진 개념에 대한 값들의 합에서 공통적으로 공유되고 있는 정보량의 비율로 측정할 수 있다. LCS는 두 단어가 공통적으로 가지는 개념의 깊이를 의미한다. Table 5는 Table 2를 각각 Path Length, WUP을 적용하여 유사도를 측정한 값을 나타낸다. 또한 두 식의 최솟값은 0, 최댓값은 1, 오류 값은 –1로 나타내어진다. Table 5에서 볼 수 있듯이 WUP 유사도 측정 방법이 기존 [18]에서의 Path Length 유사도 측정방법 보다 더욱 높은 유사도 값을 측정 할 수 있음을 확인하였다. 이는 WUP 유사도 측정 방법은 LCS의 깊이와 함께 워드넷 분류 체계의 두 단어의 깊이를 고려하기 때문에 두 단어 사이의 경로의 길이만을 측정 하는 Path Length 유사도 방법 보다 더욱 좋은 유사도 값을 측정 할 수 있었다. 따라서 본 논문에서는 성능이 Path Length 보다 우수하다고 판단되는 WUP 유사도 측정방법을 가지고 단어 사이의 유사도를 측정하였다.

Table 5.Similarity measurement between Emotional vocabulary list and Emotional adjective

첫 번째 자동차의 이미지에서는 Blue라는 대표색상의 감정어휘 리스트 중 ‘calm’이라는 단어와 감정 형용사 ‘cool’과의 유사도가 가장 높게 측정되었음을 알 수 있었다. ‘cool’과 ‘calm’은 공통적으로 차분함이라는 의미를 지니고 있다. 이에 따라, 인스타그램에 게시된 이미지에 내포된 사용자의 감정은 차분한 감정이라 정의할 수 있으며, 두 번째 쿠키의 이미지에서는 ‘classic-good’ 이 유사도 측정값이 가장 높게 나왔으며, 최고 좋은 이라는 감정이 내포되어 있다고 정의할 수 있으며, 마지막 백조의 이미지에서의 유사도가 가장 높게 측정된 ‘open-nice’ 에서는 마음가짐이 열려있는 아주 좋고 평화로운 상태임을 정의할 수 있다. 이를 통해 사용자의 감정을 정의함에 있어 이미지만을 분석했을 때 보다 이미지와 텍스트를 함께 분석했을 때 더욱 정확한 사용자의 감정을 예측할 수 있었다.

 

5. 결 론

본 논문에서는 이미지 기반의 버티컬 SNS의 한 종류인 인스타그램을 활용하여 사용자의 감정정보를 측정하기 위한 방법을 제안하였다. 감정정보를 측정하기 위해 사용된 정보로는 사용자가 인스타그램에 올린 이미지 정보에서 그랩컷 알고리즘을 사용하여 추출한 객체의 대표 색상을 통해 추출된 감정어휘리스트와 그 이미지에 따른 댓글 정보들을 수집한 댓글을 이용한 감정 형용사가 사용되었다. 제안하는 방법으로 인스타그램의 이미지와 댓글들을 한 쌍으로 두었을 때 157쌍을 WUP 유사도 측정 방법으로 실험을 한 결과 71.62%의 사용자의 감정을 추출할 수 있음을 확인하였다. 또한, 이미지만을 분석했을 때 보다 이미지와 텍스트를 함께 분석했을 때 더욱 정확한 사용자의 감정을 예측할 수 있었다. 앞서 언급한 이미지를 이용한 감정어휘 리스트와 텍스트를 이용한 감정 형용사를 이용해 사용자의 감정정보를 측정함으로써 개인 맞춤형 시스템 또는 추천 서비스 등 다양한 분야에 적용이 가능할 것으로 예상된다. 예를 들어 개인의 감정에 따른 실내의 조명들이 실시간으로 변화하는 시스템이나 SNS 내에서 사용자들의 감정을 이용하는 감성마케팅, 영화 혹은 음악 등 사용자 기반의 콘텐츠를 추천하는 서비스 등에 응용하는 방법을 연구 발전시켜야 한다. 또한, 향후 연구에서는 본 연구에서 제시한 텍스트를 이용한 감정어휘의 추출에서 감정 형용사만을 가지고 연구하였으나, 감정을 표현할 수 있는 이모티콘이나 기호 등을 포함한다면 보다 정확한 감정정보를 추출할 수 있을 것이다. 이미지를 이용한 감정어휘 리스트를 추출하는데 있어서도 이미지에서 색상 값만 추출하는 것이 아니라, 명도, 채도 등 이미지에서 얻을 수 있는 다양한 값을 포함하여 확장된 연구로 이어져야 할 것이다.