Multicriteria Movie Recommendation Model Combining Aspect-based Sentiment Classification Using BERT

Abstract

본 논문에서는 영화 추천 시 평점뿐 아니라 사용자 리뷰도 함께 사용하는 영화 추천 모형을 제안한다. 제안 모형은 고객의 선호도를 다기준 관점에서 이해하기 위해, 사용자 리뷰에 속성기반 감성분석을 적용하도록 설계되었다. 이를 위해, 제안 모형은 고객이 남긴 리뷰를 다기준 속성별로 나누어 암시적 속성을 파악하고, BERT를 통해 이를 감성 분석함으로써 각 사용자가 중요시 생각하는 속성을 선별적으로 협업필터링에 결합하여 추천 결과를 생성한다. 본 연구에서는 유용성을 검증하기 위해 제안모형을 실제 영화 추천 사례에 적용해 보았다. 실험결과 전통적인 협업필터링 보다 제안 모형의 추천 정확도가 향상되는 것을 확인할 수 있었다. 본 연구는 개인의 특성을 고려하여 모형을 선별하여 사용하는 새로운 접근법을 제시하였고, 속성 각각에 대한 평가 없이 리뷰로부터 여러 속성을 파악할 수 있는 방법을 제시했다는 측면에서 학술적, 실무적 의의가 있다.

In this paper, we propose a movie recommendation model that uses the users' ratings as well as their reviews. To understand the user's preference from multicriteria perspectives, the proposed model is designed to apply attribute-based sentiment analysis to the reviews. For doing this, it divides the reviews left by customers into multicriteria components according to its implicit attributes, and applies BERT-based sentiment analysis to each of them. After that, our model selectively combines the attributes that each user considers important to CF to generate recommendation results. To validate usefulness of the proposed model, we applied it to the real-world movie recommendation case. Experimental results showed that the accuracy of the proposed model was improved compared to the traditional CF. This study has academic and practical significance since it presents a new approach to select and use models in consideration of individual characteristics, and to derive various attributes from a review instead of evaluating each of them.

I. Introduction

코로나19 사태로 비대면 거래에 대한 선호가 높아지면서, 최근 온라인 상거래 규모가 증가하고 있다. 특히 오프라인 거래 위주였던 서비스 분야에까지 온라인 구매를 선호하는 소비자가 증가하는 추세이다. 이처럼 온라인 거래가 증가하면서 수많은 데이터들이 쏟아지는 가운데, 고객들은 자신의 선호에 맞는 상품을 선택하기 위해 기업이 제공하는 정보와 더불어 다른 사용자들이 남긴 상품 평점과 함께 리뷰를 통하여 해당 상품을 평가하고, 구매 여부를 결정한다. 그러나 고객들이 지나치게 많은 양의 리뷰 데이터를 모두 읽어보는 것은 불가능하기 때문에 개인의 선호에 맞는 정보를 추천하여 소비자들이 이를 활용하여 구매 의사결정에 도움을 받을 수 있는 추천시스템의 중요성이 점차 커지고 있다[1].

추천시스템을 구현하기 위한 기술 중 협업필터링 (Collaborative Filtering)은 사용자들에게 알맞은 제품을 추천하기 위해 각 소비자의 평점 정보를 활용하여 패턴이 비슷한 소비자를 하나의 집단으로 보고 그 집단에 속한 소비자들의 취향을 활용하는 방법이다. 협업필터링은 적용이용이 하고 고객 선호도 파악에 효과적이라는 장점 때문에 다양한 연구에서 활용되고 있다. 하지만 기존의 협업 필터링은 상품에 대한 평점 혹은 구매 여부와 같은 정량적인 정보들만 활용한 경우가 대부분인데, 정량적인 정보는 수리적으로 처리하기 쉬운 장점이 있지만 과연 이러한 정보들이 과연 고객의 선호 체계를 정확히 대표할 수 있는지에 대한 의문이 제기되고 있다[1-3].

이러한 점을 극복하고자 정량 데이터인 최근에는 평점 데이터와 함께 정성 데이터인 리뷰 데이터를 활용하여 감성 분석을 통해 추천시스템의 성능을 향상시키는 모형을 제안하는 연구도 진행되고 있다[1-6]. 일반적인 감성 분석은 글이 전반적으로 ‘긍정’ 인지 ‘부정’ 인지에 대해서만 분석하고 리뷰에 담긴 속성은 구분하지 않는 것에 비해, 속성 기반 감성분석(ABSA, Aspect-Based Sentiment Analysis)은 ‘배우’, ‘연출’, ‘스토리’ 등과 같은 다양한 속성에 대한 감성을 정교하게 분석한다. ABSA 중 속성 카테고리 감성분석(ACSC, Aspect Category Sentiment Classification)은 글에 나타난 명시적 속성뿐만 아니라 암시적 속성에 대한 감성을 분석할 수 있는데 이를 활용하게 되면 기업 측면에서는 구체화된 마케팅 전략을 수립할 수 있고, 소비자 측면에서는 더욱 개인화된 추천을 제공받음으로써 만족도를 높일 수 있다[7].

본 연구에서는 고객이 남긴 영화 리뷰 데이터를 배우, 연출, 각본(스토리)의 3가지 속성으로 구분하여 BERT를 활용한 속성별 감성분석을 진행하고, 개별 특정 속성에 집중하여 사용자가 어떤 선호 체계를 가지고 있는지 파악하여 속성별 감성분석을 사용자의 특성에 맞게 적용할 수 있는 영화 추천 모형을 제안하고자 한다.

이후 본 논문의 구성은 다음과 같다. 2장에서는 제안 모델의 이론적 배경인 BERT와 협업필터링, 속성 기반 감성 분석의 기본 개념과 감성분석을 활용한 추천시스템을 살펴보고, 3장에서는 본 연구에서 제안하는 모델을 상세히 설명한다. 4장에서는 제안 모델을 검증하기 위한 평가 방법과 실험 결과를 제시한다. 마지막으로 5장에서는 본 연구의 결론과 한계점 등에 대해 논의한다.

II. Preliminaries

1. BERT (Bidirectional Encoder Representations for Transformers)

BERT는 2018년 Google에서 개발된 딥러닝 모델로 최근 다양한 자연어 처리 분야에서 우수한 성능을 보이고 있다. BERT는 트랜스포머(Transformer)에 기반한 모델로, 사전 학습 후 목적에 맞는 미세조정(Fine-Tuning)을 거쳐 여러 자연어 처리 문제에 적용한다. BERT는 양방향 (bidirectional) 구조로 작동하기 때문에 자연어 처리 작업의 성능을 개선하는 강력한 시퀀스 표현을 제공한다[8].

BERT의 사전 학습 방식인 MLM(Masked Language Model)은 마스킹 된 단어의 좌우 문맥을 통해 양방향으로 풍부한 정보를 학습하기 때문에 이전 연구보다 더 높은 정확도를 보인다. 또한 BERT는 속성 기반 감성분석 같은 작업을 할 때, 사후 학습이라 불리는 추가적인 학습을 통해 기존 기계학습 모델보다 뛰어난 성능을 보인다[9].

BERT에는 12개의 트랜스포머 블록을 사용하는 BERT-Base, 24개의 트랜스포머 블록을 사용하는 BERT-Large 이렇게 두 가지 파라미터 설정이 가능한데 본 연구에서는 BERT-Base 모델을 사용한다.

2. Collaborative Filtering

추천시스템은 선호도 또는 사용자에 의해 평가된 아이템에 대한 평점을 예측하는 정보 필터링 시스템이다. 추천시스템의 목표는 사용자가 관심을 가질 아이템에 대해 유용하고 분별 있는 추천을 해주는 것이다[10]. 추천시스템을 기술적으로 구현하는 기법으로는 크게 내용 기반 추천 (Content-based Recommendation)과 협업필터링이 있다. 이 중, 내용 기반 추천시스템은 아이템의 속성을 분석하여 사용자가 기존에 선호했던 아이템과 유사한 아이템을 추천하는 방식이다. 반면 협업필터링은 고객의 상품 선호도 데이터에 기반하여 목표 고객과 유사한 고객이 선호한 아이템을 해당 고객에게 추천한다. 고객의 구매 데이터를 기반으로 고객 간의 유사도를 계산하고, 구매하지 않은 아이템에 대한 선호도를 예측한다. 협업필터링은 크게 두 가지로 나눌 수 있는데, 메모리 기반(Memory-based) 협업 필터링과 모델(Model-based CF) 기반 협업 필터링으로 나눠진다. 메모리 기반 협업필터링은 사용자와 아이템에 대한 행동을 활용하여 사용자-아이템 간의 관계를 계산하는 방법이고, 모델 기반 협업필터링은 베이즈 네트워크 (Baysian Network)나 인공신경망 등 다양한 기계학습 기법을 통해 추천을 진행하는 방법이다[10].

협업필터링의 성능을 향상시키기 위해 사용자의 구매 여부, 제품에 대한 평점, 검색 패턴 등의 연구가 많이 이루어졌는데, 그 중 사용자의 선호를 나타내는 대표적인 지표로써 평점 데이터를 사용해왔다[1-6][11-12]. 하지만 평점이 높더라도 리뷰에서의 만족도가 낮게 나타나는 경우가 있는데, 평점만을 이용한 협업필터링의 경우 이러한 부분을 반영하지 못한다는 한계가 있다[1].

3. ABSA(Aspect-Based Sentiment Analysis)

일반적인 감성분석은 글의 전반적인 감성이 ‘긍정’인지 ‘부정’인지에 대해서만 평가하지만, 속성 기반 감성분석 (ABSA, Aspect-Based Sentiment Analysis)은 ‘스토리’, ‘연출’, ‘배우’ 등과 같은 다양한 속성에 대한 감성을 정교하게 분석한다. 따라서 ABSA는 일반적인 감성분석에 비해 기업 측면에서는 구체화된 마케팅 전략 수립에 대한 도움을 줄 수 있고, 소비자 측면에서는 더욱 개인화된 추천 서비스를 제공받음으로써 만족도를 높일 수 있다.

ABSA에는 속성어 추출, 속성어 카테고리 감지, 속성어감성 분류(ATSC, Aspect Term Sentiment Classification), 속성 카테고리 감성분류(ACSC, Aspect Category Sentiment Classification)의 네 가지 주요 영역이 존재한다[13]. 이 중 속성어 추출 및 속성어 카테고리 감지의 경우, 예를 들면 ‘시나리오’는 ‘스토리’, ‘감독’은 ‘연출’이라는 속성 카테고리에 대한 속성어가 된다. 이처럼 구체적인 속성어에 의해 언급되는 속성 카테고리를 명시적 속성이라고 하고, 구체적인 속성어는 없지만 ‘잘생겼다’, ‘예쁘다’와 같은 감성어로 간접적 추측을 할 수 있는 카테고리를 암시적 속성이라고 한다[14]. 이러한 암시적 속성은 리뷰 데이터에 많이 나타나는데, 문장에 포함되어있는 암시적 속성에 대한 분석은 감성분석의 성능을 향상시킨다[7]. ATSC는 속성어에 대한 감성분석이기 때문에 명시적 속성만을 다루며, ACSC는 명시적 속성뿐 아니라 암시적 속성도 분석 대상으로 한다[14].

4. Recommender Systems using Sentiment Analysis

인터넷 사용량과 함께 소셜 네트워크 서비스 사용량도 함께 증가하면서 소비자들은 온라인에 자신의 의견이나 감정을 담아내는 경우가 많아졌다. 자연스레 물건을 구매한 후 제품에 대한 생각을 단순히 평점을 남기는 것에 그치지 않고 리뷰를 작성하게 되면서, 리뷰 데이터가 급증하게 되었다. 리뷰에는 해당 상품에 대하여 사용자가 갖고있는 선호도에 대한 상세하고 신뢰할 수 있는 정보를 담고 있기 때문에 추천시스템에 활용하기에 유용한 정보이다 [15]. 감성분석을 추천시스템의 정확성을 높이는 중요한 요소로 여겨 많은 연구들에서 감성분석을 추천시스템에적용시키고 있지만, 대부분의 연구가 리뷰의 전반적인 감성 분석을 결과를 사용하기 때문에 리뷰에 담겨있는 암시적 속성에 대한 활용은 부족한 상황이다[1][5][16-18].

Table 1. Summary of the prior studies on recommender system using sentiment analysis

III. The Proposed Scheme

1. Basic Models

본 연구에서는 영화 리뷰에 대한 감성 속성을 배우 (Actor), 연출(Directing), 스토리(Story)의 3가지 속성으로 설정하였다. 그리고 평점과 전반적인 리뷰의 감성분석, 속성별 감성분석을 사용하여 사용자 간 유사도를 측정하였다. 본 연구에서 활용한 기본적인 요소가 되는 모델은 표 2와 같고, 모든 모형의 사용자 간 유사도는 식 (1)과 같은 피어슨 상관계수로 측정하였다. 식 (1)에서 r_u,j는 사용자 u의 아이템 i에 대한 평가를 나타내고, \(\overline{r_{i}}\)는 i번째 아이템의 평가 점수 평균이다.

\(\operatorname{sim}(i, j)=\frac{\Sigma_{u \in U}\left(r_{u, i}-\overline{r_{i}}\right)-\left(r_{u, j}-\overline{r_{j}}\right)}{\sqrt{\sum_{u \in U}\left(r_{u, i}-\overline{r_{i}}\right)^{2}} \sqrt{\sum_{u \in U}\left(r_{u, j}-\overline{r_{j}}\right)^{2}}}\)       (1)

Table 2. Basic Models

2. Proposed Models: Composite Models

본 연구에서는 총 두 가지의 연구 모형을 제안하는데, 우선 그림 1에서 설명하는 제안 모형 1(Proposed Model 1: ConvCF + SentCF)은 학습용 데이터 셋에 대해 전통적 협업필터링 모델인 ConvCF와 리뷰 전체에 대한 감성 분석 결과를 협업필터링 모델에 결합한 SentCF의 예측 정확도 중 어느 쪽이 높은지를 확인함으로써, 해당 사용자가 사용자 간 유사도 패턴을 찾는 데 있어서 평점을 활용하는 것이 유리한지 혹은 리뷰의 감성 점수가 더 유리한 사람인지를 판별하여 이 정보에 기반하여 검증용셋에 대한 추천 결과를 생성한다. 이와 같은 사용자 성향에 따른 모델의 선별적 활용은 Ku and Ahn[19]에서 이미 제안된 바 있는 알고리즘을 활용한다.

Fig. 1. Process of the Proposed Model 1 (ConvCF+SentCF)

한편 제안 모형 2(Proposed Model 2: ConvCF + ActorCF + DirectingCF + StoryCF)는 전체적인 리뷰에 대한 감성분석 결과 대신 속성 기반 감성분석으로 차원별로 추출한 감성분석 결과를 결합하여 사용자 간 유사도를 측정한다. 즉, 학습용 데이터셋을 기준으로 ConvCF와 ActorCF, DirectingCF, StoryCF의 예측 정확도 중 어느 쪽이 가장 높은지를 확인함으로써, 해당 사용자가 영화를 평가할 때 어떤 기준(전체 평점, 배우, 연출, 각본)을 가장 중시하는지 식별하고, 검증용 데이터셋에 대한 추천 결과생성 시 각 모델을 선별적으로 선택하여 협업필터링에 적용하는 원리를 따른다.

Fig. 2. Process of the Proposed Model 2 (ConvCF+ActorCF+DirectingCF+StoryCF)

IV. Empirical Validation

1. Experimental Environment

본 연구에서 수행된 모든 실험은 Windows 10 Enterprise 64bit가 설치된 Intel(R) Core(TM) i7-3770 CPU, RAM 16GB 사양의 PC에서 진행하였다. 개발언어는 Python 3.7.12 버전이며, BERT 알고리즘은 Python의 Transformers 라이브러리를 사용하였고, 웹 크롤링은 BeautifulSoup 라이브러리를 사용하였다.

2. Data Collection

본 연구에서는 사전 학습한 BERT 모델을 이용하였다. 사전 학습을 위한 데이터는 네이버 영화리뷰 데이터인 NSMC의 데이터 15만 개를 사용하였다[20]. 실험에 사용된 데이터는 다음 영화[21]에서 2018년부터 2020년의 연간 박스오피스 순위 15위까지의 영화에 해당하는 평점과 리뷰 데이터를 수집하였다. 데이터를 수집하기 위해 Python의 BeautifulSoup 라이브러리를 활용한 웹 크롤러를 제작하였다. 웹 크롤러를 통해 수집된 데이터는 44개 영화에 대한 평점과 리뷰 데이터 33, 528건이다.

약 33만 건의 데이터 중 리뷰를 6개 이하로 남긴 사용자의 데이터는 제거하였고, 44편의 영화 중 30%에 해당되는 13편의 영화는 검증용으로 사용하기 위해 검증용 13편 영화에 대한 평점이 한 건도 없는 사용자 또한 분석 대상에서 제외하였다. 전처리 완료 후 User 수는 기존 2, 934 명에서 2, 515명으로 감소하였다. 데이터 수집 결과는 다음의 표 3과 같다.

Table 3. Experimental Dataset

3. Evaluation Criteria

BERT 감성분석 실험에서는 정확성을 평가하기 위해 Confusion matrix의 대표적인 평가 지표인 Accuracy, Precision, Recall, F1-Score를 사용하였고, 추천시스템의 예측 정확성을 평가하기 위해서는 대표적인 예측 정확성 평가 척도인 MAE(Mean Absolute Error)를 사용하였다[22]. MAE는 아이템에 대한 사용자의 실제 평가값과 예측값의 차이를 측정하여 추천의 성능을 평가하는 방식이며, 값이 작을수록 예측의 정확성이 높다고 할 수 있다. 다음의 식 (2)는 MAE의 계산식으로 p_i는 예측값, q_i는 사용자의 평가값을 나타낸다.

\(M A E=\frac{\sum_{i=1}^{n}\left|p_{i}-q_{i}\right|}{n}\)       (2)

4. Experimental Results

우선 협업필터링을 통한 평점 예측에 앞서 BERT 감성 분석을 수행한 결과, 다음 표 4와 같이 결과가 산출되었다. 정확도와 F1-Score가 모두 0.8을 상회하여 본 연구에서 구축한 BERT 기반의 감성분석 모형은 신뢰하고 사용할 수 있을만한 수준임을 먼저 확인할 수 있었다.

Table 4. Classification Sentiment Analysis Result of BERT-based

이상의 BERT 감성분석 수행 결과를 바탕으로 총 44편의 영화 중 70%에 해당하는 31편의 영화 평점 및 리뷰로 학습을 하고, 나머지 30%에 해당하는 13편의 영화에 대한 예측을 수행하였다. 아울러 본 연구가 제안하는 협업 필터링 모형의 예측 정확도를 비교하기 위해 각 데이터셋에 대한 MAE를 계산하였다.

실험 결과, 각 모델의 평균적인 MAE는 검증용을 기준으로 전통적인 협업필터링이 2.075로 가장 낮고, ConvCF < StoryCF < SentCF < DirectingCF < ActorCF 순으로 나타났다. 하지만 유사도를 선별적으로 선택하여 사용한 제안 모형까지 비교해 보면, 리뷰의 속성별 감성분석 결과를 선별적으로 사용한 제안 모형2의 오차가 2.0626로 가장 낮고, 그 다음이 제안 모형 1, ConvCF 순으로 나타나 제안모형의 유효성을 확인할 수 있었다.

Table 5. Comparison of MAEs from Basic Models

끝으로 본 연구는 앞서 표 6에서 제시한 평균 MAE 간 차이가 통계적으로 유의한 차이인지 검증하기 위하여, 대응 표본 t-검정을 적용하였다. 다음의 표 7은 그 수행 결과를 나타내고 있다. 이 표에 나타나 있듯이, 제안 모형 1 과 2 모두 전통적인 협업필터링과 99.9% 신뢰수준 하에서 그 차이가 통계적으로 유의하게 나타났다.

Table 6. Comparison of MAEs Proposed Models from ConvCF and

Table 7. T-values from paired samples t-test

*Significant at the 1% level (p-value<0.01)

V. Conclusions

기존에 많은 연구가 이루어졌던 리뷰의 전체적인 감성 분석을 결합한 협업필터링은 리뷰의 암시적 속성을 반영하지 못한다는 한계가 있었다. 이에 본 연구는 이러한 한계를 극복하기 위해 속성 기반의 감성분석을 통해 다차원정보를 선별적으로 선택하는 추천시스템을 제안하였다. 구체적으로, 본 연구의 제안 모형은 전체적인 리뷰의 감성 분석 결과와 속성별 감성분석 결과를 사용하여 사용자 간 유사도를 구하고, 해당 사용자가 영화를 평가할 때 어떤 기준을 중시하는지 판별하였다. 이 정보에 기반하여 속성별 사용자 유사도를 선별적으로 사용해 사용자에 알맞은 추천을 생성하였고 그 결과, 제안 모델이 기존 모델 대비 예측 정확도가 높은 것을 확인할 수 있다.

본 연구는 학술적, 실무적으로 다음과 같은 의의를 갖는다. 리뷰를 속성별로 나누어 다차원으로 접근하여 사용 자간 유사도에 활용하였고, 개인의 특성을 고려해서 모형을 선별하여 사용하는 새로운 접근법을 제시한 점은 기존 연구와 본 연구가 차별화되는 부분이다. 특히 협업 필터링에 잘 사용되지 않은 BERT를 활용한 속성 기반 감성 분석을 사용했다는 점에서 학술적 의의가 있다.

본 연구에서 제안하는 모형의 실무적인 의의는 일반적으로 속성별 평가를 얻기 위해 사용자가 속성 각각에 대한 평가를 내려야 했지만, 본 연구에서는 그러한 번거로움 없이 리뷰 전체에서 암시적 속성을 파악하였다는 점에서 의의가 있다. 그 결과 제안 시스템은 다양한 속성 카테고리 정보를 반영함으로써 더욱 정교한 추천 서비스를 제공할 수 있다는 측면에서 실무적 가치가 높다고 하겠다. 아울러본 연구에서의 검증은 영화 데이터에 한정하여 수행되었지만, 제안 모델은 도서, 식당 등 모든 분야에서 적용이 가능하다는 점 역시 실무적 의의 중 하나라 할 수 있다.

한편, 실험을 통해 제안 모델이 우수한 성능을 보임을 확인하였으나 본 연구는 충분한 양의 데이터를 확보되지 못한 상태에서 검증이 이루어졌다는 한계가 있다. 이로 인한 결과일 수도 있겠으나, 비록 통계적 유의성을 확인하였지만 MAE의 차이가 다소 미미하게 확인되었다는 점은 본연구의 또 다른 한계점으로 생각된다. 아울러 BERT 사전학습 과정에 많은 시간이 소요된다는 점 역시 주요한 한계점이라고 할 수 있다. 이러한 한계점들은 후속연구를 통해 보완되어야 할 것이다. 더 나아가 현재의 제안 시스템의 경우 한국 데이터에 맞게 적용하였지만 나아가 외국어 데이터로 다양한 도메인에서 속성 기반 감성분석을 적용할 수 있도록 향후 연구가 필요할 것으로 보인다.