Correlation Analysis between Rating Time and Values for Time-aware Collaborative Filtering Systems

Abstract

In collaborative filtering systems, the item rating prediction values calculated by the systems are very important for customer satisfaction with the recommendation list. In the time-aware system, predictions are calculated by reflecting the rating time of users, and in general, exponentially lower weights are assigned to past rating values. In this study, to find out whether the influence of rating time on the rating value varies according to various factors, the correlation between user rating value and rating time is investigated by the degree of user rating activity, the popularity of items, and item genres. As a result, using two types of public datasets, especially in the sparse dataset, significantly different correlation index values were obtained for each factor. Therefore, it is confirmed that the influence weight of the rating time on the rating prediction value should be set differently in consideration of the above-mentioned various factors as well as the density of the dataset.

협력 필터링 시스템에서 추천 리스트의 고객 만족도를 위하여 시스템이 산출하는 항목 평가 예측치는 매우 중요하다. 시간 인지 기반 시스템에서는 사용자들의 평가 시간을 반영하여 예측치를 산출하는데, 대개 과거 평가치일수록 기하급수적으로 낮은 가중치를 부여하였다. 본 연구에서는 평가치에 대한 평가 시간의 영향력이 다양한 요인에 따라 달라지는지 알아 보기 위하여, 사용자의 평가 적극성 정도, 항목의 인기도, 그리고 항목 장르별로 사용자 평가치와 평가 시간의 상관도를 조사하였다. 두 종류의 공개 데이터셋을 활용한 분석 결과, 특히 희소 데이터셋에서 각 요인에 따라 현저히 다른 상관지수 값을 얻었다. 따라서 평가 예측치에 대한 평가 시간의 영향력의 크기는 평가 데이터 밀집도 뿐만 아니라 상기한 여러 가지 요소를 고려하여 다르게 책정되어야 한다는 사실을 확인하였다.

I. Introduction

사용자가 선호할만한 정보를 제공하는 일은 현 정보 과부하 시대에 온라인 사용자들을 위하여 매우 중요한 작업이다. 이를 위해 지난 십수년 동안 개발되어 온 추천 알고리즘은 다양한 분야에서 활용되는데, 뉴스, 음악, 영화, 서적, 쇼핑 등이 그 예이다.

추천 시스템이 성공적으로 작동하기 위해서는 사용자로부터 다양한 정보를 획득해야 한다. 사용자 프로필이나 과거 선호 항목들에 대한 정보 등을 기반으로 추천 항목을 결정하는 내용 기반 필터링(content-based filtering) 방식은 정보 획득을 위한 비용이 매우 크고, 기존의 선호 특성과는 다른 새로운 발견을 하기 어렵다는 단점이 있다[1][2]. 이를 해결하기 위하여 개발된 협력 필터링(collaborative filtering, CF) 방법은 많은 연구자들의 관심과 노력이 집중되어 왔으며 구현이 용이하고 효율이 높아 대표적인 추천 시스템 중 하나로서 아마존, 넷플릭스 등 많은 상업용 시스템에 적용되었다[1].

CF 방법은 현 사용자와 과거로부터 선호 이력이 유사한 다른 사용자들이 선호하는 항목들을 추천한다. 이와 같이 사용자 기반의 유사성을 파악하는 대신 항목들을 기준으로 유사성을 계산하여 과거 선호 항목들과 유사한 항목들을 추천하는 항목 기반(item-based) CF 방법은 데이터 확장성(data scalability) 문제를 경감할 수 있는 좋은 대안으로 연구되어 왔다[2]. 또한 항목 기반 방법은 사용자 기반 방법보다 더 우수한 성능을 갖는 것으로 보고되었다[1]. 이는 대개의 시스템에서 한 사용자가 부여한 항목 평가개수 보다 한 항목에 대해 부여된 평가개수가 더 많기 때문에, 평가개수에 의존하는 기존의 유사도 척도의 산출 결과 신뢰도가 더 높기 때문이다.

CF 시스템의 성능을 향상시키기 위한 노력은 꾸준히 진행되어 왔는데, 최근 여러 인공지능 기술을 접목하여 복잡한 사용자-선호 항목 간의 관계를 파악하려는 노력이 대두되었다. 이를 위해 RBM, Autoencoder, CNN 등의 다양한 신경망 구조가 활용되었다[3].

또 다른 접근 방식으로서 CF에서 주로 활용되는 사용자 평가치 외에 여러 상황 인지(context aware) 정보를 접목하는 알고리즘이 개발되었다[4]. 예를 들어 사용자의 위치 인지(location aware) 추천 시스템은 여행 정보 제공의 목적으로 주로 활용된다[5]. 또한 사용자가 평가한 시점을 추천 리스트 결정에 반영하려는 시간 인지(time-aware)에 대한 연구도 진행되었다[4][5][6].

본 연구에서는 시간 인지 추천 시스템에서 추천 리스트를 제공하기 위하여 측정하는 항목의 평가 예측치를 산출하기 위해 평가 시점을 어떻게 반영해야 하는가의 문제를 다룬다. 기존 연구에서 평가 시간의 영향력의 크기는 과거 평가치일수록 기하급수적으로 작아지도록 책정하는 것이 일반적이다[7]. 다시 말해서 같은 평가치를 가졌다면 과거 항목보다는 최근의 항목을 추천 리스트에 포함한다. 그러나, 이는 사용자, 항목, 또는 데이터 셋의 특성과는 무관하게 일괄적인 방식을 적용한 것이다. 본 연구는 이들 다양한 특성들, 특히 평가 개수에 따른 적극/소극적인 사용자, 항목의 인기도 및 장르별로 각각 평가 시간과 평가치 크기와의 상관관계를 조사하였다. 그 결과 각 특성별로 다른 상관지수를 얻었으므로, 평가 예측치에 대한 평가 시간의 영향력의 크기가 이와 같은 여러 가지 요소를 반영하여 책정되어야 한다는 사실을 확인하였다.

논문의 구성은 다음과 같다. 2절에서는 관련 지식 및 기존 연구 결과들을 소개한다. 3절에서는 관련 연구에서 널리 활용되는 데이터 셋에 대하여 앞에서 언급한 데이터 특성 및 상관도를 조사한 결과를 제시한다. 4절에서 논문의 결론을 맺는다.

II. Related Works

다른 사용자들의 항목에 대한 직접 또는 간접 평가 결과를 토대로 향후 선호할 만한 항목들을 추천하는 협력 필터링 기법은 전통적으로 평가 시간을 고려하지 않고 모든 평가치를 대등하게 취급하였다. 최근 이에 반하는 새로운 관점의 시간 인지 협력 필터링 기법이 대두하였는데, 기본 아이디어는 과거 평가치에 대해 낮은 중요도를 부과하여 참조하는 방식이다. 이는 사용자들의 선호도가 시간에 따라 변화한다는 가정에 기반한다.

대표적인 초기 연구 결과로서 Ding과 Li는 과거 평가치일수록 기하급수적으로 감소하는 가중치를 부여하였는데, 항목들을 여러 그룹으로 나누어 각기 다른 가중치를 부과하였다[7]. He와 Wu는 평가 시간 전체를 구간으로 나누어 각 구간별로 피어슨 상관도를 산출하고 구간 내 평가개수에 따른 가중치 변화를 책정함으로써, 시간 인지 개념의 반영 뿐 아니라 데이터 희소성 문제도 고려한 방법을 제안하였다[8]. 이밖에도 데이터 희소성 문제를 해결함과 동시에 시간 인지 방식을 도입하기 위하여 사용자의 텍스트 리뷰를 활용한 연구 방법이 개발되었다[9]. 시간에 따른 기하급수적인 가중치의 감소를 위하여 다양한 함수를 활용할 수 있는데, Huai-Zhen과 Lei는 피어슨 상관도를 유사도 척도로 도입함과 동시에 로지스틱 함수의 가중치를 사용한 연구를 발표하였다[10].

한편 항목 평가치 외에 사용자가 선호하는 문서의 태그 정보를 반영하는 방법을 Zheng과 Li는 발표하였는데[11], 이 연구에서는 다른 연구 결과들과 마찬가지로 과거 정보에 대해 낮은 가중치를 부여하지만 사용자가 선호하는 정보일 때는 가중치를 높이는 방안을 개발하였다. 이와 같은 시간 인지 추천 시스템에 관련된 포괄적인 연구 결과들을 살펴보려면 Campos 외 2인의 발표 논문을 참조할 수 있는데[12], 이 논문에서는 추천 시스템의 평가 실험을 위해서 세부적인 데이터 분할 문제를 다루었으며 현존하는 다양한 성능 평가 척도 및 데이터 셋에 대한 시간 인지 알고리즘들의 성능 결과가 제시되었다.

대개 시간 인지 개념은 협력 필터링 알고리즘에 접목되어 다양한 기법들이 개발되었으나[13], Li와 Han의 연구에서는 내용 기반 추천 시스템과 협력필터링 추천 시스템의 각 단점을 보완한 하이브리드 방식에 적용하기 위하여, 시간 인지 사용자 선호 모델을 개발하였고 추천 항목들에 대한 사용자 피드백을 활용하여 추천의 정확성을 향상하였으며, 로지스틱 회귀 알고리즘 기반으로 내용 기반과 협력 필터링 기반의 추천 결과를 결합하였다[14]. 한편 최근의 연구로서 신경망 모델과 시간 인지 요소를 결합하여 논문 추천에 활용한 방법이 개발되었다[15].

그러나, 기존의 연구들은 시간의 평가치에 대한 영향력 분석을 구체적으로 실행하지 않은 채, 대개 일률적으로 과거 평가치에 대한 낮은 가중치를 부여하는 보편적인 처리방안을 그대로 활용하였다. 다만, Tong 외 4인의 연구에서는 CiaoDVD 데이터 셋을 활용하여 임의의 항목/사용자의 시간에 따른 평가치 변화 양상을 조사하였고, 이를 SVD 모델에 추가하여 결과 성능을 평가하였다[16]. 그러나, 사용자나 항목의 특성은 고려하지 않은 모델이므로, 본 논문에서는 특성에 따른 변화 양상을 분석함으로써 협력 필터링 추천 시스템 개발에 있어서 시간 요소의 보다 정확한 반영이 가능하도록 기반 연구를 실시한다.

III. Movie Data Analysis

1. Characteristics of the Datasets

협력 필터링 시스템의 성능 평가를 위해 널리 활용되는 연구용 공개 데이터 셋들은 평가 시간 정보를 포함하지 않는 것이 대부분이다. 예외적으로 MovieLens 1M과 CiaoDVD는 영화에 대한 다양한 평가 정보를 제공한다. 평가 시간 뿐 아니라, 영화 장르 정보도 포함하므로, 본 연구 목적에 적합하다. 두 데이터 셋 모두 평가치 범위는 1부터 5 사이의 정수 값이다.

Table 1은 실험에 사용한 두 데이터 셋의 특성을 나타낸다. 전체 사용자와 항목 수는 CiaoDVD가 상대적으로 매우 큰 반면에 평가개수는 매우 적으므로 이 데이터 셋의 평가 데이터 희소성이 훨씬 큰 것을 알 수 있다. 한편, CiaoDVD의 평가 날짜의 전체 기간이 4,922일로서 약 13년 반이라는 장기간이며, MovieLens는 이보다 훨씬 짧은 3년 미만의 기간 동안 평가가 이루어졌다.

Table 1. Characteristics of the datasets

두 데이터 셋은 항목이 어느 장르에 속하는지의 정보를 제공한다. CiaoDVD는 모두 17개의 장르를 갖추고 있으며, 각 항목은 한 장르에 속하는 반면에, MovieLens는 18개의 장르를 유지 보관하며 한 항목은 하나 이상의 장르에 속한다. Table 2는 각 장르의 세부 내용을 제시하였다.

Table 2. Genre types in the datasets

데이터의 특성을 파악하기 위하여 각 일별로 얼마나 많은 평가를 실시하였는지 조사한 결과를 Fig. 1에 제시하였다. 두 데이터 셋의 평가 양상은 차이가 매우 큰데, CiaoDVD는 전체 기간 동안에 꾸준한 평가 데이터가 존재하는 반면에, MovieLens는 초기에 대부분의 평가 데이터를 포함하며 특히 특정일에 6,3000건 이상의 평가가 진행되어 편차가 매우 큼을 알 수 있다. 따라서, 항목 평가에 대한 시간 요소의 영향 정도를 파악하기에는 CiaoDVD가 더 적합할 것으로 판단된다.

Fig. 1. Number of ratings by day: CiaoDVD(up) and MovieLens(bottom) datasets

Fig. 2는 사용자 id별로 평가 개수를 나타낸다. CiaoDVD에서는 대부분의 사용자가 미미한 평가 개수를 가지며 극히 일부 사용자의 평가 개수가 200개를 넘는 것으로 파악되었다. 반면에 MovieLens의 사용자들은 평균 약 166개의 많은 평가를 실시하였고 최대 2314개의 평가를 실시한 사용자도 있음이 확인되었다.

Fig. 2. Number of ratings by user id: CiaoDVD(up) and MovieLens(bottom) datasets

사용자별 평가 개수 이외에도 각 항목마다 부여된 평가 개수를 살펴보면 데이터 셋의 특성을 보다 면밀히 파악할 수 있다. Fig. 3에서 CiaoDVD 데이터 셋은 MovieLens에 비해 항목 당 매우 적은 평가개수를 지닌 것을 알 수 있는데 그 평균은 약 4.5개이다. MovieLens는 밀집된 데이터 셋이므로 항목 당 대략 253개의 평균 평가개수를 나타냈다. 두 데이터 셋 모두 편차가 매우 커서 사용자들의 선호 또는 비선호 영화 항목이 뚜렷이 구분됨을 알 수 있다.

Fig. 3. Number of ratings by item id: CiaoDVD(up) and MovieLens(bottom) datasets

2. Correlation between Time and Rating Values of Users

시간에 따라 사용자의 평가치가 어떻게 달라졌는지를 파악하기 위하여 두 요소 간 피어슨 상관도를 산출하였다. 또한 평가를 많이 진행한 사용자들과 그렇지 않은 사용자들의 상관도 결과는 차이가 있는지를 알아보기 위하여, 두 데이터 셋에 대하여 각각 UserA, UserB, UserC와 같은 세 그룹의 사용자들을 정의하고 각 그룹별로 상관도를 구하였다. 각 그룹의 특성은 Table 3에 제시하였다.

Table 3. Description of user groups

Table 4는 각 데이터 셋의 사용자 그룹별 시간과 평가치의 피어슨 상관 지수를 나타낸다. 대개 미미한 음의 상관을 나타내므로, 전반적인 사용자들의 평가치는 시간이 경과함에 따라 감소하는 경향이 있음을 알 수 있다. 단, CiaoDVD의 UserA 그룹에서 상대적으로 매우 강한 음의 상관을 보였다.

Table 4. Correlation between time and rating values of users

위의 결과를 좀 더 세부적으로 살펴보기 위하여 각 장르별로 상관 지수를 산출하여 Fig. 4에 제시하였다. 우선 CiaoDVD 데이터 셋에서 UserA 그룹은 일부 장르에서 매우 약한 양의 상관을 보인 것을 제외하고는 거의 모든 장르에서 음의 상관을 보였다. 특히, 장르 10(war), 5(horror), 12(documentaries & biographies), 3(family), 17(anime) 순으로 음의 상관도가 높았다. 한편 이와는 달리 UserB 그룹에서는 장르 9(music films)와 10(war)에서 음의 상관지수가 큰 반면, 장르 6(Sci-fi & fantasy)과 2(comedy)에서 강한 양의 상관을 보인 것이 주목할 만하다. 또한 UserC 그룹에서도 양의 상관을 보인 장르들이 발견되었는데, 장르 4(drama)와 2(comedy)가 대표적이며 반면에 장르 10(war)과 9(music films)에서는 상대적으로 큰 음의 상관을 나타냈다. 이상과 같이, 사용자 그룹별로 다소 상이한 장르별 상관을 나타냈으므로, 평가 참여가 적극적인 사용자 집단과 소극적인 집단에 대하여 추천 리스트를 제공하는 경우에, 항목의 장르에 좌우되는 시간 영향도를 반영하여야 한다.

Fig. 4는 MovieLens 데이터 셋에 대하여 장르별로 시간과 사용자 평가치 간의 상관지수도 제공하는데, 전반적으로 Table 4의 결과에서와 같이 약한 음의 상관을 보인다. 그러나 세 종류의 사용자 그룹에서 장르별로 약간의 차이가 있음을 알 수 있는데, 특히, UserC 그룹에서 두드러진 편차를 보였다. 구체적으로, 장르 9(fantasy)와 15(Sci-fi)에서 가장 큰 음의 상관을 보였다. 또한, 모든 그룹에서 장르 10(film-noir), 12(musical), 13(mystery)은 가장 약한 음의 상관을 보였으므로, 평가치에 대한 시간의 영향력이 매우 미미하다는 것으로 알 수 있다.

Fig. 4. Correlation between time and rating values per genre of user groups: CiaoDVD(up) and MovieLens(bottom) datasets

3. Correlation between Time and Rating Values for Items

본 절에서는 각 항목에 대한 평가치가 시간에 따라 어떻게 변화하는지 알아보았다. 또 이러한 변화가 항목의 인기도에 따라 다른지를 조사하기 위하여 평가개수에 따라 세 종류의 항목 그룹으로 나누었고, 상세 내용은 Table 5에 제시하였다. ItemC 그룹은 사용자들이 200개 이상의 평가를 실시한 항목들로 구성되므로 두 데이터 셋 모두에서 이 조건에 해당하는 항목수가 다른 항목 그룹에 비해 가장 적다.

Table 5. Description of item groups

Table 6은 각 그룹에 속한 항목들 평가치와 시간과의 상관지수를 나타낸다. 대개 음의 상관을 보인다는 기존 연구 결과[16] 와는 달리 CiaoDVD는 ItemB와 ItemC 그룹의 항목들이 양의 상관을 보였다. 이는 평가치에 대한 시간 요인의 영향력이 항목에 대한 평가개수에 따라 다르게 나타난다는 점에서 매우 주목할 만한 현상이다.

Table 6. Correlation between time and rating values for items

위와 같은 결과가 항목의 장르별로 어떻게 나타나는지 보다 세부적으로 살펴보았다. Fig. 5의 CiaoDVD 결과에서 ItemA는 장르 10(war)과 5(horror) 등에서 상대적으로 강한 음의 상관을 나타냈고, ItemB는 장르 12(documentaries & biographies)에서 음의 상관이 컸으나 장르 15(world cinema)에서 매우 큰 양의 상관을 보였고, 이밖에도 장르 8(martial arts)과 17(anime) 등에서도 양의 상관을 보였다. 또한 ItemC에 속한 항목들도 장르별로 다소 다른 상관 결과를 보였는데, 장르 13(special interest)와 17(anime)에서 양의 상관을 보였다. 이러한 결과로 볼 때 항목 평가치에 대한 시간의 영향을 항목의 인기도와 장르에 따라 다르게 판단해야 적합한 것으로 본다.

Fig. 5. Correlation between time and rating values per genre of item groups: CiaoDVD(up) and MovieLens(bottom) datasets

Fig. 5에서 MovieLens 결과는 CiaoDVD 결과보다 다소 안정적으로 적은 편차로서 전반적으로 음의 상관을 보였다. 다만 장르 10(film-noir)와 12(musical)에 속한 항목들은 시간의 영향력이 매우 미미한 것으로 나타났다.

IV. Conclusions

시간 인지 추천 시스템에서 항목 평가 시간의 평가 예측치에 대한 영향 크기를 결정하는 일은 매우 중요한 연구분야이다. 이제까지의 기존 연구에서는 과거 평가치일수록 기하급수적으로 낮은 가중치를 두는 일반적인 방법을 활용하였는데, 이에 대한 개선 여지를 알아보기 위하여, 본 연구에서는 공개된 영화 데이터 셋을 활용하여 평가 시간과 평가치 크기와의 관계를 상관 지수 산출을 통하여 다양한 관점에서 분석하였다. 분석 결과, 사용자의 평가 적극성 정도, 항목의 인기도, 그리고 항목 장르별로 현저히 다른 상관지수 값을 얻었다. 특히, 희소 데이터 셋에서 이러한 현상은 더욱 심화되었다. 따라서 평가 예측치에 대한 평가 시간의 영향력의 크기가 이와 같은 여러 가지 요소를 반영하여 책정되어야 한다는 사실을 확인하였다.

본 연구는 추천 리스트를 제공하기 위하여 항목들의 평가 예측치를 산출해야 하는 협력 필터링 기반의 추천 시스템에서 유용하게 활용될 수 있다. 다만 본 연구의 데이터분석에 활용된 한 데이터 셋의 평가개수의 희소성 때문에 사용자 그룹의 크기가 작았으므로, 산출 결과의 신뢰성이 저하될 수 있는 단점이 있다. 향후 연구 방향으로서, 본 논문 결과를 기계학습이나 신경망에 접목하여 시간 인지 기반의 협력 필터링 시스템을 위한 향상된 성능의 새로운 모델을 개발할 계획이다. 또한, 본문에서는 특성이 서로 매우 상이한 두 가지 데이터 셋을 사용하였지만, 연구 결과의 신뢰성을 향상시키기 위하여 향후 시간 정보가 포함된 다른 유용한 데이터 셋을 추가적으로 활용하여 실험할 필요가 있다.