Time-aware Collaborative Filtering with User- and Item-based Similarity Integration

Abstract

The popularity of e-commerce systems on the Internet is increasing day by day, and the recommendation system, as a core function of these systems, greatly reduces the effort to search for desired products by recommending products that customers may prefer. The collaborative filtering technique is a recommendation algorithm that has been successfully implemented in many commercial systems, but despite its popularity and usefulness in academia, the memory-based implementation has inaccuracies in its reference neighbor. To solve this problem, this study proposes a new time-aware collaborative filtering technique that integrates and utilizes the neighbors of each item and each user, weighting the recent similarity more than the past similarity with them, and reflecting it in the recommendation list decision. Through the experimental evaluation, it was confirmed that the proposed method showed superior performance in terms of prediction accuracy than other existing methods.

인터넷 상의 전자 상거래 시스템의 인기는 나날이 높아지고 있는데, 추천 시스템은 이러한 시스템들의 핵심 기능으로서, 고객들이 선호할만한 상품을 추천함으로써 원하는 상품을 검색하기 위한 노력을 크게 경감시킨다. 협력 필터링 기법은 많은 상업용 시스템에서 성공적으로 구현되어온 추천 알고리즘이지만 메모리 기반의 구현 방식은 학계에서의 인기와 유용함에도 불구하고 참조 인접 이웃의 부정확성이 존재한다. 본 연구에서는 이러한 문제점을 해결하고자 사용자와 항목 각각의 인접 이웃을 통합하여 활용하고, 이들과의 과거 유사성 보다 최근의 유사성을 더욱 가중하여 추천 리스트 결정에 반영하는 새로운 시간 인지 협력 필터링 기법을 제안한다. 실험 평가를 통하여, 기존의 여러 방법들보다 제안 방법이 예측 정확도 측면에서 월등한 성능을 보임을 확인하였다.

I. Introduction

정보 과부하 시대에 인터넷 사용자들이 겪는 가장 큰 불편함은 아마도 원하는 정보를 얻기 위해 매우 많은 시간 및 비용을 소모하는 것이라고 할 수 있다. 더욱이 그럴듯한 정보를 얻었다 하더라도 그것이 최적인지는 확인하기 어렵다. 현재로서 이러한 문제점을 해결해 주는 가장 큰 기능은 추천 시스템(recommender system)이다.

많은 상업용 사이트에서 추천 기능은 필수불가결한 요소로서 고객들의 정보 검색 노력을 크게 경감해 주고 있다. 유튜브와 아마존을 비롯하여 거의 모든 시스템이 다양한 추천 알고리즘을 활용하여 고객 편의를 도모한다[1]. 최근에는 인공지능의 발달로 추천 시스템에도 머신러닝, 딥러닝 등의 기술을 적용하여 성능을 향상시키려는 시도가 활발하다[2][3][4].

추천 알고리즘은 크게 내용 기반(content-based) 필터링, 협력 필터링(collaborative filtering), 사회 연결망 기반(social-network based) 필터링, 지식 기반 (knowledge-based) 필터링 등으로 나뉜다[1][5]. 이들 중에서 학계 및 상업계의 가장 큰 관심을 받아 온 협력 필터 링(CF) 시스템은 현 사용자와 유사한 사용자들의 평가 이력을 참조하여 추천 리스트를 결정한다는 기본 아이디어를 바탕으로 한다. 유사성을 파악하기 위하여 사용자들이 상품에 대해 부여한 직/간접 평가치, 검색 이력, 인구학적정보 등을 활용하는데, 이 중에서 수집이 용이한 평가치 정보가 가장 널리 사용된다.

CF 시스템의 성능 향상을 위하여 기존의 사용자 기반(user-based)이 아닌 항목 기반(item-based) 방식이 개발되었는데, 이는 한 사용자가 평가점수를 부여한 총 항목수는 한 항목에 대해 평가점수를 부여한 총 사용자 수보다 훨씬 적기 때문이다. 다시 말해서, 평가개수가 많을수록유사성의 파악이 더욱 용이하고 신뢰할만하기 때문에, 항목 기반 시스템에서 임의의 두 항목 간의 유사도 산출을 통한 추천 시스템의 성능이 사용자 기반 시스템보다 대체로 더 우수하다[1]. 또한 이들 두 방식을 결합한 하이브리드 필터링도 개발되어 각각의 단점을 해결하고자 시도되 었다[6][7].

CF 시스템의 성능을 향상시키기 위한 또다른 노력으로서 평가점수 외에 다른 여러 가지 정보를 이용하려는 연구가 진행되었다. 특히 상황 인지(Context aware) 추천 시스템은 많은 연구자의 관심 대상이었는데, 사용자의 위치 인지(Location aware) 또는 평가 시각을 반영하는 시각 인지(Time-aware) 등이 이에 속한다[8][9][10].

본 연구는 사용자 기반과 항목 기반 CF의 각 단점을 보완하기 위하여 이들을 통합한 하이브리드 필터링 기법을 기반으로 하며, 시각 인지 방식을 접목함으로써, 새로운 협력 필터링 방법을 제안한다. 기존 연구에서는 대부분 항목 자체에 대한 평가치를 과거 시점일수록 낮은 가중치로 취급하였으나, 본 제안 방식은 주기적으로 유사도를 산출하여, 과거에 산출된 유사도값일수록 낮은 가중치를 부여함으로써 최근의 항목 간 또는 사용자 간의 관계를 추천 결과에 더욱 반영하는 방식을 취한다. 성능 실험을 통하여, 예측 정확도, 정밀 정확도, 순위 정확도를 측정하였고, 기존의 여러 방식들보다 제안 방법이 예측 정확도 측면에서 특히 우수함을 입증하였다.

논문의 구성은 다음과 같다. 2절에서는 관련 지식 및 기존 연구 결과들을 소개한다. 3절에서는 제안 방법을 설명하고 4절에서 성능 실험 결과를 제시하며, 5절에서 논문의 결론을 맺는다.

II. Background

메모리 기반의 추천 알고리즘은 현 사용자 또는 항목과 다른 사용자 또는 항목들과의 유사성을 토대로 미평가 항목에 대한 평가치를 예측한다[5][11]. 유사한 사용자 또는 항목들을 이웃이라고 일컬으며, 이들과의 유사도 산출이 시스템의 성능을 좌우하는 핵심 요소이다. 기존 연구에서는 다양한 유사도 척도가 개발되었고 각각의 장단점 분석관련 논의도 다루어져 왔다[12].

메모리 기반 추천 시스템의 접근 방식은 두 사용자가 공통 평가 항목에 대하여 유사한 평가 이력을 가졌다면, 향후 다른 항목들에 대하여도 유사한 선호 경향을 나타낼 것이라는 가정을 근거로 한다. 미평가 항목에 대한 현 사용자를 위한 예측치는 이웃들의 해당 항목에 대한 과거 평가치와 그들과의 유사도 정도를 접목하여 산출한다[1]. 메모리 기반 협력 필터링 알고리즘은 크게 사용자 기반과 항목기반으로 구분한다.

사용자 기반 CF는 가장 널리 구현된 기술로서, 다른 사용자들의 평가치를 참조할 때, 현 사용자와의 유사도가 클수록 해당 이웃은 큰 가중치로서 미평가 항목의 예측치에 영향을 끼친다[11][13]. 그러나 가장 기본이 되는 유사도산출 문제에 있어서 사용자 당 평가치 개수가 충분하지 않음으로 인하여 타당한 유사도값이 산출되지 않을 위험성이 있다. 이는 사용자 기반 CF의 본질적인 문제인데, 이는 각 사용자가 평가치를 부여하는 항목 수는 전체 항목들 중에서 극히 일부분이기 때문이다. 또한 사용자 기반의 방법은 낮은 커버리지와 인기 있는 항목들에 편중하여 추천하는 문제점을 가진다[5].

데이터 희소성 문제[14]를 극복하기 위한 방법 중의 하나로써 잠재 의미 인덱싱(Latent semantic indexing)은 공간의 차원을 축소한 후 유사도를 계산하여 보다 의미 있는 값이 산출되도록 한다[6]. 또다른 보다 간단한 해결방법으로서 항목 기반 CF 기법이 개발되었다. 이 방법은 항목간의 유사도를 활용하여 미평가 항목의 예측치를 산출하 며, 시스템 내 항목 수가 사용자 수보다 매우 적을 경우에 사용자 기반 CF 보다 우수한 성능을 보인다[5].

한편 사용자의 선호 성향은 변화하기 때문에 사용자 위치 기반 등의 상황 인지(context aware) 정보를 활용하여 협력 필터링 시스템의 성능을 향상시키려는 노력이 시도되어 왔다[8][9][15]. 특히 시간 인지를 반영한 연구로서, Ding과 Li는 평가 시각이 과거일수록 해당 평가치의 가중치를 기하급수적으로 감소시키는 방안을 제시하였으며 이는 향후 여러 관련 연구의 토대가 되었다[16].

최근에는 [17]의 연구에서 클러스터와 인접 이웃의 기반 하에 사용자의 흥미 변화에 적응하기 위하여 시간 영향 지수 매트릭스를 활용한 역동적인 모델을 제시하였다. 또한 시간 인지를 반영한 클라우드 서비스 추천 방식을 제안한[18]은 협력 필터링을 위한 개선된 유사도 산출 방식과 ARIMA 모델을 제시하였다.

[19]의 연구에서는 시간 인지 방식을 전통적인 협력 필터링 알고리즘에 접목하였으며, [20]은 하이브리드 추천 알고리즘인 내용 기반과 협력 필터링의 결합에 추가적으로 시간 인지 개념을 적용한 모델을 개발하였다. 또한 전체 평가 시간을 그룹으로 분할하여 각 평가시간대 내에서 부여한 평가치들에 대하여 피어슨 상관의 유사도를 산출하되 각 시간대 내의 평가개수를 가중치로 부여하는 연구가 시간 인지를 협력 필터링에 반영하는 초창기의 결과로 주목되었다[21].

III. Proposed Methodology

1. Overall Idea

제안 방법의 목적은 크게 두가지이다. 첫째는, 시스템이 산출하는 유사도값의 정확도를 향상시켜 현사용자가 미평가한 항목들의 예측치 결정을 위한 보다 신뢰할만한 인접 이웃들을 구하고자 하는 것이고, 둘째는 시간에 따른 유사도값의 변화를 반영하는 것이다.

첫 번째 목적을 달성하기 위하여, 기존의 사용자 기반과 항목 기반의 협력 필터링 방식을 통합하였다. 구체적인 통합 방법은 사용자 기반의 유사도, 항목 기반의 유사도를 각기 산출한 후, 이들을 함께 정렬하여 유사도값이 높은인접 사용자 또는 항목들을 이웃으로 정의한다. 최종적으로 이들 이웃들이 부여했던 높은 평가치의 항목들을 시스템은 추천 리스트로 결정한다. 따라서, 각 방식을 독립적으로 활용할 때 나타날 수 있는 문제점, 즉, 공통평가 항목개수가 적음으로 인하여 유사도값이 비정상적이거나 또는 낮은 신뢰도를 갖게 되는 문제점을 해결할 가능성이 높다.

두 번째 목적 설정이 유효한 이유는 사용자의 취향은 시간에 따라 변화할 수 있기 때문이다. 예를 들어, 사용자 A는 과거에는 사용자 B와 유사한 평가이력을 가졌으나, 최근에는 사용자 B보다 사용자 C와 더 유사하고, A와 B 간 유사도값과 A와 C 간의 유사도값이 동일하다고 가정하자. 기존 방법으로는 A를 위한 추천 항목을 결정할 때 B나 C의 평가이력을 동일한 가중치로 참조하였으나, 본 연구 방법에서는 최근일수록 더욱 높은 가중치를 두는 정책을 취한다.

2. Formulation

본 연구에서 제안하는 협력 필터링 방법의 구체적인 절차는 다음과 같다. 표 1은 절차에서 언급한 기호들의 의미를 제시한다.

Table 1. Description of symbols used by the proposed method

1. 사용자들의 평가 이력을 포함한 전체 데이터 집합 R 을 평가 시각을 기준으로 n 개의 부분 집합, R₁, R₂, ..., R_n 으로 분할한다. 즉, R_k 에 속한 모든 평가치의 평가 시각은 R_k+1 의 그것보다 앞선다.

2. 각 부분 집합 Rk에 대해, 임의의 두 사용자 간, 그리고 임의의 두 항목 간 유사도를 각각 피어슨 상관도로써 산출한다[1][5]. 즉, 사용자 u와 v 간의 유사도 USIM은 아래와 같이 정의한다.

\(\operatorname { USIM } _ { R _ { k } } ( u , v ) = \frac { \sum _ { i \in I } ( r _ { u , i } - \overline { r } _ { u } ) ( r _ { v , i } - \overline { r } _ { v } ) } { \sqrt { \sum _ { i \in I } ( r _ { u , i } - \overline { r } _ { u } ) ^ { 2 } } \sqrt { \sum _ { i \in I } ( r _ { v , i } - \overline { r } _ { v } ) ^ { 2 } } }\)       (1)

두 항목 i와 j 간의 유사도값은 다음과 같다.

\(ISIM_{R_k}(i,j) = \\\frac{\sum_{u \in U_i \cap U_j}\left(r_{u, i}-\bar{r}_i\right)\left(r_{u, j}-\bar{r}_j\right)}{\sqrt{\sum_{u \in U_i \cap U_j}\left(r_{u, i}-\bar{r}_i\right)^2} \sqrt{\sum_{u \in U_i \cap U_j}\left(r_{u, j}-\bar{r}_j\right)^2}}\)       (2)

위 식에서 \(r _ { u , i } \in R _ { k } , r _ { v , i } \in R _ { k } \quad , \overline { r } _ { i } = \sum _ { u \in U _ { i } \cap U _ { j } } r _ { u , i }\) 이다.

3. 앞 절차에서 평가시각에 따라 분할된 부분 데이터집합에 대하여 산출한 각 유사도값을 통합하여, 두 사용자 u와 v 간의 최종 유사도 USIM과 항목 i와 j 간의 최종유사도 ISIM을 산출한다. 통합을 위한 기본 아이디어는 최근의 유사도일수록 기하급수적으로 큰 가중치를 부여하여 영향력의 크기를 증가시키는 것이다. 아래 식에서 가중치는 지수함수를 도입하였고 평가 시각 k가 증가함에 따라 기하급수적으로 커지므로 최신 값의 영향이 커진다.

\(\operatorname { USIM } ( u , v ) = \frac { \sum _ { k = 1 } ^ { n } e ^ { \lambda k } \cdot \operatorname { USIM } _ { R _ { k } } ( u , v ) } { \sum _ { k = 1 } ^ { n } e ^ { \lambda k } } , \lambda > 0\)       (3)

\(\operatorname { ISIM } ( i , j ) = \frac { \sum _ { k = 1 } ^ { n } e ^ { \lambda k } \cdot \operatorname { ISIM } _ { R _ { k } } ( i , j ) } { \sum _ { k = 1 } ^ { n } e ^ { \lambda k } } , \lambda > 0\)       (4)

4. 현 사용자 u가 미평가한 항목 x에 대한 예측치를 산출하기 위한 과정은 다음과 같다. 우선 사용자 u의 인접사용자 이웃 집합 UNN 와 x의 인접 항목 이웃 집합 u INN를 구한다. 이 두 집합의 합으로써 x에 대한 평가 x 치가 존재하는 최종 인접 이웃 집합 NN_u,x 를 구한다. 즉, NN_u,x 의 구성원은 두 종류인데 이웃 사용자 또는 이웃 항목이다. 미평가는 ‘-’ 기호로써 표기하였다.

\(\left. \begin{array} { l }{ N N _ { u , x } = \{ v \in U N N _ { u } | r _ { v , x } \neq - \} \cup }\\{ \{ j \in I N N _ { x } | r _ { u , j } \neq - \} } \end{array} \right.\)       (5)

평가 예측치는 위 집합에 속한 이웃 사용자 또는 이웃항목 평가치들의 가중합(weighted sum)으로써 아래와 같이 산출한다[22].

\(\hat { r } _ { u , x } = \frac { 1 } { \sum _ { n \in N N _ { u x } } | S I M _ { n } | } \sum _ { n \in N N _ { u , x } } S I M _ { n } \cdot \text { rval } _ { n }\)       (6)

\(\operatorname { rval } _ { n } = \left\{ \begin{array} { l } { \overline { r } _ { u } + r _ { n , x } - \overline { r } _ { n } , \text { if } n \in U N N _ { u } } \\ { \overline { r } _ { x } + r _ { u , n } - \overline { r } _ { n } , \text { if } n \in I N N _ { x } } \end{array} \right.\)       (7)

위 식에서 SIM_n은 n이 사용자일 때는 USIM(u, n)이고 항목일 경우에는 ISIM(x, n)이다. 이웃 집합의 크기는 시스템의 성능에 따라 결정할 수 있는데, 만약 일부분만을 반영할 경우에는 이웃들의 유사도 크기 순으로 정렬하여 가장 큰 유사도의 이웃 평가치부터 우선적으로 참조한다.

IV. Performance Experiments

1. Design of Experiments

협력 필터링 시스템 연구에 활용되는 연구용 공개 데이터셋들은 대개 평가 시각 정보를 포함하지 않는다. 예외적으로 MovieLens는 영화 장르 정보 뿐만 아니라 평가자의 나이, 성별, 직업 정보, 평가시각 등을 제공하므로 연구 활용도가 높다. 본 연구에서는 사용자ID, 영화ID, 평가치, 평가시각의 정보를 참조하였다. 구체적으로 MovieLens 1M 데이터 중에서 2000명의 사용자가 3952개의 영화에 대해 부여한 평가데이터를 활용하였다. 평가치 범위는 1부터 5 사이의 정수값이다.

협력 필터링 시스템의 평가는 미평가 항목에 대한 평가 예측치가 얼마나 사용자의 선호에 실제로 부합하는지를 알아 보는 것이다. 기존 연구에 따르면 크게 두 가지 측면에서 평가를 진행하였는데, 예측 성능과 추천 성능이다 [1][5]. 전자를 위하여 평균 절대 오차(MAE, Mean Absolute Error), 정규화된 MAE(NMAE, Normalized Mean Absolute Error), 그리고 평균 제곱근 오차(RMSE, Root Mean Squared Error)가 대표적으로 사용된다. 본 연구에서는 MAE와 RMSE를 채택하여 성능 비교를 실시 하였다.

추천 성능은 시스템이 평가 예측치를 토대로 결정한 추천 리스트가 사용자의 선호에 부합하는 정도를 말하는데, 주로 정밀도(Precision), 재현율(Recall), 그리고 이 둘을 결합한 F1 척도를 사용한다[1][5]. 본 연구에서는 가장 널리 활용되어 왔던 평균 정밀도(Mean Average Precision) 을 도입하였다. 사용자 선호 기준은 데이터셋의 평가치 범위를 고려하여 평가치가 4 이상이면 선호하는 것으로 규정하였다.

Fig. 1. Prediction accuracy of the collaborative filtering methods

이 밖에도 실험 기법에 따른 시스템에서 제시한 추천 리스트의 순위가 사용자가 선호하는 항목 순으로 되었는지를 평가하기 위하여 NDCG(Normalized Discounted Cumulative Gain)를 산출하였다[1].

본 연구에서 제안한 방법(PROP_UIB)의 성능과 비교 검토하기 위한 기존 방법들을 선정하기 위하여, 관련도가 높은 피어슨 상관 기반의 유사도를 활용한 방법들로서, 사용자 기반(COR_UB)과 항목 기반(COR_IB) 시스템을 기본으로 하고, 이들과 대응하여 본 연구에서 제안한 시간 인지방법을 사용자 간 유사도 산출에만 적용한 방법(PROP_UB)과 항목간의 유사도 산출에만 적용한 방법(PROP_IB)을 추가하였다. 또한, 가장 대표적인 시간 인지협력 필터링 기법으로서 이후 많은 연구 결과의 토대가 되어 왔던 [16]의 방법(DL)과의 성능 비교도 실시하였다. 실험에 포함된 모든 방법들의 유사도 산출 공식은 공정한 성능 비교 평가를 위하여 피어슨 상관도를 공통적으로 활용하였다. 표 2는 성능 비교를 위한 추천 모델들을 정리 및 제시하였다.

Table 2. Recommender system models used for performance experiments

2. Performance Results

2.1 Prediction Accuracy

미평가 항목에 대한 시스템의 평가 예측치가 얼마나 정확한 지를 알아보기 위하여 그림 1에 MAE와 RMSE를 제시하였다. MAE 결과에서 사용자 기반 시스템은 항목 기반 보다 성능이 낮음을 알 수 있는데, 이는 항목에 대한 평가개수가 대체로 더 많으므로 항목 기반으로 산출된 유사도값이 더 신뢰할 만하다는 것을 의미한다. 각 방식에 대하여 본 연구의 시간 인지 방식을 적용하면 예측 정확도가 향상됨을 PROP_UB와 PROP_IB의 결과로 확인할 수 있다. 그러나 그 효과는 항목 기반 방식에서 더욱 크게 나타난 것으로 보아, 항목 간의 유사도는 시간에 따라 변화한다는 것이 더욱 사실로 드러났다. 한편 과거 항목에 대한 평가치에 대해 낮은 가중치를 부과하는 DL은 앞에서 언급한 네가지 방식보다 우수한 성능을 보였으나, PROP_UIB 가 이보다 훨씬 좋은 예측 성능을 나타냈으므로, 항목과 사용자 간의 유사도를 시간 인지 기반으로 통합한 제안 방법의 타당성이 입증되었다.

RMSE 결과는 예측치와 실제치의 차이를 동일하게 취급하는 MAE와는 다르게 차이가 클수록 낮은 정확도를 가진 것으로 간주한다. 그림 1에서 MAE와 마찬가지로 제안방법을 적용하면 더욱 우수한 성능을 가져옴을 PROP_UB 와 PROB_IB 결과로 알 수 있다. 그러나, MAE 결과와는 달리, 항목 기반 방법들이 가장 저조한 성능을 보였으며, DL은 전통적인 사용자 기반 방법인 COR_UB보다도 성능이 낮으므로, 예측치와 실제치의 차이가 매우 큰 경우가 더욱 빈번함을 알 수 있다. RMSE 성능에 있어서도 PROP_UIB는 가장 우수한 성능을 나타내므로 전반적으로 예측치가 실제치에 가장 근접함을 증명한다.

Fig. 2. Recommendation accuracy of the collaborative filtering methods

2.2 Recommendation Accuracy

그림 2는 각 방법에서 산출한 추천 리스트에 대한 사용자의 만족도를 나타낸다. 이웃 사용자 수 60명이 예측한 평가치가 높은 추천 항목들 수를 변화함에 따라 정확도와 순위 성능의 변화를 제시하였다. MAP 성능면에서 대략적으로 사용자 기반의 방법들과 나머지 방법들의 두 그룹으로 나뉘는데, 전자의 성능이 상대적으로 낮은 결과를 보였다. 예상과는 다르게 전통적인 항목 기반 방법인 COR_IB 는 매우 높은 결과를 보였으며, 시간 인지 기법을 적용한 방법들과 거의 대등한 성능을 나타냄을 알 수 있다. 이는 예측 성능 지표인 MAE와는 달리 사용자의 만족 여부를 측정하기 때문에 정확한 수치 차이를 다루지 않기 때문인 것으로 파악된다.

추천 리스트 상의 항목 순위에 대한 만족도는 NDCG 결과로 알 수 있는데 그림 2에서처럼 추천 리스트 크기가 작을 때는 DL이 우수하며, 크기가 커질수록 그 효과는 감소하였다. 추천 항목이 많을 경우 PROP_UIB가 가장 우수한 성능을 보였다. 또한 MAP의 결과와 마찬가지로 사용자 기반의 방법들은 다른 방법들보다 저조한 순위 성능을 나타냈다. 다만, 추천 성능에 있어서는 예측 성능과는 달리 예측치의 정확성을 평가하지 않고, 추천 하한값 보다 큰지 작은지만을 판단하기 때문에, 제안 방법의 우수성이 일반적으로 드러나지 않은 것으로 보인다.

V. Conclusions

본 연구에서는 새로운 시간 인지 반영의 협력 필터링 기반 추천 시스템을 제안하였다. 제안 방법의 특징은 첫째, 기존보다 유효한 인접 이웃의 수를 증가시키기 위하여 사용자 기반과 항목 기반으로 각각 유사도를 산출하여 통합하였으며, 둘째, 항목에 대한 과거 평가치에 대해 낮은 가중치를 부여하는 것이 아니라 다른 항목 및 사용자들과의 과거 유사도값에 대해 낮은 가중치를 부여하였다. 특히 두번째 특징은 기존의 시간 인지 반영 기법들과는 매우 다른 방식이다.

실험을 통하여 예측 성능, 추천 성능, 순위 성능을 살펴보고 기존 방법들과 비교하였다. 결과적으로 예측 성능 측면에서 제안 방법은 가장 우수하였다. 향후 시간 인지 외에 다른 상황 인지를 복합적으로 반영하는 연구를 진행하는 것이 추가 과제이고, 항목의 특성을 고려하여 평가 시간에 의한 가중치 함수를 다양화할 필요가 있다. 또한, 연구용 개방 데이터셋이 대개 시간 요소를 포함하고 있지 않아 더욱 세밀한 실험 평가에 어려움이 있으므로, 이를 극복할 수 있는 방안이 마련되어야 할 것이다.