A Causal Recommendation Model based on the Counterfactual Data Augmentation: Case of CausRec

반사실적 데이터 증강에 기반한 인과추천모델: CausRec사례

Abstract

A single-learner model which integrates the user's positive and negative perceptions is proposed by augmenting counterfactual data to the interaction data between users and items, which are mainly used in collaborative filtering in this study. The proposed CausRec showed superior performance compared to the existing NCF model in terms of F1 value and AUC in experiments using three published datasets: MovieLens 100K, Amazon Gift Card, and Amazon Magazine. Compared to the existing NCF model, the F1 and AUC values of CausRec showed 1.2% and 2.6% performance improvement in MovieLens 100K data, and 2.2% and 10% improvement in Amazon Gift Card data, respectively. In particular, in experiments using Amazon Magazine data, F1 and AUC values were improved by 11.7% and 21.9%, respectively, showing a significant performance improvement effect. The performance of CausRec is improved because both positive and negative perceptions of the item were reflected in the recommendation at the same time. It is judged that the proposed method was able to improve the performance of the collaborative filtering because it can simultaneously alleviate the sparsity and imbalance problems of the interaction data.

1. 서론

딥러닝 기술의 발전과 함께 추천시스템의 상용화 속도가 가파르게 증가하고 있다. 추천시스템 구현 방법 중 가장 폭 넓게 사용되고 있는 협업필터링 추천 시스템은 아이템에 대한 사용자의 과거 상호작용 이력을 기반으로 아이템 별 선호도를 예측하는 것을 목표로 구성되지만 상호작용 데이터의 높은 희박도(Sparsity)로 인해 실제로 잘 작동이 되지 않는 경우가 많다. 또한 최근 협업필터링에서 사용하는 데이터 터세트는 사용자가 아이템에 대해 부여하는 평점과 같은 명시적인 피드백보다는 비용대비 효율적인 묵시적 피드백 정보로 구성되는 경우가 많으며 이로인해 다수의 긍정사례와 소수의 부정사례로 구성되는 학습데이터 불균형(Imbalanced dataset) 문제를 야기한다. 학습데이터에 불균형 문제가 존재하면 타겟 카테고리 값의 분포에 의존하여 편향된 학습이[Chen et al., 2020] 이루어지는 등 모델 학습이 어려운 경우가 자주 발생한다.

한편 협업필터링은 사용자가 아이템을 얼마나 선호하는지와 같은 긍정인식에 기반을 두고 추천을 수행한다. 그러나 특정 사용자가 특정 아이템을 부정적으로 인식하는 정도를 동시에 추천에 반영한다면 보다 정교한 추천이 가능해진다. 예를 들어 사용자 A가 아이템 I와 아이템 J를 각각 0.8과 0.6만큼 선호할 것으로 예측이 되었다면 전통적인 협업필터링 방법에서는 사용자 A에게 아이템 I를 추천하게 된다. 그러나 부정적인 상호작용 데이터가 있어서 사용자 A가 아이템 I를 0.6만큼 싫어하고 아이템 J를 0.1만큼 싫어한다는 예측이 가능하다면 사용자 A의 아이템별 긍정인식과 부정인식의 차이는 아이템 I가 0.8-0.6=0.2, 아이템 J가 0.6-0.1=0.5가 되어 아이템 J를 추천하는 것이 더 효과적일 것이다. 특히 영화나 음악과 같은 기호제품일수록 사용자의 상호작용 피드백 정보는 신중한 의사결정이라기 보다는 막연한 선택인 경우가 많아서 긍정인식과 부정인식을 종합한 추천결과가 보다 효과적일 수 있다.

본 연구에서는 최근 인과추천 연구에서 아이디어를 얻어 사용자의 긍정인식 위주로 구성된 상호작용 데이터에 반사실적 데이터를 증강하는 방식으로 상호작용 사례를 추가하고, 메타러너 모델 구축 기법을 적용하여 사용자의 긍정인식과 부정인식을 종합한 협업필터링 추천 방법을 제안한다. 보다 구체적으로 본 연구에서 제안한 추천 방법은 먼저 긍정적인 상호작용 위주로 구성된 원본 불균형 데이터세트을 토대로 각 상호작용 사례에 처치와 결과 필드를 추가하여 반사실적 상호작용 사례를 증강한 후, 메타러닝 모델의 일종인 싱글러너모델(Single-learner Model)을 학습하고, 긍정인식과 부정인식의 차이를 통해 최종 선호도를 예측하는 모델을 제안한다. 제안한 방법은 상호작용 데이터의 희박도 문제와 불균형문제를 동시에 완화할 수 있어서 협업필터링 추천의 성능을 향상할 수 있다. 또한 기존 인과추론에 기반한 추천시스템 연구는 대부분 인기편향(Popularity bias), 위치편향(Position bias), 노출편향(Exposure bias) 등 사용자 피드백에 있어서 편향을 제거하는데 초점을 맞추고 있거나 추천 아이템에 대한 상호작용 가능성 측면에서 인과효과[Xu et al., 2021]를 추정하는 데 집중하고 있는데 반해 본 연구는 반사실 데이터 증강을 통한 선호인식의 차이에 대한 인과효과를 추정하는데 초점을 둔다는 점에서 기존 연구와 차별화 된다.

2. 문헌연구 내용

최근 인과머신러닝(Causal Machine Learning)에 대한 논의가 활발히 이루어지면서 추천시스템에도 인과추론 방법을 적용하고자 하는 연구가 증가하고 있다. 추천시스템에 관한 인과추론 연구는 대부분 인기편향(Popularity bias), 위치편향(Position bias), 노출편향(Exposure bias) 등 사용자 피드백에 있어서 편향을 제거하는데 초점을 맞추어 왔는데 이는 사용자 피드백이 아이템 노출여부 또는 표시된 위치에 따라 주로 결정되었기 때문이다. Wang et al.[2016]은 무작위 실험을 통해 선택 편향을 추정할 것을 제안하고 클릭 신호로 계산된 훈련 손실편향을 제거하기 위해 IPS(inverse propensity score)를 사용하였다. 성향 분산의 영향을 완화하기 위해 전가된 오류와 성향을 통합하는 이중강인(double robust) 방법도 제안하였다. Joachims et al.[2017]은 IPS 프레임워크를 분석하여 이론적, 경험적으로 편향되지 않은 학습을 실현할 수 있음을 보여주었다.

사용자 피드백의 편향성을 제거하기보다는 추천 아이템의 인과효과[Xu et al., 2021]를 추정하는 데 집중한 연구로는 Sato et al.[2019], Bonner and Vasile[2018], 그리고 Xie et al.[2021]의 연구가 있다. 일반적인 추천시스템은 특정사용자가 클릭이나 구매 등 상호작용할 가능성이 가장 높은 아이템을 추천하는 것을 목표로 하고 있다. 그러나 추천시스템이 추천을 하지 않더라도 해당 사용자가 특정 아이템과 상호작용할 가능성이 높다면 이 아이템은 추천할 이유가 없다. 결국 효과적인 추천이란 상호작용할 가능성이 높은 아이템을 추천하는 것이 아니라 추천하지 않았다면 상호작용할 가능성이 매우 낮지만 추천할 경우 상호작용할 가능성이 높아지는 아이템 즉 추천효과가 큰 아이템을 추천하는 것이다. 이러한 방식으로 효과적인 아이템을 추천하기 위해서는 추천의 인과효과를 추정하는 것이 필수적이다. 그러나 인과효과를 추정하기 위해서는 특정사용자에게 특정아이템에 대한 추천(처치=1) 및 비추천(처치=0)을 동시에 해야 하지만 동시에 사용자에게 아이템을 추천하거나 추천하지 않는 것은 불가하기 때문에 실질적인 인과 효과를 구하기는 어렵다. 또한 무작위 통제 시험(RCT)을 통해 인과효과를 구하는 것을 생각해 볼 수 있으나 실험 비용이 많이 들어 실용적이지 않다.

한편 추천문제를 이진 분류 문제로 정의하여 추천에 의한 구매확률 증가효과를 모델에 반영하여 인과효과를 추정한 연구도 있다[Sato et al., 2019]. Bonner and Vasile[2018]은 매개변수에 정규화를 적용하여 추천을 포함한 모델과 추천을 포함하지 않은 모델 두 개의 예측 모델을 훈련하고 두 모델의 예측값 간의 차이로 추천의 인과효과를 추정하는 방법을 제안하였다. 추천 아이템의 인과효과 추정을 통해 아이템 추천 방법을 제안한 최근의 연구로는 Xie et al.[2021]의 연구가 있다. 이 연구에서는 널리 사용되는 협업필터링(CF) 기법에서 영감을 얻은 CausCF(Causal Collaborative Filtering) 기법을 제안하였다. 이 연구에서는 유사한 사용자는 항목에 대한 취향이 비슷할 뿐만 아니라 추천에 따른 처치 효과도 유사하다는 생각을 기반으로 한다. CausCF는 고전적인 행렬 분해를 세 가지 차원(사용자, 항목 및 처치)을 사용하여 텐서 분해로 확장하였다. 또한 회귀 불연속 설계(RDD)를 사용하여 다양한 모델에서 추정된 인과 효과의 정확도를 평가하였으며 오프라인 및 온라인 실험을 통해 제안한 CausCF의 인과관계 추정 및 순위 성능 향상에 대한 효과를 입증한 바 있다. 인과효과를 추정하기 위한 기존 연구들은 제안한 방법을 공개 데이터 세트에 적용하여 유용한 결과를 얻었지만 성능차이가 사소하거나 실험결과가 무작위 방법에 크게 의존하는 결과를 나타내기도 하였다.

한편 훈련데이터의 희박성과 편향 문제 해결을 위해 훈련데이터에 반사실적 데이터를 증강하는 연구도 출현하고 있다. Wang et al.[2021]은 순차추천을 위한 반사실적 데이터증강 방법을 제안하였다. 이 연구에서는 불완전한 훈련데이터의 영향을 완화하여 순차적 추천모델을 강화하기 위한 반사실적 데이터 증강 프레임워크을 제안하였다. 제안된 프레임워크는 샘플러모델과 앵커모델로 구성되는데 샘플러모델은 관찰된 행동 순서에 기반하여 새로운 사용자 행동 순서를 생성하는 것을 목표로 하며 앵커모델은 관찰된 행동순서와 생성된 행동순서 모두를 훈련데이터로 사용하여 최종 추천리스트를 만든다. 여기서 샘플러모델은 “이전에 구매한 아이템이 달랐다면 사용자는 무엇을 구매할까?”라는 반사실적 질문에 답을 하는 모델이며 앵커모델로는 RNN, CNN, Transformer 등이 사용 가능함을 제안하였다. Wang et al.[2023]은 반사실적 데이터 증강 프레임워크인 AD-AUG를 제안하였다. AD-AUG에서는 증강모델과 추천모델을 적대적학습 방식으로 통합한 추천 프레임워크를 제안하고 있는데 증강모델은 관찰된 것을 기반으로 반사실적 사용자 피드백을 생성하는 것을 목표로 하고, 추천모델은 원본 및 반사실적 사용자 피드백 데이터를 활용하여 최종 추천을 수행하게 된다. 세개의 실제 데이터 세트에 대한 실험을 통해 AD-AUG가 일반적인 협업 필터링 보다 성능을 향상시킬 수 있음을 보여주었다.

추천시스템에 인과추론을 적용한 기존연구를 종합하면 크게 추천시스템의 탈편향을 위한 연구, 인과효과 추정에 기반한 추천시스템 연구, 반사실 데이터 증강에 기반한 추천시스템 연구로 구분될 수 있으며 이를 표로 나타내면 <Table 1>과 같다. 기존 인과추론에 기반한 추천시스템 연구는 대부분 인기편향(Popularity bias), 위치편향(Position bias), 노출편향 (Exposure bias) 등 사용자 피드백에 있어서 편향을 제거하는데 초점을 맞추고 있거나 추천 아이템에 대한 상호작용 가능성 측면에서 인과효과[Xu et al., 2021]를 추정하는 데 집중하고 있는데 반해 본 연구는 반사실 데이터 증강을 통한 선호인식의 차이에 대한 인과효과를 추정하는데 초점을 둔다는 점에서 기존 연구와 차별화 된다고 할수 있다.

<Table 1> Existing Research About Recommendation Based on Causal Inference

3. 인과추론 기반 추천시스템: CausRec

본 연구에서는 인과머신러닝 방법 중 하나인 반사실적 데이터 증강 방법을 활용하여 훈련데이터를 보강하는 방식으로 데이터의 희박성 문제와 불균형 문제를 완화하고 추천시스템의 성능을 향상하는 CausRec(Causal Recommender)을 제안한다. CausRec은 특정 사용자가 특정 아이템을 긍정적으로 인식하는 정도와 부정적으로 인식하는 정도를 동시에 반영하여 추천하는 싱글러너모델(Single-learner Model) 기반의 추천시스템이다.

일반적으로 인과추론에서는 처치(Treatment) 집단의 각 사례에 대해“처치를 받지 않았다는 가정 하에 나오는 가상의 결과”를 반사실(Counterfactual)이라 부르며 처치 후 결과와 반사실 결과를 비교하여 인과효과를 추정하게 된다. 협업필터링 추천에 있어서도 상호작용 데이터세트에 존재하는 긍정사례와 부정사례 각각에 대해 반사실을 추정할 수 있다. 이와 같이 CausRec에서는 반사실 데이터를 생성하는 방식으로 훈련데이터를 증강한다. 먼저 “사용자, 아이템, 평가점수”로 구성된 원본 상호작용 데이터세트에 호불호를 구분하는 처치필드와 호불호의 정도를 나타내는 결과 필드를 추가하여 “사용자, 아이템, 처치(호불호), 결과(호불호점수)”구조로 변경한다. 그리고 데이터세트 내의 모든 긍정사례에 대해서는 반사실 관계를 이용하여 부정사례를 만들고, 부정사례에 대해서는 반사실 관계를 이용하여 긍정사례를 추가하여 데이터세트를 증강한다. 예를 들어 별점 1, 2를 부정사례, 별점 3, 4, 5를 긍정사례로 구분한다면 <Table 2>는 긍정사례와 부정사례 각각에 대해 데이터 증강이 어떻게 이루어지는지 보여주고 있다. <Table 2>에서 “x, y, 5”와 같은 긍정사례에 대해 증강된 상호작용 데이터의 의미를 해석하면 “x가 y를 좋아하는 정도는 5점이며, 싫어하는 정도는 1점”으로 해석할 수 있다. 이와 같이 데이터 증강이 이루어지면 타겟값이 별점이 아니라 결과 필드가 되며 반사실 데이터의 증강 때문에 타겟값의 불균형도가 완화된다.

<Table 2> An Example of Counterfactual Data Augmentation

상호작용 데이터에 대한 증강이 완료되면 학습모델을 구성하여 훈련을 하게 된다. 이때 학습모델은 He et al.[2017]과 He and Chua[2017]에 의해 제안된 뉴럴협업필터링(NCF; Neural Collaborative Filtering) 모델을 변형하여 사용하기로 한다. 원래 NCF모델은 사용자ID와 아이템ID를 입력으로 받게 되지만 CausRec에서는 처치필드를 입력값으로 추가하여 훈련을 하게 된다. 따라서 CausRec에 사용된 NCF모델은 <Figure 1>과 같이 사용자ID와 아이템 ID를 입력받아 잠재공간에서 사용자-아이템 간 복잡한 상호작용을 표현한 임베딩벡터를 산출하고 여기에 처치가 결합(Concatenate)되어 최종 출력값을 산출하는 구조로 설계되어 있다.

<Figure 1> Neural Collaborative Filtering Achitecture for CausRec

모델 학습이 완료되면, 기존 협업필터링 모델에서는 아래 수식과 같이 사용자 x가 아이템 y를 좋아할 확률로 선호도 예측이 이루어졌다.

P(r = 1 | x,y)

그러나 CausRec에서는 싱글러너모델의 추론방식을 채택하여 아래 수식과 같이 사용자 x가 아이템 y를 좋아할 확률과 싫어할 확률을 각각 구하여 이를 차감하여 선호도 예측이 이루어진다.

P(Y = 1 | x,y,w = 1) - P(Y = 1 | x,y,w = 0)

상기 제시한 내용대로 CausRec의 모델 학습 및 추론 절차를 요약하면 <Figure 2>와 같다. <Figure 2>의 (1)행에서는 전체 상호작용 데이터를 훈련데이터와 시험용 데이터로 구분하게 되며, (2)행에서는 훈련데이터와 시험데이터에 각각 처치와 결과 필드를 더한 후 <Table 2>와 같은 방식으로 반사실 데이터를 추가하게 된다. (3)행에서는 반사실 데이터가 추가된 훈련데이터에 <Figure 1>과 같은 NCF모델을 적용하여 싱글러너 모델을 학습하게 된다. (4)행에서는 학습된 싱글러너 모델을 시험용 데이터에 적용하여 긍정인식 예측값과 부정인식 예측값을 구하고 그 차이를 계산하여 최종 선호도를 구한다. 마지막으로 (5)행에서는 시험용 데이터를 이용한 성능평가를 수행하게 된다.

<Figure 2> Procedure of Learning and Inference for CausRec

4. 실험

제안한 CausRec의 성능 비교를 위해 기존 뉴럴협업필터링(NCF) 모델을 베이스라인 모델로 선정하였다. 실험을 위해 MovieLens 100K, Amazon Gift Card, Amazon Magazine 등 세 개의 공개된 데이터세트를 이용하였다. 먼저 MovieLens 100K 데이터세트는 943명의 사용자와 1,682개의 영화에 대한 총 100,000개 평가 데이터로 구성되어 있다. 평가값의 범위는 1점부터 5점까지이며 각 사용자는 최소 20개 이상의 영화를 평가하고 있다. 총 평가 데이터 중 긍정사례에 해당하는 평점 3점, 4점과 5점은 82,520개이고, 평점 1점과 2점에 해당하는 부정사례 데이터는 총 17,480개로 다소 불균형한 데이터세트라 할 수 있다.

Amazon Gift Card 데이터세트는 아마존 기프트 카드 카테고리의 상호작용 데이터로 총 147,194건의 상호작용 사례들로 구성되어 있다. 이 중 별점 3이상인 긍정 상호작용 사례가 138,385건, 부정 상호작용 사례가 8,809건으로 불균형도가 높은 데이터세트이다. 마지막으로 Amazon magazine 데이터는 아마존의 잡지 구독에 대한 89,689건의 상호작용 데이터로 구성되어 있으며 73,437건의 긍정사례와 16,252건의 부정사례를 포함하고 있다. 각 데이터셋에 대한 불균형도를 표로 정리하면 <Table 3>과 같다.

<Table 3> Level of Imbalance for Each Dataset

성능 평가지표로는 정밀도(Precision)와 재현율(Recall), F1, 그리고 AUC를 사용하였다. 이중 AUC는 가로축을 특이도(Specificity)로 하고 세로축을 재현율(Recall) 또는 민감도(Sensitive)로 하여 시각화 한 ROC 그래프의 면적으로 계산하며 최대값은 1이 된다. 일반적으로 이진분류문제의 경우 분류 임계값에 따라 예측정확도가 달라질 수 있다. 즉 분류 임계값을 낮추면 더 많은 항목이 양성으로 분류되므로 참양성율(TPR)과 거짓양성율(FPR)이 모두 증가하게 된다. 이때 ROC커브나 AUC값을 사용하면 모든 가능한 분류 임계값을 고려한 예측 성능을 비교할 수 있다. 정밀도, 재현율, F1 값은 긍정과 부정 사례 수를 가중치로 사용한 가중평균값을 이용하여 계산하였다. 특히 F1값은 정밀도와 재현율을 조화평균하여 구한 값이기 때문에 모델의 성능을 비교할 때 유용하게 사용될 수 있다.

실험결과는 <Figure 3>, <Figure 4>, 그리고 <Figure 5>에 제시된 바와 같다. 먼저 <Figure 3>의 Movie Lens 데이터셋에서는 기존 NCF모델과 비교하여 제안한 CausRec모델의 성능이 근소하게 개선된 것으로 나타났다. 즉 기존 NCF모델의 정밀도와 재현율은 각각 0.82 였으며, 제안한 CausRec의 정밀도와 재현율은 0.82, 0.83으로 나타났다. F1값과 AUC값은 NCF모델이 0.82, 0.76인데 비해 CausRec의 F1값과 AUC값은 0.83, 0.78로 근소한 차이의 성능 개선을 보여주었다.

<Figure 3> Experiment Result of Movie Lens Dataset

<Figure 4> Experiment Result of Amazon Gift Card Dataset

<Figure 5> Experiment Result of Amazon Magazine Subscription Dataset

<Figure 4>의 Gift Card 데이터셋에서는 CausRec 모델의 성능이 기존 NCF모델 대비 보다 개선되는 것을 볼 수 있다. 즉 기존 NCF모델의 정밀도와 재현율은 각각 0.93, 094였으며, 제안한 CausRec의 정밀도와 재현율은 각각 0.95로 나타났다. 또한 기존 NCF모델의 F1값과 AUC값은 각각 0.91, 0.60인데 비해 CausRec의 F1값과 AUC값은 0.93, 0.66으로 나타나 성능개선의 정도가 Movie Lens 데이터셋보다 크게 나타났다.

<Figure 5>의 Magazine Subscription 데이터셋에서는 CausRec모델의 성능이 기존 NCF모델 대비 현저히 개선되는 것을 볼 수 있다. 즉 기존 NCF모델의 정밀도와 재현율은 각각 0.80, 083이였으며, 제안한 CausRec의 정밀도와 재현율은 각각 0.86, 0.87로 나타났다. 또한 기존 NCF모델의 F1값과 AUC값은 각각 0.77, 0.64인데 비해 CausRec의 F1값과 AUC값은 0.86, 0.78로 나타나 성능개선의 정도가 두드러지게 나타났다.

종합하면, 세가지 공개 데이터세트를 이용한 실험에서 본 연구에서 제안한 CausRec의 성능이 기존 NCF 모델 보다 우수한 것으로 나타났다. 먼저 MovieLens 100K 데이터의 경우, 기존 NCF모델의 F1값과 AUC값은 각각 0.82, 0.76인데 비해 CausRec의 F1값과 AUC값은 0.83, 0.78로 보다 높은 성능을 나타내었다. Amazon Gift Card 데이터를 사용한 실험에서도 기존 NCF모델의 F1값과 AUC값은 각각 0.91, 0.60인데 비해 CausRec의 F1값과 AUC값은 0.93, 0.66으로 나타났으며, Amazon Magazine 데이터에서는 기존 NCF모델의 F1값과 AUC값이 0.77, 0.64인데 비해 CausRec의 F1값과 AUC값은 0.86, 0.78로 현저한 성능개선을 나타냈다. CausRec이 기존 NCF모델 보다 개선된 성능을 나타낸 것은 반사실적 데이터 증강으로 인해 희박도(Sparsity)문제를 완화할 뿐 아니라 타겟 데이터의 불균형도를 동시에 완화하였기 때문으로 해석될 수 있다. 또한 긍정인식과 부정인식을 종합하여 추천이 이루어지기 때문에 기존의 긍정인식 만으로 추천할 때 보다 정확한 추천이 가능하였을 것으로 생각해 볼 수 있다.

5. 결론

본 연구에서는 최근 인과추천 연구에서 아이디어를 얻어 사용자의 긍정인식 위주로 구성된 상호작용 데이터에 반사실적 데이터를 증강하는 방식으로 상호작용 사례를 추가하고, 싱글러너 모델 구축 기법을 적용하여 사용자의 긍정인식과 부정인식을 종합한 협업필터링 추천 방법을 제안하였다. 제안한 CausRec은 MovieLens 100K, Amazon Gift Card, Amazon Magazine 등 세 개의 공개된 데이터세트를 이용한 실험에서 F1값과 AUC측면에서 기존 NCF모델 대비 우수한 성능을 나타내었다. CausRec의 F1값과 AUC값은 기존 NCF모델의 F1값과 AUC값 대비하여, MovieLens 100K 데이터에서는 각각 1.2%, 2.6%의 성능향상을 보여주었으며, Amazon Gift Card 데이터에서는 2.2%, 10%의 향상을, Amazon Magazine 데이터에서는 11.7%, 21.9%의 현저한 성능개선을 보여주었다.

CausRec이 우수한 성능을 나타낸 것은 사용자가 아이템을 얼마나 선호하는지와 같은 긍정인식에 기반을 두고 추천을 하는 기존 협업필터링 모델과 달리 특정 사용자가 특정 아이템을 부정적으로 인식하는 정도를 동시에 추천에 반영하였기 때문일 것으로 판단된다. 제안한 방법은 또한 상호작용 데이터의 희박도 문제와 불균형문제를 동시에 완화할 수 있기 때문에 협업필터링 추천 방법의 성능을 향상할 수 있었던 것으로 판단된다.

본 연구에서는 제안한 CausRec의 추천성능을 공개된 세 개의 데이터세트에 적용하여 확인하였다. 그러나 세 개의 데이터세트에 적용한 성능평가만으로 성능개선을 확신하기에는 한계가 존재한다. 따라서 향후 연구로써 다양한 데이터세트를 대상으로 확대하여 제안한 시스템의 성능을 확인할 필요가 있다. 특히 희박도와 불균형도가 상이한 다양한 데이터세트에 적용하여 희박도 및 불균형도에 따라 CausRec의 성능이 어떻게 달라지는지 비교하는 것도 필요할 것으로 보인다. 또한 CausRec을 이용한 추천결과를 훈련데이터 증강에 활용함으로써 훈련데이터의 희박도 개선을 위한 피드백 체계를 구성하여 성능 향상여부를 확인하는 것도 필요할 것이다.

제안한 CausalRec은 전자상거래와 콘텐츠 플랫폼, 컴뮤니티 등에서 제품이나 사용자 추천이 필요한 다양한 응용에 실무적으로 활용이 가능할 것이다. 특히 CausalRec은 불균형도가 높고 데이터 희박도가 높은 추천시스템 분야에 효과적으로 적용가능하기 때문에 사용자 선호정보를 묵시적 피드백을 통해 수집할 수밖에 없는 다양한 응용분야에서 유용하게 사용될 수 있을 것으로 판단된다.