A Comparison Study of RNN, CNN, and GAN Models in Sequential Recommendation

순차적 추천에서의 RNN, CNN 및 GAN 모델 비교 연구

Abstract

Recently, the recommender system has been widely used in various fields such as movies, music, online shopping, and social media, and in the meantime, the recommender model has been developed from correlation analysis through the Apriori model, which can be said to be the first-generation model in the recommender system field. In 2005, many models have been proposed, including deep learning-based models, which are receiving a lot of attention within the recommender model. The recommender model can be classified into a collaborative filtering method, a content-based method, and a hybrid method that uses these two methods integrally. However, these basic methods are gradually losing their status as methodologies in the field as they fail to adapt to internal and external changing factors such as the rapidly changing user-item interaction and the development of big data. On the other hand, the importance of deep learning methodologies in recommender systems is increasing because of its advantages such as nonlinear transformation, representation learning, sequence modeling, and flexibility. In this paper, among deep learning methodologies, RNN, CNN, and GAN-based models suitable for sequential modeling that can accurately and flexibly analyze user-item interactions are classified, compared, and analyzed.

최근 추천 시스템은 영화, 음악, 온라인 쇼핑 및 SNS 등 다양한 분야들에서 광범위하게 활용되고 있으며, 추천 시스템 분야에서 1세대 모델이라고 할수 있는 Apriori 모델을 통한 연관분석부터 최근 많은 주목을 받는 딥러닝 기반 모델들까지 많은 모델들이 제안되어왔다. 추천 시스템에서 기본 모델들은 협업 필터링(Collaborative filtering) 방법, 콘텐츠 기반 필터링(Content-based filtering) 방법, 그리고 이 두 방법을 통합적으로 사용하는 하이브리드 필터링(Hybrid filtering) 방법으로 분류될 수 있다. 하지만 이러한 모델들은 최근 점점 빠르게 변화하는 사용자-아이템 간의 상호관계와 빅데이터의 발전과 같은 내외 변화 요인들에 적응하지 못하면서 점점 분야 내 방법론으로써의 지위를 잃어가고 있다. 반면, 추천 시스템 내에서 딥러닝 기반 모델들은 비선형 변환, 표현학습, 순차적 모델링, 그리고 유연성과 같은 장점들 때문에 그 비중이 높아지고 있는 추세이다. 본 논문에서는 딥러닝 기반 추천 모델들 중에서도 사용자-아이템 간의 상호작용에 대해 보다 정확하고, 유연성 있게 분석이 가능한 순차적 모델링에 적합한 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망 중심 기반 모델로 분류하여 비교 및 분석한다.

1. 서론

추천 시스템은 사용자와 아이템에 대한 정보를 분석하여 사용자가 다음에 구매할 제품을 추천해 주는 시스템이다. 최근 영화, 음악, 그리고 온라인 쇼핑 등의 분야에서 광범 위하게 활용되고 있으며, 그 사이 추천 시스템 알고리즘 역사도 변화를 거듭하고 있다. 우선, 추천 시스템 1 세대 알고리즘이라고 할 수 있는 Apriori 알고리즘과 협업 필터링 알고리즘 등이 제안되었다. Apriori 알고리즘은 연관 상품 추천 분야에서의 대표적인 알고리즘이었고, 협업 필터링 알고리즘은 추천 시스템 관련 모델 중 분야 내 표준이 되어왔다. 이후, Apriori 알고리즘을 빅데이터 버전에 응용시킨 FP-Growth 방법론, Item2Vec 및 Matrix Factorization (행렬 분해) 등과 같은 알고리즘들이 소개되었다. Item2Vec은 마켓 상품 추천 관련해서 유사도 점수 등의 개념을 이용하고 벡터화시킨 알고리즘이며, 넷플릭스 프라이즈에서 유명해진 행렬 분해 알고리즘은 빅데이터와의 결합이 가능하다. 마지막으로, 유튜브 추천 및 구글의 Wide & Deep 등과 같이 빅테크 기업에서 제시된 딥러닝 기반 추천 모델들은 추천 시스템에서의 딥러닝 방법론 적용의 본격적인 신호탄이 되었다. 이후, 아마존과 알리바바 등과 같은 전자상거래 관련 기업들에서 딥러닝과 초개인화 기술을 결합시킨 Hierarchical RNN(H-RNN)과 개인화 Re-ranking 같은 모델들을 제시하였다.

추천시스템 모델[1]은 크게 협업 필터링 방법, 콘텐츠 기반 필터링 방법, 그리고 이 두 방법을 통합적으로 사용하는 하이브리드 필터링 방법으로 분류될 수 있다. 협업 필터링 모델은 추천에서 가장 많이 사용되는 기술로 나와 비슷한 취향을 가진 사용자들은 어떠한 아이템에 대해 비슷한 선호도를 가질 것이라는 핵심 가정을 토대로 사용자-아이템 간 상호작용 데이터를 활용하는 방법론을 말한다. 콘텐츠 기반 모델의 경우는 대상 자체의 특성을 바탕으로 추천하는 방법론으로 사용자-아이템 상호작용 데이터 없이도 아이템 자체의 이름, 카테고리, 상세 설명, 이미지 등을 활용해 유사성을 판단하고 비슷한 아이템을 추천할 수 있다. 그리고 이 두 가지 추천 시스템들의 장점을 조합한 새로운 알고리즘이 하이브리드 추천 시스템이다. 이 방법론은 신규 콘텐츠들은 콘텐츠 기반 필터링으로 분석을 진행하고 충분한 데이터가 쌓인 후 협업 필터링으로 정확성을 높이는 방식을 사용하며, 대표적인 하이브리드 추천 시스템의 예시가 바로 넷플릭스다.

하지만 이러한 기본 방법들은 최근 점점 빠르게 변화하는 사용자-아이템 간의 상호관계와 빅데이터의 발전과 같은 내외 변화 요인들에 적응하지 못하면서 점점 분야 내 방법론으로써의 지위를 잃어가고 있다. 반면, 추천 시스템 내에서 딥러닝 방법론은 현실의 데이터가 더 많은 사용자와 아이템에 대한 정보를 담게 되고, 기존의 기본적인 방식보다 데이터를 잘 이해하고 더 좋은 추천을 해주는 알고리즘의 필요성이 대두되면서 비선형 변환, 표현학습, 순차적 모델링, 그리고 유연성과 같은 장점들 때문에 그 비중이 높아지고 있는 추세다. 딥러닝 기반 추천 모델들은 크게 Multilayer Perceptron (MLP), Autoencoder (AE), Recurrent Neural Network (RNN), Convolutional Neural Network CNN), Restricted Boltzmann Machine (RBM), 그리고 Generative Adversarial Networks (GAN) 등이 대표적이다[2].

본 논문에서는 다양한 딥러닝 기반의 추천 모델들 중 지도 학습 기반 모델로서 많은 사례를 가지고 있는 RNN, CNN[3] 및 비지도 학습 기반으로 Collaborative, Context-aware, Cross-domain, 그리고 패션 등과 같은 다양한 분야에서 최근 주목받고 있는 GAN[4]에 대해 중점적으로 살펴볼 것이다. 특히, 추천 시스템은 사용자-아이템 간의 상호작용을 이해하는 것과 순차적 인과관계가 중요하기 때문에 이를 보다 정확하고, 유연하게 분석할 수 있는 순차적 모델링을 구현하면서 뛰어난 성과를 보여주고 있는 RNN, CNN 및 GAN 모델들에 대해서 비교 및 분석하고자 한다.

2. 순차적 추천 시스템 (Sequential recommender system, SRS)

순차적 추천 시스템은 협업 필터링 및 콘텐츠 기반 필터링을 포함한 전통적인 추천 시스템과 달리 순차적 사용자 행동, 사용자와 아이템 간의 상호 작용, 그리고 시간이 지남에 따라 사용자의 선호도와 아이템 인기도의 변화를 이해하고 모델링한다. 따라서 사용자의 상황, 의도 및 목표, 그리고 아이템 소비 경향에 대해 보다 정확하고 맞춤화된 동적인 추천을 제공할 수 있다. 아래 3가지 포인트는 기존 전통적인 추천 시스템 (Recommender System, RS) 방법과 비교해 순차적 추천 시스템이 추천 시스템에서 왜 중요해지고 있는지를 자세히 보여주고 있다.

1. 순차적으로 사용자-아이템 상호 작용은 종속되는 것이 본질이다. 즉, 사용자의 쇼핑 행동은 개별적으로 이루어지는 것이 아니라 순차적으로 발생되는데 이러한 종류의 순차적 종속성은 일반적으로 트랜잭션 데이터에는 존재하지만 기존 콘텐츠 기반 추천 시스템 또는 협업 필터링 추천 시스템에서는 잘 캡처되지 않는다.

2. 시간이 지남에 따라 사용자의 선호도와 아이템의 인기도는 정적인 것이 아니라 동적인 것이다. 사용자의 취향과 선호도는 시간이 지나면서 변할 수 있다. 예를 들면, 커피 믹스를 마시던 사람들이 건강에 대한 관심도가 상승하면서 아메리카노를 마신다거나 음식점에 직접 방문해 음식을 먹었던 사람들이 Covid-19로 자의적 또는 비자의적으로 배달 음식을 선호하고 있다. 이러한 역학적 관계는 보다 정확한 추천을 위해 사용자 또는 항목을 정확하게 프로파일링하는데 매우 중요하며, 순차적 추천 시스템에서만 캡처할 수 있다.

3. 일반적으로 사용자-아이템 간 상호 작용은 순차적 상황에서 발생한다. 다른 상황은 아이템들에 따라 사용자들의 다른 상호 작용을 초래할 수 있다. 협업 필터링과 같은 기존 추천 시스템에서는 이러한 점이 흔히 무시되지만 순차적 추천 시스템은 이전의 순차적 상호작용을 상황으로 사용하여 가까운 시간에 상호 작용할 항목을 예측할 수 있어 이미 선택한 항목과 동일하거나 유사한 항목을 반복적으로 추천하는 것을 피함으로써 추천 결과를 다양화하기가 훨씬 쉽다[5].

표 1은 순차적 추천 태스크와 딥러닝 모델에 관한 대표적인 알고리즘 카테고리를 보여준다. 순차적 추천에서 딥러닝 모델을 분류할 때 가장 중요한 기준은 순차적 데이터에 대한 사용자 행동 종류와 대상이다. 또한, 순차적 추천 태스크는 크게 next-item recommendation과 nextbasket recommendation으로 나뉠 수 있다. Next-item recommendation은 사용자의 행동이 특정한 한 대상에 한정되어있는 추천 상황을 의미하며, next-basket recommendation은 사용자 행동이 여러 대상의 추천 사항을 포함하는 것을 의미한다. 여기서 태스크는 사용자의 행동 시퀀스(입력치)를 통해 개인화된 아이템 리스트를 생성하고자 하는 상황을 바탕으로 Experience-based (경험 기반), Transaction- based (트랜젝션 기반) 및 Interaction-based (상호작용 기반)과 같은 세 가지 유형의 순차적 추천 태스크로 분류될 수 있다.

(표 1) 순차적 추천 태스크들과 관련 딥러닝 모델들

(Table 1) Sequential recommendation tasks and related deep learning models

- 경험 기반 순차적 추천: 행동 유형이 다른 동일한 아이템과 사용자가 이 추천 시나리오에서 상호 작용한다. 아이템에 구현할 사용자의 다음 행동 유형을 예측하는 것이 경험 기반 순차적 추천의 목표이다. 처음에는 행렬 분해 등과 같은 알고리즘이 사용되었고, 이후 NMTR과 같은 딥러닝 기반 모델들이 사용되었다. 현재, Multi-Task Learning과 같은 방법론들이 사용되고 있다.

- 트랜젝션 기반 순차적 추천:　단일 동작 유형(예: 구매관련)만이 이 추천 카테고리에 속하며, 일반적으로 사용자 선호도뿐만 아니라 서로 다른 개체(항목) 간의 순차적 종속 관계를 권장 모델을 통해 고려한다. RNN, CNN, Attention, 그리고 기타 모델 등이 이 카테고리에 해당된다. RNN은 GRU4Rec, CA-RNN, HRNN, 및 DREAM 등이 있으며, CNN은 3D-CNN, NetxtitNet, Caser, 및 HierTCN 등이 있다. 그리고 Attention은 NARM, BERT4Rec, TiSASRec, 그리고 SANSR 등이 있으며, 기타 모델로는 MLP, GNN, 및 Autoencoder 계열모델들이 있다.

- 상호작용 기반 순차적 추천： 다른 순차적 추천 태스크들에 비해 훨씬 더 복잡한 점이 상호 작용 기반 순차적 추천 태스크의 차이점이고 다른 행동 유형과 다른 행동 개체 둘 다로 각 행동 시퀀스가 구성된다. 각각 다른 행동, 다른 항목, 행동 및 항목 간의 순차적 의존성을 권장 모델은 모두 포착한다. RNN 기반 모델들과 기타 모델들이 이 카테고리에 포함되며, RNN은 RLBL, TA-RLBL 등이 있다. 기타 모델로는 MLP와 GNN 계열들이 이에 속하며, ATRank 및 CSAN 등이 해당된다.

그림 1은 위에서 설명한 세 가지 유형의 순차적 추천 차이점을 보다 구체적으로 보여준다. 경험 기반 순차적 추천은 같은 대상과 사용자가 상호 작용을 하지만 상호작용 내에서 나타난 사용자의 행동들은 다르다. 트랜젝션기반 순차적 추천은 사용자가 아이템과 상호작용을 하게 될 때, 행동 대상은 다르지만 같은 행동 유형을 보인다. 상호작용 기반 순차적 추천은 다른 행동 대상과 유형을 포함하는 추천으로 다른 추천 종류들에 비해 사용자가 미래에 상호작용을 통한 어떤 행동 대상을 예측한다[6].

(그림 1) (a) 경험 기반, (b) 트랜젝션 기반 및 (c) 상호작용 기반 순차적 추천 행동의 비교

(Figure 1) Comparison between (a) experience-based, (b) transaction-based, and (c) interaction-based sequential recommender behavior

추가로, 본 논문에서는 다루지 않겠지만 순차적 추천 시스템과 비슷한 개념으로 세션 기반 추천 시스템 (Session-based recommender system, SBRS) 관련 딥러닝 모델이 있다. 세션 기반 추천 시스템은 확실한 순서와 함께 정리된 어느 특정한 시간 영역 안에 있는 요소들에 대한 리스트를 시퀀스라고 정의한다. 순차적 추천 시스템이 시간의 흐름에 따라 사용자의 기호와 행동을 분석해 사용자가 필요로 하는 물품 등을 추천해주는 방식이라면, 세션 기반 추천 시스템은 어느 시작되는 시점부터 끝나는 시점 사이에 규칙적이던 불규칙이던 모든 사용자의 기호와 행동을 포함하고 이에 대해 각각의 세션으로 나눠 추천을 진행하는 방식이다.

그림 2는 세션 기반 추천과 순차적 추천의 유사점과 차이점을 보여주고 있다. 세션 기반 추천은 사용자의 구매 행동을 시계열적으로 분석해 사용자의 행동 시작부터 끝까지 파악한 후 구매 행동의 특징들을 통해 세션이란 한 기본 단위별로 사용자의 구매 행동을 나눈다. 그림 2에서 Peter는 시간별로 컴퓨터, 휴대폰, 캠코더, 프린터등 다양한 물품을 구매하였고, 세 세션으로 나누어 그의 구매 이력을 확인할 수 있다. 세션과 세션 사이는 2주, 4주라는 시간으로 나누어져 있고, 이를 통해 Peter의 총 구매 이력을 유연하게 파악할 수 있다. 반면, Penny는 특정한 주제에 맞춰 시간별 비슷한 구매 이력을 보이는 것을 알 수 있다. Peter는 세션 기반 추천의 예시를 나타내며, Penny는 순차적 기반 추천의 예시를 나타낸다. 둘 다 시간적 요소를 중시하나 세부적 접근 방식에 있어선 차이를 보인다[7].

(그림 2) (a) 세션 기반 추천과 (b) 순차적 추천의 유사점과 차이점 비교

(Figure 2) Comparison of similarities and differences between (a) session-based recommendation and (b) Sequential recommendation

3. 순환 신경망 (Recurrent Neural Networks, RNN)

3.1 개념 및 구조

순환 신경망은 내부적으로 순환이 되는 구조를 이용하여 순서가 있는 데이터를 처리하는데 강점을 가진 신경망으로 데이터의 순서가 중요할 경우 적합한 알고리즘이다. 여기서 순서가 있는 데이터라는 것은 문장이나 음성 같은 연속적인 데이터를 의미하는데, 이것은 문장에서 놓여진 위치나 순서에 따라 의미가 달라지기 때문에 현재 데이터의 의미를 알기 위해서는 이전에 놓여 있는 데이터도 알고 있어야 한다. 따라서, 순환 신경망은 은닉층 내의 순환구조를 이용하여 과거의 데이터를 기억해두고 새롭게 입력되는 데이터와 기억하고 있던 과거 데이터를 연결시켜서 그 의미를 알아내는 기능을 가지고 있다.

그림 3은 일반적인 신경망 중 하나인 피드 포워드 신경망 (Feed Forward Neural Network)과 순환 신경망 모델 구조의 유사점과 차이점을 보여주고 있다. 피드 포워드 신경망과 순환 신경망은 모두 입력층, 은닉층, 그리고 출력층으로 나누어지는 점에서 구조적으로 동일하며, 피드 포워드를 실행한 후에 그 결과를 손실함수로 계산하여 이 손실함수 값이 최소가 되도록 내부 파라미터를 수정하며 학습을 진행하는 과정이 유사하다. 하지만 순환 신경망은 은닉층에서 일어난 선형회귀→ 활성 함수의 결과값이 바로 출력층으로 넘어가는 것이 아니라 은닉층에서 활성화 함수로 ReLU 대신 tanh를 사용하여 은닉층의 출력을 기억해두고 그 데이터가 들어왔을 때 연결되어 학습되는 구조로 되어 있다[8].

(그림 3) (a) 피드 포워드 신경망과 (b) 순환 신경망 모델 구조 비교

(Figure 3) A Comparison of model structure between (a) FFNN and (b) RNN

3.2 순환 신경망 추천 모델 비교

추천 시스템에서 사용하는 데이터가 순차적인 특성을 가지고 있다는 생각에 순환 신경망 기반 모델을 많이 차용하고 있는 추세이며, 여러 순환 신경망 추천 모델들 중 아래 세 가지 대표적인 모델들을 통해 순환 신경망 기반 추천 모델들이 시퀀스 모델링을 어떻게 다루었는가에 대해 살펴볼 것이다.

- Dynamic Recurrent Basket Model (DREAM)[9]: 한 가지 유형의 행동, 즉 물품 구매만을 고려하고 아이템 클릭과 같은 행동은 고려하지 않은 다음 바구니 추천(next basket recommendation)의 문제를 해결하기 위해 사용자의 행동 시퀀스에 있어 구매와 클릭의 두 가지 행동이 동시에 발생한다고 보고, 여러 가지 twin network를 사용해 두 개의 데이터를 동시에 처리하여 아이템에 대한 점수를 구해 next-item recommendation을 시행한다. DREAM의 특징은 사용자가 다음 방문 때 가장 구매할만한 아이템에 대한 사용자의 구매 기호나 자주 추천되는 아이템에 대해 통합적인 이해를 순차적 데이터를 통해 구현하였다는 점이다.

- Context-Aware Recurrent Neural Networks (CA-RNN)[10]: 순환 신경망의 constant input matrix와 transition matrix를 adaptive context-specific input matrices와 transition matrices로 대체하여 외부 상황과 행동 시퀀스의 시간 간격을 반영한다. 모델의 학습을 위해 Bayesian Personalized Ranking(BPR) 등이 사용되었고, 순차적 정보와 상황별 맥락을 같이 한 이론적 토대 안에서 접근한다. CA-RNN의 특징은 보통 순환 신경망에서 접근하는 방식에서 벗어나 전체 시퀀스 내에서 모든 관련된 행동 사이에서의 시간 간격들을 적용하는데 유연성을 보인다는 점이다.

- Hierarchical Periodic Memory Network (HPMN)[11]: 사용자의 최근 행동에만 집중하는 것이 아니라 장·단기의 행적을 함께 고려하여 장기 예측을 시도한 첫 번째 모델이고 사용자의 행동 시퀀스를 기반으로 한다. 자연어 처리 분야에서 제시된 Memory-augmented Networks가 사용자의 예측을 위해 인간의 기억 과정처럼 시간별 기억과 망각 부분이 모델의 메커니즘에 멀티-스케일로 추가되었다. HPMN의 특징은 사용자와 아이템 데이터에 숨어있는 특징을 알 수 있는 잠재 요소 모델에 대한 순차적 행동 모델링에 강점을 보이는 점이다.

위와 같은 모델들의 특징들을 통해 순차적 추천 분야에서 순환 신경망 기반 추천 모델들이 사용자가 다음 방문 때 가장 구매할만한 아이템에 대한 사용자의 구매 기호나 자주 추천되는 아이템에 대해 통합적인 이해를 나타내고, 사용자-아이템 간 상호관계를 이해하기 위해 시퀀셜 정보와 상황별 맥락에 같이 접근하며, 사용자의 행동 시퀀스에 대해 여러 가지 요소들을 같이 고려 하는 등의 유연함과 같은 성과를 보여주는 것을 알 수 있다.

4. 합성곱 신경망 (Convolutional Neural Networks, CNN)

4.1 개념 및 구조

합성곱 신경망은 딥러닝에서 주로 이미지나 영상 데이터로부터 고수준의 추상화된 특징을 추출하거나 질감 정보를 처리하는 최적의 방법으로써 이름에서 알 수 있듯이 합성곱이라는 전처리 작업이 들어가는 신경망 모델을 말한다. 합성곱 신경망의 탄생 배경을 살펴보면, 기본적으로 1 차원 형태의 데이터를 사용하는 Deep Neural Network (DNN)이 이미지 데이터를 한 줄의 데이터로 만드는 과정에서 이미지의 공간적/지역적 정보(spatial/topological information)가 손실되는 문제가 발생한다. 이로 인해 결과적으로 학습 시간과 능률의 효율성이 저하되기 때문에 이러한 문제를 해결하여 나온 모델이 합성곱 신경망이라고 할 수 있다. 합성곱 신경망은 이미지를 그대로 받아 공간적/지역적 정보를 손실하지 않고 특성 (feature)들의 계층을 빌드업하여 이루어진다.

그림 4는 일반적인 신경망과 합성곱 신경망 모델 구조의 차이점을 잘 보여주고 있다. 일반적인 인공 신경망은 affine으로 명시된 fully-connected 연산과 ReLU와 같은 비선형 활성 함수 (nonlinear activation function)의 합성으로 정의된 계층을 여러 층 쌓은 구조인 반면에 합성곱 신경망은 이미지 데이터에 비교하는 패턴과 일치하는 부분이 얼마나 포함되어 있는지 확인하는 합성곱 계층 (convolutional layer)과 입력 데이터를 압축하여 연산량을 줄이는 역할을 하는 풀링 계층 (pooling layer)이라고 하는 새로운 층을 fully-connected 계층 이전에 추가함으로써 원본 이미지에 필터링 기법을 적용한 뒤에 필터링된 이미지에 대해 분류 연산이 수행되도록 구성된다[12].

(그림 4) (a) 일반 신경망과 (b) 합성곱 신경망 모델 구조 비교

(Figure 4) Structural Comparison between (a) Deep Neural Network and (b) CNN model

4.2 합성곱 신경망 추천 모델 비교

현대 병렬 컴퓨팅 시스템에서 합성곱 신경망 기반 모델들이 주목을 받게 된 이유로는 합성곱의 완전한 병렬 메커니즘을 통한 우수한 학습 속도와 모델링의 유연성에 있다. 합성곱 신경망은 다양한 합성곱 연산(커널 또는 필터)을 적용함으로써 학습에 유용한 기능을 추출하고 수동 기능의 필요성을 줄일 수 있다. 여러 합성곱 신경망 추천 모델들 중 아래 세 가지 대표적인 모델들을 통해 합성곱 신경망 기반 추천 모델들이 시퀀스 모델링을 어떻게 다루었는가에 대해 살펴볼 것이다.

- Three-Dimensional Convolutional Neural Networks (3D CNN)[13]: 전자 상거래(E-Commerce) 분야에서 관련 웹사이트들 내에 사용자가 자신의 장바구니에 추가하고자 하는 아이템을 예측하는 상황에 좀 더 높은 정확성을 확인시켜주었고, 기존 순환 신경망 기반 모델이 순차 데이터에 대해 보여준 효율성을 본 모델이 뛰어넘는 결과를 실험을 통해 나타내었다. 추가로, 아이템, 세션, 그리고 클릭 등과 같이 순차적 추천 상황을 이루는 개념적 요소들의 상관관계를 본 모델을 통해 사용자가 포착할 수 있다. Character-level encoding과 공간과 시각 정보를 동시에 Modeling 하는 3D CNN을 통해 세션 데이터를 모델링하는데 있어 유연성을 보인다는 점이 3D-CNN의 특징이다.

- ConvolutionAl Sequence Embedding Recom- mendation (CASER)[14]:　Top-N sequential recommendation이라는 개념에 본 모델은 접근법들을 제시하였고 사용자의 최신 행동 정보를 기반하여 보다 폭넓게 사용자가 가까운 미래에 어떤 아이템을 구매할 것인가에 대한 예측이 핵심이다. 이를 위해 시퀀스 내 시계열 패턴을 학습하고, ‘이미지’로 아이템의 임베딩 시퀀스를 인식하는 점에 목적을 두고 있다. 그리고 집합 단위에서 아이템 간의 시계열 패턴 파악이 가능한 것에 추가적인 의의를 두고 있다. 다양한 순차적 패턴들을 본 모델을 통해 사용자가 포착 가능하다는 점이 CASER의 특징이다.

- NextitNet[15]: 컨볼루션 생성모델이고, 세션 기반 Top-N 아이템 추천에 대해 간단하고 효율적이며, 1 차원으로 확장된 컨볼루션 필터를 사용자-아이템 간의 상호작용내 장기 종속성을 모델링하기 위해 사용하였다. 예를 들어, 사용자가 한 시퀀스 안에서 과거 아이템을 주문한 내역을 이미지로 인식하고 잠재 행렬로 변환한 상황으로써 이것이 아이템 임베딩으로 응용되며 여기에는 합성곱 신경망의 컨볼루션과 풀링 구조가 사용된다. 장기 종속성을 모델링하기 위해 1 차원으로 확장된 컨볼루션 필터를 사용하고, 학습을 위해 잔차 학습의 개념을 사용한 점이 NextitNet의 특징이다.

위에 제시된 합성곱 신경망 기반 모델들은 사용자가 자신의 장바구니에 추가하고자 하는 아이템을 예측하는 상황에 좀 더 높은 정확성을 확인하였다.

5. 생성적 적대 신경망(Generative Adversarial Networks, GAN)

5.1 개념 및 구조

생성적 적대 신경망은 2014년 Ian Goodfellow에 처음으로 제안되었으며, “생성적 적대 신경망”이라는 이름에서 추론할 수 있는 것처럼 서로 다른 두 개의 Generator (생성자)와 Discriminator (판별자) 신경망을 서로 적대적으로 학습시키며 실제 데이터와 비슷한 데이터를 생성하는 모델이다. 앞서 기술된 순환 신경망 및 합성곱 신경망이 지도 학습 기반 생성 모델인 반면, 이렇게 생성된 데이터는 라벨 값이 없기 때문에 비지도 학습 기반 생성 모델의 초석이 되었다. 지도 학습 방식 모델들은 대량의 데이터를 정제 과정 없이 처리할 수 없고, 이 과정에서 인간의 개입이 필요하지만 비지도 학습 모델은 인간이 정답을 알려주지 않아도 생성 모델을 통해 스스로 직접 이미지나 음성을 만들어 내면서 학습하기 때문에 파급 효과가 커서 이미지 생성, 영상 합성, 그리고 텍스트 생성 분야 등에서 널리 활용되고 있다.

그림 5는 생성적 적대 신경망의 모델 구조을 보여주고 있다[16]. 기존의 순환 신경망 및 합성곱 신경망 모델들은 딥러닝이 한 개로 구현되는 반면에 생성적 적대 신경망은 두 개의 딥러닝(생성자, 판별자)이 서로 경쟁하면서 학습한다. 생성자는 랜덤 노이즈 벡터를 입력받아 이미지를 만드는 업샘플링을 진행하면서 거짓 데이터를 만들어 내고, 생성된 데이터를 판별자가 실제 데이터로 착각하도록 학습을 한다. 판별자는 실제 데이터와 생성자가 생성한 거짓 데이터를 판별하여 진짜 이미지를 진짜(1), 가짜를 가짜(0)으로 구분하도록 학습한다. 이렇게 두 신경망이 서로 이기기 위하여 스스로 학습하다 보면, 생성자는 진짜 같은 데이터를 생성하게 되고, 판별자는 실제 데이터와 거짓 데이터를 더욱 잘 구분할 수 있게 학습이 된다. 때문에 생성적 적대 신경망은 자율학습이라는 어려운 테마를 경쟁게임(미니맥스)으로 바꿔 해결한 아이디어라고 평가받고 있다[4].

(그림 5) GAN 모델 구조

(Figure 5) Model Structure of GAN

5.2 생성적 적대 신경망 추천 모델 비교

추천 시나리오에서 언급되는 데이터 속성을 분류하는데 강점을 가지고 있는 SOTA(State of the art) 생성적 적대 신경망 기반 추천 상황들에는 4가지가 있다. Collaborative Recommendation, Context-aware Recommendation, Cross-domain Recommendation 및 Fashion Recommendation 등이 있고, 아래는 Context-aware Recommendation[4]에 맞춰 여러 생성적 적대 신경망 추천 모델들 중 세 가지 대표적인 모델들을 통해 생성적 적대 신경망 기반 추천 모델들이 시퀀스 모델링을 어떻게 다루었는가에 대해 살펴볼 것이다.

- Recurrent Generative Adversarial Network (RecGAN) [17]: Recurrent Recommender Networks (RRN)과 Information Retrieval GAN (IRGAN) 모델들로부터 착안하여 생성적 적대 신경망 프레임워크 기반에서 사용자와 아이템의 시간적 잠재 요소들을 학습함으로써 추천 성능을 향상시키기 위해 제안된 모델이다. 순환 신경망의 시계열 모델링 기능과 생성적 적대 신경망의 잠재요소 모델링 기능을 모두 활용함으로써 사용자 및 아이템의 임시 잠재 기능을 학습하며 세분화 된 사용자 및 아이템 모델링을 구현할 수 있는 점이 RecGAN의 특징이다.

- Multi-Factor Generative Adversarial Network (MFGAN) [18]: 순차적 추천에서 사용자-아이템 사이 상호관계를 파악하기 위해 중요한 요소인 상황 정보에 대해 정밀하게 모델링하기 위해 제안된 모델로, 가능한 다음 아이템을 추천하기 위해 사용자 행동 시퀀스를 입력값으로 하는 트렌스포머 기반 생성자와 다른 요소들의 시퀀스를 생성해 평가하는 다중 요소 기반 판별자로 구성되어 있다. 시간에 비례해서 전체적인 추천 결정에 어떤 각각의 요소들이 기여하는가를 파악할 수 있고, 관련 요소들의 다중 정보들을 유연하게 알아볼 수 있다는 것이 MFGAN의 특징이다.

- Adversarial Oracular Seq2seq learning for sequential Recommendation (AOS4Rec)[19]: 자연어처리(NLP) 분야의 Seq2Seq Auto-Regressive Learning을 고려하며, 아이템과 시퀀스 수준에서의 전이 종속성과 행동 연속성을 취하는 모델로, Oracular Learning과 Adversarial Leaning을 통해 추천의 질을 향상한다. 빠르고 안정적인 학습을 위해 WGAN 등과 같은 모델을 사용해 최적화 이슈를 해결한 점이 AOS4Rec의 특징이라고 할 수 있다.

6. 요약 및 논의

표 2는 딥러닝 기반 추천 모델들인 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망들의 기존 연구 내용과 장·단점 등을 비교한 것이다[20]. 기존 연구를 통해 순환 신경망은 ‘사용자 행동 예측 가능’과 ‘전체 시퀀스 내에서 행동 사이에 시계열 측면 분석’ 등과 같은 특징들을 나타냈고, 학습 시 고려되어야 하는 사항들이 적은 점과 같은 사항들이 강점이지만 학습 시간이 많이 소요된다는 사항들이 단점이다. 합성곱 신경망은 ‘다양한 순차적 패턴들을 포착 가능’과 ‘유연한 모델링’과 같은 특징들을 나타냈고, 장점들로 빠른 학습 속도와 우수한 성능을 보여주지만 원활한 학습을 위해 아키텍쳐의 깊이 등을 고려해야 하는 단점이 있다. 그리고 생성적 적대 신경망은 ‘다중 정보 파악’ 과 ‘추천의 질 향상 및 최적화 이슈 해결’ 등과 같은 특징들을 나타냈고, 학습의 효율성과 생성 모델의 성능 우수성이 강점이지만 학습의 불안정성과 성능 평가의 어려움이 단점으로 여겨진다.

(표 2) 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망의 연구 내용 및 장·단점 비교

(Table 2) Comparision between research content and advantages/disadvantages of RNN, CNN, and GAN

순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망 등과 같은 딥러닝 기반 추천 모델들이 동물이나 사람 얼굴을 포함한 이미지 인식, 시계열 분석, 음성, 동영상 중계 및 그림, 가상 사람 얼굴 만들기, 음악, 글 등의 창작물에서 광범위하게 활용되고 있다. 하지만 순환 신경망 기반 순차적 추천 모델들의 경우에는 사용자에 대한 특성을 반영하여 예측하지 못하고, 사용자-아이템 간 관계를 좀 더 폭넓게 반영하지 못하는 단점이 있어 최근 순환신경망 딥러닝 기반 추천 모델은 GNN (Graph Neural Network)와 같은 새로운 모델과 결합해 좀 더 확실한 사용자의 행동 시퀀스의 표현 학습(representation learning)을 구현하고 있다[21]. 표현 학습은 모델을 통해 데이터로부터 유용한 정보를 추출하는 것으로[22], 사용자의 일반 기호와 행동 정보 등과 같은 유용한 정보를 데이터로부터 파악할 수 있다.

생성적 적대 신경망과 같이 트랜스포머 기반 추천 모델들도 순차적 추천 분야에서 새롭게 주목받고 있다. 기존 추천 모델들은 구매의 순서나 시기를 무시, 모델 학습[23]을 매 시기마다 해야하는 점, 증가되는 시간 소요, 그리고 반영하고자 하는 장기 정보 파악의 어려움 등과 같은 제한점들이 있다. 트랜스포머 기반 모델들은 장기 기억 및 속도 문제 등 기존 순환 신경망 기반 모델들이 갖는 문제점들을 전체 입력값에 대해 관계 학습이 긴 시퀀스에 대해 병렬처리를 실행함으로써 개선하였다. 그 중 대표적인 트랜스포머 기반 모델 중 하나인 Sequential Recommendation with Bidirectional Encoder Representations from Transformer (BERT4Rec) [24]이 있다. 이것은 자연어 처리 분야의 BERT 모델을 순차적 추천 분야에 적용한 모델로 사용자의 행동에 예측하기 어려운 외부 요소들이 존재함에 따라 양방향 및 복잡한 관계 학습이 가능하도록 BERT의 양방향 학습을 사용자 시퀀스에 적용한 것이 특징이다.

7. 결론

2000년 초반 추천시스템 분야에서 제시된 모델들은 사용자들에게 단순하고 저차원적인 추천을 제시하는 수준에 국한되었다. 하지만 점차 빅데이터의 발달과 좀 더 복잡해지고 고도화되는 사용자와 아이템 간의 상호관계 때문에 딥러닝이라는 새로운 방법론이 등장하였다. 딥러닝 방법론은 현실의 데이터들이 더 많은 사용자와 아이템에 대한 정보를 담게 되고, 비선형 변환, 표현학습, 시퀀스 모델링, 그리고 유연성과 같은 장점들 때문에 그 비중이 높아지고 있는 추세다. 딥러닝 기반 추천 모델들은 크게 다층 퍼셉트론(Multilayer Perceptron, MLP), 오토인코더(Autoencoder, AE), 순환 신경망, 합성곱 신경망, 제약볼츠만 머신(Restricted Boltzmann Machine, RBM), 그리고 생성적 적대 신경망 등이 대표적이다[2].

본 논문에서는 딥러닝 기반 추천 모델들 중에서 사용자-아이템 간의 상호작용에 대해 정확하고, 유연성 있게 분석이 가능한 시퀀셜 모델링에 적합한 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망 기반 모델들을 중심으로 분류하여 비교, 분석, 그리고 시사점을 도출하였다. 순차적 추천 분야에서 순환 신경망 기반 추천 모델들은 사용자가 다음 방문 때 가장 구매할만한 아이템에 대한 사용자의 구매 기호나 자주 추천되는 아이템에 대해 통합적인 이해를 보여주는 모델이다. 합성곱 신경망 기반 모델들은 사용자가 자신의 장바구니에 추가하고자 하는 아이템을 예측하는 상황에 좀 더 높은 정확성을 확인할 수 있다. 그리고 생성적 적대 신경망 기반 추천 모델들은 생성자와 판별자라는 신경망들을 통해 적대적인 학습을 통해 데이터를 생성하는 모델로, 학습의 효율성과 생성모델의 성능 우수성을 확인할 수 있다.