DOI QR코드

DOI QR Code

A Deep Learning Based Recommender System Using Visual Information

시각 정보를 활용한 딥러닝 기반 추천 시스템

  • Moon, Hyunsil (Graduate School of Business Administration, Kookmin University) ;
  • Lim, Jinhyuk (School of Business Administration, Kookmin University) ;
  • Kim, Doyeon (School of Business Administration, Kookmin University) ;
  • Cho, Yoonho (School of Business Administration, Kookmin University)
  • 문현실 (국민대학교 경영대학원) ;
  • 임진혁 (국민대학교 경영학부 빅데이터경영통계전공) ;
  • 김도연 (국민대학교 경영학부 빅데이터경영통계전공) ;
  • 조윤호 (국민대학교 빅데이터경영통계전공)
  • Received : 2020.07.04
  • Accepted : 2020.08.08
  • Published : 2020.09.30

Abstract

In order to solve the user's information overload problem, recommender systems infer users' preferences and suggest items that match them. The collaborative filtering (CF), the most successful recommendation algorithm, has been improving performance until recently and applied to various business domains. Visual information, such as book covers, could influence consumers' purchase decision making. However, CF-based recommender systems have rarely considered for visual information. In this study, we propose VizNCS, a CF-based deep learning model that uses visual information as additional information. VizNCS consists of two phases. In the first phase, we build convolutional neural networks (CNN) to extract visual features from image data. In the second phase, we supply the visual features to the NCF model that is known to easy to extend to other information among the deep learning-based recommendation systems. As the results of the performance comparison experiments, VizNCS showed higher performance than the vanilla NCF. We also conducted an additional experiment to see if the visual information affects differently depending on the product category. The result enables us to identify which categories were affected and which were not. We expect VizNCS to improve the recommender system performance and expand the recommender system's data source to visual information.

사용자의 정보 과부하 문제의 해결을 목표로 하는 추천 시스템은 개인의 선호를 추론하여 이에 부합하는 아이템을 필터링하여 제공한다. 추천 시스템 관련 기법 중 가장 성공적으로 알려져 있는 협업 필터링은 최근까지 다양한 성능 개선 시도가 이루어지고 있으며 여러 분야에 적용되고 있다. 본 연구에서는 이와 같은 협업 필터링의 성공에 기반하여 소비자의 구매 의사결정에 영향을 미칠 수 있는 시각 정보를 추천 시스템에 반영할 수 있는 VizNCS를 제안한다. 이를 위하여 먼저, 비정형 데이터인 시각 정보에서 특징을 추출하기 위해 합성곱 신경망을 사용하였다. 다음으로, 합성곱 신경망으로 부터 도출된 이미지 특성 정보를 추천 시스템에 반영하기 위하여 기존의 딥러닝 기반의 추천 시스템 중 다른 정보로 확장이 용이한 NCF 기법을 응용하였다. 본 연구에서 제안한 VizNCS의 성능 비교 실험 결과 기본 NCF보다 더 높은 성능을 보였으며 카테고리별 성능 비교 실험을 통해 시각 정보에 영향을 받는 카테고리와 그렇지 않은 카테고리를 발견하였다. 결론적으로 본 연구에서 제안한 VizNCS는 시각정보를 개인화된 추천에 직접 활용함에 따라 시각 정보에 영향을 받는 소비자들의 구매의사결정 행태를 반영할 수 있어 추천 시스템 성능 향상에 기여하였다. 또한, 지금까지 활용이 미미했던 이미지 데이터로 추천 시스템의 원천 데이터 영역을 확장함에 따라 다양한 원천 데이터의 활용 방안을 제시하였다.

Keywords

References

  1. 고건, 김보연 (2015). 베스트셀러 표지디자인과 소비자의 구매결정에 관한연구-온라인 서점을 중심으로. 커뮤니케이션 디자인학연구, (53), 84-93.
  2. 김경재, 안현철 (2009). 개인화된 추천시스템을 위한 사용자-상품 매트릭스 축약기법. Journal of Information Technology Applications & Management, 16(1), 97-113.
  3. 김민정, 조윤호 (2015). 빅데이터 기반 추천 시스템 구현을 위한 다중 프로파일 앙상블 기법. 지능정보연구, 21(4), 93-110. https://doi.org/10.13088/jiis.2015.21.4.093
  4. 김영준, 김용희, 김응모 (2015). 협업필터링과 데이터마이닝을 통한 도서추천 시스템 제안. 2015 한국통신학회 추계종합학술발표회 논문집, 58-60.
  5. 이석원, 임세희, 양지훈 (2016). 협력적 필터링과 연관규칙 알고리즘을 활용한 도서추천시스템. 한국정보과학회 2016년 동계학술대회 논문집, 1818-1820.
  6. 대한출판문화협회 (2020). 2019년 출판시장 통계(주요 출판사와 서점의 매출액, 영업이익 현황). 서울: 대한출판문화협회.
  7. 손지은, 김성범, 김현중, 조성준 (2015). 추천 시스템 기법 연구동향 분석. 대한산업공학회지, 41(2), 185-208. https://doi.org/10.7232/JKIIE.2015.41.2.185
  8. 심재문, 강지욱, 권오병 (2010). 상황인식 기술을 이용한 운전자 선호도 기반 교통상세정보 추천 시스템. 지식경영연구, 11(2), 75-93.
  9. 조승연, 최지은, 이규현, 김희웅 (2015). 고객 온라인 구매후기를 활용한 추천시스템 개발 및 적용. Information Systems Review, 17(3), 77-93. https://doi.org/10.14329/isr.2015.17.3.077
  10. 정영진, 조윤호 (2017). 온라인 구매 행태를 고려한 토픽 모델링 기반 도서 추천. 지식경영연구, 18(4), 97-118. https://doi.org/10.15813/kmr.2017.18.4.004
  11. 최영제, 문현실, 조윤호 (2020). 트랜잭션 기반 추천 시스템에서 워드 임베딩을 통한 도메인 지식 반영. 지식경영연구, 21(1), 117-136. https://doi.org/10.15813/kmr.2020.21.1.007
  12. Caselles-Dupre, H., Lesaint, F., & Royo-Letelier, J. (2018). Word2vec applied to recommendation: Hyperparameters matter. In Proceedings of the 12th ACM Conference on Recommender Systems, 352-356.
  13. Cheng, H. T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., Anderson, G., Corrado, G., Chai, W., Ispir, M., Anil, R., Haque, Z., Hong, L., Jain, V., Liu, X., & Shah, H. (2016). Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Recommender Systems, 7-10.
  14. Chen, K., Wang, J., Chen, L. C., Gao, H., Xu, W., & Nevatia, R. (2015). Abc-cnn: An attention based convolutional neural network for visual question answering. arXiv preprint arXiv: 1511.05960.
  15. Gao, C., He, X., Gan, D., Chen, X., Feng, F., Li, Y., Chua, T. S., Yao, L., Song, Y., & Jin, D. (2018). Learning recommender systems from multi-behavior data. arXiv preprint arXiv:1809.08161.
  16. Haucap, J., & Heimeshoff, U. (2014). Google, Facebook, Amazon, eBay: Is the Internet driving competition or market monopolization? International Economics and Economic Policy, 11(1), 49-61. https://doi.org/10.1007/s10368-013-0247-6
  17. Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5-53. https://doi.org/10.1145/963770.963772
  18. He, R., & McAuley, J. (2016). VBPR: Visual bayesian personalized ranking from implicit feedback. In Thirtieth AAAI Conference on Artificial Intelligence, 144-150.
  19. He, X., Du, X., Wang, X., Tian, F., Tang, J., & Chua, T. S. (2018). Outer product-based neural collaborative filtering. arXiv preprint arXiv:1808.03912.
  20. He, X., Liao, L., Zhang, H., Nie, L., Hu, X., & Chua, T. S. (2017). Neural collaborative filtering. Neural collaborative filtering. In Proceedings of the 26th International Conference on World Wide Web, 173-182.
  21. Hidasi, B., Karatzoglou, A., Baltrunas, L., & Tikk, D. (2015). Session-based recommendations with recurrent neural networks. arXiv preprint arXiv:1511.06939.
  22. Koren, Y., Bell, R., & Volinsky, C. (2009). Matrix factorization techniques for recommender systems. Computer, 42(8), 30-37. https://doi.org/10.1109/MC.2009.263
  23. Kurt, Z., & Ozkan, K. (2017). An image-based recommender system based on feature extraction techniques. In 2017 International Conference on Computer Science and Engineering (UBMK), 769-774.
  24. Lathia, N., Hailes, S., Capra, L., & Amatriain, X. (2010). Temporal diversity in recommender systems. In Proceedings of the 33rd International Acm Sigir Conference on Research and Development in Information Retrieval, 210-217.
  25. Lei, C., Liu, D., Li, W., Zha, Z. J., & Li, H. (2016). Comparative deep learning of hybrid representations for image recommendations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2545-2553.
  26. Low, Y. H., Yap, W. S., & Tee, Y. K. (2018). Convolutional neural network-based collaborative filtering for recommendation systems. In International Conference on Robot Intelligence Technology and Applications, 117-131.
  27. Ouyang, Y., Liu, W., Rong, W., & Xiong, Z. (2014). Autoencoder-based collaborative filtering. In International Conference on Neural Information Processing, 284-291.
  28. Rawat, Y. S., & Kankanhalli, M. S. (2016). ConTagNet: Exploiting user context for image tag recommendation. In Proceedings of the 24th ACM International Conference on Multimedia, 1102-1106.
  29. Persson, P. (2018). Attention manipulation & information overload. Behavioural Public Policy, 2(1), 78-106. https://doi.org/10.1017/bpp.2017.10
  30. Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., & Riedl, J. (1994). GroupLens: An open architecture for collaborative filtering of netnews. In Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work, 175-186.
  31. Salakhutdinov, R., Mnih, A., & Hinton, G. (2007). Restricted Boltzmann machines for collaborative filtering. In Proceedings of the 24th International Conference on Machine Learning, 791-798.
  32. Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th International Conference on World Wide Web, 285-295.
  33. Sase, A., Varun, K., Rathod, S., & Patil, D. (2015). A proposed book recommender system. International Journal of Advanced Research in Computer and Communication Engineering, 4(2), 481-483.
  34. Schafer, J. B., Frankowski, D., Herlocker, J., & Sen, S. (2007). Collaborative filtering recommender systems. In The adaptive web (pp. 291-324). Berlin: Springer.
  35. Sedhain, S., Menon, A. K., Sanner, S., & Xie, L. (2015). Autorec: Autoencoders meet collaborative filtering. In Proceedings of the 24th International Conference on World Wide Web, 111-112.
  36. Wang, S., Wang, Y., Tang, J., Shu, K., Ranganath, S., & Liu, H. (2017). What your images reveal: Exploiting visual contents for point-of-interest recommendation. In Proceedings of the 26th International Conference on World Wide Web, 391-400.
  37. Xu, Z., Chen, C., Lukasiewicz, T., Miao, Y., & Meng, X. (2016). Tag-aware personalized recommendation using a deep-semantic similarity model with negative sampling. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, 1921-1924.
  38. Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM Computing Surveys (CSUR), 52(1), 1-38.