The Korean Journal of Applied Statistics (응용통계연구)

The Korean Statistical Society (한국통계학회)
권호 표지
DOI QR코드

DOI QR Code

AI-based early detection to prevent user churn in MMORPG

MMORPG 게임의 이탈 유저에 대한 인공지능 기반 조기 탐지

  • 이민혁 (고려대학교 통계학과) ;
  • 박선우 (고려대학교 통계학과) ;
  • 이성환 (고려대학교 통계학과) ;
  • 김수인 (고려대학교 통계학과) ;
  • 조윤영 (카카오게임즈 데이터분석랩) ;
  • 송대섭 (카카오게임즈 데이터분석랩) ;
  • 이문영 (카카오게임즈 데이터분석랩) ;
  • 정윤서 (고려대학교 통계학과)
  • Received : 2024.04.08
  • Accepted : 2024.06.17
  • Published : 2024.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

Massive multiplayer online role playing game (MMORPG) is a common type of game these days. Predicting user churn in MMORPG is a crucial task. The retention rate of users is deeply associated with the lifespan and revenue of the service. If the churn of a specific user can be predicted in advance, targeted promotions can be used to encourage their stay. Therefore, not only the accuracy of churn prediction but also the speed at which signs of churn can be detected is important. In this paper, we propose methods to identify early signs of churn by utilizing the daily predicted user retention probabilities. We train various deep learning and machine learning models using log data and estimate user retention probabilities. By analyzing the change patterns in these probabilities, we provide empirical rules for early identification of users at high risk of churn. Performance evaluations confirm that our methodology is more effective at detecting high risk users than existing methods based on login days. Finally, we suggest novel methods for customized marketing strategies. For this purpose, we provide guidelines of the percentage of accessed users who are at risk of churn.

Massive multiplayer online role playing game (MMORPG)은 국내 게임에서 큰 비중을 차지하는 게임 장르이다. MMORPG에서 유저 이탈 예측은 중요한 과제 중 하나이다. 인게임 결제가 수익 비중이 높기에 유저 잔존율이 서비스 수명 및 수익과 깊이 연관되기 때문이다. 만약, 특정 유저의 이탈을 사전에 예측할 수 있다면 프로모션을 통해 해당 유저의 잔존을 유도할 수 있을 것이다. 따라서, 이탈 예측 문제에서는 예측의 정확도도 중요하지만 이탈의 징후를 얼마나 빠르게 파악할 수 있는지 또한 중요하다. 본 논문에서는 이탈 징후를 조기에 탐지하기 위하여, 유저별 잔존 확률을 일별로 예측하고 이 예측된 확률 값들을 활용하여 유저 이탈 징후를 조기에 파악하는 방법을 제안한다. 이를 위해, 국내 게임사의 유저 로그 데이터로 여러 모형을 학습하고 유저별 잔존 확률을 구하여 잔존 확률의 변화 패턴에 대한 분석을 통해 이탈 가능성이 높은 유저를 조기에 감지할 수 있는 경험적 규칙을 보인다. 최종적으로, 성능 평가 결과를 통해 기존에 접속일을 기반으로 한 규칙보다 제시한 규칙을 이용할 시 이탈 유저를 조기에 감지할 수 있음을 확인한다. 추가적으로, 유저가 이탈하기 전 시점에 게임 접속 중 유저 이탈을 예측하는 방법과 유저의 게임 스타일에 따른 프로모션 방안을 제시한다.

Keywords

Acknowledgement

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2022R1F1A1071126, No. 2022M3J6A1063595).

References

  1. Chen T and Guestrin C (2016). Xgboost: A scalable tree boosting system, Proceedings of the 22nd Acm Sigkdd International Conference on Knowledge Discovery and Data Mining, 785-794.
  2. Dey R and Salem F (2017). Gate-variants of gated recurrent unit (GRU) neural networks, 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), 1597-1600.
  3. Hochreiter S and Schmidhuber J (1997). Long short-term memory, Neural Computation, 9, 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735
  4. Ke G, Meng Q, Finley T, Wang T, Chen W, Ma W, Ye Q, and Liu T (2017). Lightgbm: A highly efficient gradient boosting decision tree, Advances in Neural Information Processing Systems, 30, 3146-3154.
  5. Khodadadi A, Hosseini SA, Pajouheshgar E, Mansouri F, and Rabiee HR (2020). Choracle: A unified statistical framework for churn prediction, IEEE Transactions on Knowledge and Data Engineering, 34, 1656-1666. https://doi.org/10.1109/TKDE.2020.3000456
  6. Kristensen JT and Burelli P (2019). Combining sequential and aggregated data for churn prediction in casual freemium games. In Proceedings of 2019 IEEE Conference on Games (CoG), London, 1-8.
  7. Lee S, Hong S, Yang S, and Lee H (2016). Predicting churn in mobile free-to-play games 2016 international conference on information and communication technology convergence (ictc), 21046-1048.
  8. Mena CG, De Caigny A, Coussement K, De Bock KW, and Lessmann S (2019). Churn prediction with sequential data and deep neural networks. a comparative analysis arXiv preprint arXiv:1909.11114.
  9. Milosevic, M., Zivic, N., and Andjelkovic, I. (2017). Early churn prediction with personalized targeting in mobile social games, Expert Systems with Applications, 83, 326-332. https://doi.org/10.1016/j.eswa.2017.04.056
  10. Srivastava N, Hinton G, Krizhevsky A, Sutskever I, and Salakhutdinov R (2014). Dropout: A simple way to prevent neural networks from overfitting, The Journal of Machine Learning Research, 15, 1929-1958.
  11. Viljanen M, Airola A, Heikkonen J, and Pahikkala T (2017). Playtime measurement with survival analysis, IEEE Transactions on Games, 10, 128-138. https://doi.org/10.1109/TCIAIG.2017.2727642
  12. Xia K, Huang J, and Wang H (2020). LSTM-CNN architecture for human activity recognition, IEEE Access, 8, 56855-56866. https://doi.org/10.1109/ACCESS.2020.2982225
  13. Zhao S, Wu R, Tao J, Qu M, Zhao M, Fan C, and Zhao H (2023). perCLTV: A general system for personalized customer lifetime value prediction in online games, ACM Transactions on Information Systems(T-G), 41, 1-29. https://doi.org/10.1145/3530012