Comparative Study of User Reactions in OTT Service Platforms Using Text Mining

텍스트 마이닝을 활용한 OTT 서비스 플랫폼별 사용자 반응 비교 연구

Abstract

This study employs text mining techniques to compare user responses across various Over-The-Top (OTT) service platforms. The primary objective of the research is to understand user satisfaction with OTT service platforms and contribute to the formulation of more effective review strategies. The key questions addressed in this study involve identifying prominent topics and keywords in user reviews of different OTT services and comprehending platform-specific user reactions. TF-IDF is utilized to extract significant words from positive and negative reviews, while BERTopic, an advanced topic modeling technique, is employed for a more nuanced and comprehensive analysis of intricate user reviews. The results from TF-IDF analysis reveal that positive app reviews exhibit a high frequency of content-related words, whereas negative reviews display a high frequency of words associated with potential issues during app usage. Through the utilization of BERTopic, we were able to extract keywords related to content diversity, app performance components, payment, and compatibility, by associating them with content attributes. This enabled us to verify that the distinguishing attributes of the platforms vary among themselves. The findings of this study offer significant insights into user behavior and preferences, which OTT service providers can leverage to improve user experience and satisfaction. We also anticipate that researchers exploring deep learning models will find our study results valuable for conducting analyses on user review text data.

본 연구는 텍스트 마이닝 기법을 활용하여 다양한 OTT(Over-The-Top) 서비스 플랫폼에 대한 사용자 반응을 비교한다. 연구의 주요 목표는 OTT 서비스 플랫폼의 사용자 만족도를 파악하여 보다 효과적인 리뷰 전략을 수립하는 데 기여하는 것이다. 본 연구에서 다루는 주요 질문에는 다양한 OTT 서비스에 대한 사용자 리뷰에서 두드러진 토픽과 키워드를 식별하고 플랫폼별 사용자 반응을 이해하는 것이 포함된다. 이를 위해 긍정, 부정 리뷰에서 중요 단어를 추출하기 위해 Tf-idf를, 복잡한 사용자 리뷰를 보다 정교하고 포괄적으로 분석하기 위해 고급 토픽 모델링 기법인 BERTopic을 사용한다. Tf-idf 분석한 결과, 앱에 대한 긍정 리뷰는 콘텐츠와 관련된 단어들의 수치가 높았으며 부정 리뷰에서는 앱 사용 과정에서 발생할 수 있는 문제점에 관한 단어 수치가 높게 기록되었다. BERTopic을 활용한 토픽 모델링에서는 콘텐츠의 속성과 연관 지어 콘텐츠의 다양성, 앱 성능 요소, 결제, 호환성에 관한 키워드를 도출하였으며, 플랫폼 별로 두각을 보이는 속성이 다르다는 점도 확인하였다. 본 연구 결과는 사용자 행동과 선호도에 대한 중요한 인사이트를 제공하며, 이를 통해 OTT 서비스 제공업체는 사용자 경험과 만족도를 개선하는 데 활용할 수 있다. 또한, 연구자들은 사용자 리뷰 텍스트 분석에서 딥러닝 모델을 활용한 연구의 아이디어를 얻을 수 있을 것이라 기대한다.

1. 서론

디지털 시대의 도래와 함께 사람들은 원하는 시간에 보고 싶은 프로그램을 직접 선택하여 소비할 수 있게 되었다[1]. 그렇기에 인터넷을 통해 다양한 콘텐츠를 제한 없이 혹은 독점적으로 자유롭게 이용할 수 있는 OTT(Over The Top) 서비스는 엔터테인먼트 산업의 새로운 패러다임으로 자리매김하고 있다[2]. 넷플릭스, 디즈니 플러스, 티빙, 웨이브 등과 같은 다양한 OTT 서비스 플랫폼들은 전 세계적으로 수많은 사용자를 끌어들이며, 전통적인 TV 방송 서비스를 넘어서기 위해 다양한 새로운 콘텐츠 제공 방식을 탐색하고 있다. OTT 서비스 플랫폼만의 오리지널 콘텐츠를 제작하거나, 빅데이터 분석을 기반으로 정밀한 개인화 콘텐츠를 제공하는 등의 이러한 서비스들은 단순히 콘텐츠의 품질에만 의존하는 것이 아니라, 사용자 경험과 만족도에 깊이 연결되어 있다[3]. OTT 서비스 플랫폼 간의 경쟁이 심화됨에 따라 서비스 제공자가 효과적으로 서비스를 맞춤화하고 시장에서 앞서 나가기 위해서는 사용자의 미묘한 감정과 선호도를 파악하는 것이 점점 더 중요해지고 있다. 이러한 맥락에서, 사용자 리뷰는 OTT 서비스 제공자에게 매우 중요한 정보원이 될 수 있다. 특히, 서비스에 대한 소비자의 직접적인 평가와 니즈(needs)를 함양하고 있기에 사용자 경험 최적화 및 마케팅 전략 수립 등의 실질적인 통찰을 제공할 수 있다. 이러한 통찰은 서비스 제공자들이 본인의 서비스 개선점을 도출하고 타 서비스 대비 경쟁우위를 확보할 수 있게 도우며 나아가 OTT 서비스 생태계의 전반적인 품질을 높일 수 있는 방향성을 도출하는 등의 중요한 기여를 할 수 있다[4].

본 연구는 OTT 서비스 플랫폼별 사용자 리뷰 데이터를 정교하고 심층적으로 분석하기 위해 텍스트 마이닝 기법을 활용하여 OTT 서비스 플랫폼별 속성에 대한 사용자의 평가를 도출한다. 이를 통해, 각 플랫폼의 서비스에 대한 사용자들의 선호, 기대 및 불만 사항을 정밀하게 분석하고, 실험 결과를 바탕으로 서비스 제공자에게 실질적인 전략적 통찰을 제공하고자 한다. 최종적으로 달성하고자 하는 목표는 다양한 OTT 서비스 플랫폼별로 시청자들의 리뷰를 깊이 있게 분석함으로써, 각 서비스의 인기 요인 및 사용자 만족도를 파악하고 이를 통해 실무적으로 더 나은 전략을 기획할 수 있도록 하는 것이다. 또한, 사전에 설계된 설문이 아닌, 실제 서비스 이용자들의 평가가 담긴 리뷰 데이터를 활용한다는 점에서 사용자들의 실질적인 니즈와 선호를 보다 사실적이고 정확하게 파악하고자 한다. 마지막으로 텍스트 마이닝에 있어 기존 전통적인 통계 기반 또는 머신러닝 기반 분석 방법에서 벗어나, 최신의 딥러닝 및 AI 기술을 활용하여 더 합리적이고 심층적인 분석 결과를 도출하는 것을 목표로 한다. 이러한 분석은 OTT 서비스 제공자들이 사용자 경험을 개선하고, 향후 서비스 전략을 더욱 효과적으로 수립하는 데 필요한 실질적인 통찰을 제공할 것이다.

본 연구는 다음과 같은 중요한 연구 질문에 초점을 맞추고 있다.

✓ 연구질문 1: OTT 서비스 플랫폼 긍, 부정 리뷰에서 나타나는 주요 단어는 무엇인가?

✓ 연구질문 2: OTT 서비스 플랫폼 사용자 리뷰에서 나타난 토픽과 키워드는 어떠한가?

✓ 연구질문 3: OTT 서비스 플랫폼별 사용자 반응 차이는 어떠한가?

이 연구 질문들은 복잡한 사용자 데이터를 분석하여 각 OTT 서비스의 주요 특징과 사용자들의 선호를 밝히는데 중요한 역할을 한다. 연구 결과는 OTT 서비스 제공자들이 사용자의 니즈에 더 효과적으로 대응하고, 경쟁력 있는 서비스 전략을 수립하는 데 도움이 될 것이다. 또한, 이 연구는 디지털 시대의 미디어 소비 패턴과 사용자 경험에 대한 깊이 있는 이해를 제공하며, OTT 서비스 산업에 대한 실질적인 시사점을 제공할 것이다.

본 논문은 다음과 같이 구성된다. 2장에서는 OTT 서비스에 대한 사용자 반응 및 텍스트 데이터를 다룬 관련 연구를 다룬다. 3장에서는 사용자 리뷰, 텍스트 마이닝, 빈도 분석 그리고 토픽 모델링에 관한 이론적 배경을 제시한다. 4장에서는 데이터 수집부터 전처리 및 모델링에 이르는 일련의 분석 과정을 설명한다. 5장에서는 빈도 분석을 통해 키워드를 추출하고 토픽 모델링을 통해 OTT 서비스 속성별 사용자 반응을 해석한다. 마지막으로 6장에서는 연구 결과를 요약하고 시사점을 제시하는 것으로 논문을 마무리한다.

2. 관련 연구

본 연구는 OTT 서비스에 대한 사용자의 반응을 이해하고 분석하는 데 있어, 최근의 여러 연구를 기반으로 한다. 이러한 연구들은 OTT 서비스 이용에 대한 사용자의 경험과 평가를 다양한 방법론으로 탐색하고 있다. OTT 서비스가 국내 생태계에 등장하게 되면서 다양한 관점에서의 연구들이 진행되고 있다. OTT 유형을 바탕으로 해외 시장 동향을 분석하고 해외 정책규제 사례의 국내 적용성을 고찰한 연구가 있으며[5], OTT 서비스 확산이 기존 방송 산업 환경과 콘텐츠의 생산과 유통, 소비 전 영역에서 어떠한 변화를 초래하고 있는지, 변화에 영향을 미치는 요인이 무엇인지를 알아본 연구[6] 그리고 OTT 서비스의 특징인 사용자들의 몰아보기에 영향을 미치는 요인을 인공신경망 알고리즘을 이용하여 실증적으로 탐구한 연구[7]가 존재한다.

OTT 서비스의 경쟁 요인 혹은 지속 사용 의도에 관한 연구들 또한 다수 존재한다. OTT 서비스 선호 요인, 지속적 이용 의도에 미치는 요인, 이용 의도 결정 요인 등을 다루는 연구[8][9][10]뿐만 아니라, 구조방정식 모델링을 통해 심리적 메커니즘에 따라 사용자의 지속적 이용을 탐구한 연구[11]와 추천 서비스가 주는 효능감과 기대 가치 간의 기대 일치가 지속 사용 의도에 미치는 영향에 대한 연구[12]도 존재한다. OTT 서비스 특성 요인을 4가지로 분류하고 기회요인과 위기 요인에 대해 분석한 연구도 존재한다.

OTT 서비스 제공이 꾸준하게 이어짐에 따라, 사용자리뷰 데이터의 양도 점점 증가하기 시작하였다. 이러한 리뷰 데이터의 증가는 빅데이터 분석기법의 발전에 힘입어 연구자들에게 많은 텍스트 마이닝을 통한 통찰을 제공하였다. 블로그 리뷰 텍스트 데이터를 분석하여 코로나시대의 OTT 서비스 이용자들의 변화된 경험과 감정을 파악했으며, 팬데믹이 OTT 서비스 이용에 미친 영향을 분석하고 실무적 제언을 제공하기도 하였다[14]. OTT 서비스 앱 리뷰 텍스트를 활용해 빈도 분석과 감성 분석을 통한 서비스별 및 유형별 강점과 약점을 도출하거나[4] 넷플릭스와 웨이브의 앱 리뷰 데이터를 분석하여, 두 서비스의 만족 요인을 비교한 시도도 있다[15]. 또한 웨이브를 대상으로 앱 리뷰 텍스트 데이터를 토픽 모델링을 통해 만족 요인과 불만족 요인을 도출한 연구[16], 넷플릭스 앱 리뷰 텍스트 데이터를 기반으로 코로나19 전과 후 넷플릭스 사용자의 경험과 서비스 변화를 분석한 연구[17]처럼 앱 리뷰 텍스트 데이터로 이용자들의 서비스 사용 경험 변화와 평가에 대한 심층적인 이해를 도출한 연구도 다수 존재한다.

텍스트 마이닝 기법을 이용해 OTT 서비스에 대한 사용자의 경험과 평가를 탐구하며 진행한 선행 연구들은 OTT 서비스의 지속적인 사용 유도와 사용 만족도를 높이는 데 중요한 통찰을 제공한다는 점을 주목할 수 있다. 이는 본 연구가 OTT 서비스 플랫폼별 사용자 반응의 분석과 이해에 기여할 수 있는 방향을 제시한다. 또한, 텍스트마이닝을 기반으로 OTT 서비스 분야에 대한 깊은 이해와 사용자 만족도에 영향을 미치는 다양한 요인들을 밝히는데 중요한 기초를 제공한다.

3. 이론적 배경

3.1 사용자 리뷰

OTT 서비스에 대한 사용자 리뷰는 현대 디지털 미디어 환경에서 중요한 정보 소스로 자리 잡고 있다. 이는 서비스 제공자에게 중요한 피드백을 제공하며, 다른 잠재적 사용자들에게 서비스에 대한 신뢰성 있는 정보를 제공한다. 온라인 소비자 리뷰는 소비자의 구매 의사 결정 과정의 여러 단계에 걸쳐 영향을 미칠 수 있다는 점에서 제품의 매출에 직접적인 영향을 미친다[18].

소비자 행동 이론에 따르면, 사용자 리뷰는 소비자들의 의사결정 과정에 큰 영향을 미친다. 리뷰는 제품이나 서비스에 대한 소비자의 기대를 형성하고, 신뢰와 만족도를 구축하는 데 중요한 역할을 한다. 리뷰가 제공하는 실제 사용자 경험은 잠재적 사용자들이 제품이나 서비스에 대해 신뢰감을 느끼고 결정을 내리는 데 도움을 준다. 소셜 미디어와 온라인 커뮤니티의 발달은 사용자 리뷰의 영향력을 더욱 증가시키고 있다. 사용자들은 리뷰를 통해 자기 경험을 널리 공유하며, 이러한 리뷰는 다른 사용자들의 인식과 행동에 영향을 미친다. 더 나아가 사용자 리뷰는 서비스의 평판 관리 및 브랜드 이미지 구축에도 중요한 역할을 하게 된다.

3.2 텍스트 마이닝

기술의 발전으로 인한 정보의 홍수 속에서 실제로 생산되는 데이터의 약 85%는 비정형 데이터에 속한다. 그렇기에 잠재적 가치를 지니고 있는 비정형 데이터에서 미래의 의사결정에 관련된 유용한 정보를 찾아 해석하고 활용하는 작업은 매우 중요하다고 할 수 있다. 비정형 데이터 중에서 텍스트 데이터는 가장 흔하고 접하기 쉬운 데이터이며, 온라인상에서 사용자들의 의견의 상당 부분은 문자로 구성되어 있다. 이는 텍스트 데이터를 다양한 방법으로 접근한다면 유의미한 패턴과 지식을 추출할 수 있다는 사실이다[19]. 텍스트 데이터에 내재한 유용한 패턴을 추출하기 위해서는 특정한 전처리 방법과 알고리즘이 필요한데, 해당 데이터에서 정보와 지식을 자연어처리 기술을 바탕으로 정제하고 발견하는 전반적인 과정을 통틀어 텍스트 마이닝이라고 지칭한다[20].

OTT 서비스 이용에 대한 사용자 의견은 미디어 커뮤니티, 앱 다운로드 플랫폼, 기사 등 다양한 웹페이지에서 접할 수 있다. 따라서 텍스트 마이닝을 통한 OTT 서비스분야의 연구는 다양하게 이루어지고 있다. 몇 가지 사례로는 경쟁 시장에서 유리한 위치를 확보하기 위한 전략활용[4], 플랫폼의 효과적인 콘텐츠 타겟팅[21] 등이 있다.

3.3 빈도 분석

빈도 분석은 문자 데이터 세트의 단어를 추출하고 각 단어 x의 출현 빈도를 계산(1)하는 분석 방법이다. 통상적으로 빈도 분석 결과를 워드 클라우드(Word Cloud)[22]를 통해 시각화하여 결과를 제시한다. 단어의 빈도에 따라 글자의 크기나 굵기를 조절하여 보여주기 때문에 직관적인 결과 확인과 해석을 할 수 있는 특징이 있다. 실제로 문화콘텐츠 분야의 많은 연구에서 빈도 분석을 진행하는 다양한 연구들[14][17]이 존재한다.

f_i = count(x_i)       (1)

최근 텍스트 마이닝 기반 연구에서는 빈도 분석보다는 Tf-idf를 활용하여 문서 속 중요 단어를 추출하는 연구의 빈도가 더 늘어나는 추세이다[23]. TF(Term Frequency)는 특정 문서 d에서 특정 단어 t가 문서 내에 등장하는 빈도(2)를 나타내고 IDF(Inverse Document Frequency)는 전체 문서 중 등장 문서 수의 역수를 나타낸다. 두 수치를 곱한 TF-idf는 단순히 빈도를 분석하는 것을 넘어 가중치를 두어 중요 단어를 파악하기에 OTT 관련 필드뿐만 아니라 다양한 국내 학술 분야에서 이를 이용한 연구들[16][24][25]이 나타나고 있다.

tf(d, t)       (2)

\(\begin{align}i d f(t)=\log \left(\frac{n}{1+d f(t)}\right)\end{align}\)       (3)

TF - idf = tf(d, t)*idf(t)       (4)

이때 n은 문서의 총수를 의미하며, df(t)는 문서에서 특정 단어 t가 등장한 문서의 수이다.

3.4 토픽 모델링

텍스트 마이닝을 통해 데이터를 분석할 수 있는 방법 중에서도 군집화 알고리즘을 사용하는 토픽 모델링은 뉴스, 웹페이지 등 방대한 크기의 문서에서 주제를 도출한다. 한 문서에 여러 가지 주제가 존재하며, 주제마다 여러개의 단어로 구성되어 있다는 전제하에 토픽 모델링은 문장의 맥락을 이용하여 비슷한 의미를 가진 단어들의 클러스터링을 통해 분류한다.

문서 안의 단어 패턴을 발견하고 군집 형성을 하는 토픽 모델링의 알고리즘은 다양하다[26]. LSA, PLSA, LDA, NMF 등 다양하게 제시되어 왔으나 대표적인 알고리즘은 LDA[27]로 알려져 있다. LDA 방식을 활용한 국내 연구도 다수 존재하는데, LDA 방식을 통해 OTT 서비스에 대한 사용자들의 평가를 활용하여 넷플릭스 사용자가 4가지 키워드를 중점적으로 리뷰를 남긴다는 연구 결과를 제시한 연구가 있다[17].

\(\begin{align}\begin{array}{l}p(\theta, z, w \mid \alpha, \beta) \\ =p(\theta \mid \alpha) \prod_{n=1}^{N} p\left(z_{n} \mid \theta\right) p\left(w_{n} \mid z_{n}, \beta\right)\end{array}\end{align}\)       (5)

이때, LDA의 확률 모델(Probabilistic Graphical Model)은 그림 1과 같다. 원형으로 표현된 각 노드는 확률 변수를 의미하며 타원으로 표현된 N과 M은 플레이트로, 반복을 의미한다. N플레이트는 문서 내의 단어의 수, M플레이트는 문서의 수로 정의한다. α, β를 파라미터로 두었을 때, 주제들의 결합 분포를 θ, z개의 주제 집합 N, w개의 단어 집합은 (5)의 수식으로 표현된다. 더불어 w노드는 확인이 가능한 변수(observable variables)이므로 회색으로 표기되며, 나머지 노드는 잠재 변수(latent variables)로 투명하게 표기한다.

(그림 1) LDA[27] 설명 모형

(Figure 1) LDA[27] Explanatory Model

한편, 최근 토픽 모델링의 알고리즘은 LDA에서 딥러닝 기반 BERTopic을 사용하는 방향으로 연구가 많이 이루어지는 추세이다. BERTopic은 사전 학습된 트랜스포머 기반 언어 모델로 문서 임베딩을 생성하고, 이러한 임베딩을 클러스터링하며, 마지막으로 클래스 기반 TF-IDF 절차로 토픽 표현을 생성한다[28]. 그림 1에서 볼 수 있듯이 LDA 알고리즘에 사용되는 Bag-of-Words가 단어 간의 의미 관계를 고려하지 못한다. 그에 반해, 문서의 내재한 의미를 이해하고 처리하는 자연어처리 BERT[29] 모델을 접목한 BERTopic은 이 단점을 해결한다는 점에서 큰 강점을 가진다. 실제로 BERTopic은 LDA, NMF 등 다른 토픽모델링 기법들과 비교하였을 때 높은 성능을 기록하여 그 유용성을 보여주고 있다[30]. 그렇기에 외국뿐만 아니라, 국내에서도 BERTopic을 활용한 다양한 연구들이 등장하고 있다. BERTopic을 활용하여 불면증 소셜 데이터에 토픽 모델링을 적용한 연구는 BERTopic을 활용한 국내 최초 연구 중 하나이다[31]. 이 밖에도 소셜 미디어 마케팅에 대한 국내 및 해외 학술 논문의 연구 동향을 BERTopic을 활용해 분석한 연구도 있다[32]. 이들은 서비스 산업에서 고객 만족과 관련된 연구 동향을 분석하기 위해 BERTopic을 활용한 토픽 모델링을 진행하였다[33].

3.5 사용자 만족 및 평가 속성

서비스 마케팅이나 서비스 관리 분야 등에 있어 고객 만족의 개념은 다양한 산업군에서 수많은 연구자에 의해 연구되어 온 매우 중요한 연구 영역이며 종속변수로써 독립변수를 수없이 바꾸어가며 탐구되어 왔다[16]. 전통적인 Herberg의 2요인 이론에서는 만족과 불만족을 비대칭 개념으로, 만족과 관련된 동기 요인과 불만족과 관련된 위생 요인을 별개로 둔다[34]. 또한 이 개념을 기반으로 하여 만족의 3 요인 모델을 제시한 연구도 존재한다[35]. 국내에서도 이러한 3 요인을 카노 모델을 통해 설명하고 차후 다양한 연구를 통해 그 유효성을 입증하여 OTT 서비스들의 사용자 평가를 살펴본 사례도 존재한다[16]. 그밖에도 수정된 정보 시스템 성공 모형[36]과 기대 충족 이론[37], 후기 수용모델[38]을 결합해 OTT 서비스 특성이 지속 사용 의도에 영향을 미치는 영향을 검증하는 시도가 존재한다[13].

계층분석 과정을 활용해 단계별 속성을 정의하기도 한다. 이 연구에서는 1단계는 ‘콘텐츠’, ‘비용’, ‘서비스 품질’, ‘이용 편의성’이며 2단계는 1단계 요인들의 하위 평가 요인들로 구성하여 구조화했다[39]. 해당 연구를 참고하여 본 연구에서는 사용자의 서비스 만족도를 분석하기 위해 OTT 서비스에 대한 사용자 평가 속성을 ‘콘텐츠’, ‘서비스 품질 및 안정성’, ‘비용 및 광고’ 그리고 ‘이용 편의성 및 기기 호환성’으로 재구성하여 활용하였다.

콘텐츠는 OTT 서비스 플랫폼이 제공하고 있는 콘텐츠를 의미한다. 서비스 품질 및 안정성은 OTT 서비스를 제공하는 플랫폼의 다양한 서비스 품질과 안정성을 의미한다. 화질, 음질, 자막 등이 이에 해당한다. 비용 및 광고는 OTT 서비스 플랫폼이 제시하는 가격의 합리성과 요금제의 다양성이 해당하며 방해될 정도의 광고가 존재하는지도 포함된다. 마지막으로 이용 편의성 및 기기 호환성은 OTT 서비스 플랫폼 앱의 UI 적인 측면과 인터넷 연결 정도를 의미하며, 해당 앱이 다양한 디바이스와 적절히 호환하는지를 포함한다.

4. 연구 방법

리뷰 데이터 크롤링부터 속성별 별점 기반 사용자의 감성 분석까지의 본 연구 전체 프레임워크는 그림 2에 해당한다. 크롤링을 통해 수집한 데이터를 먼저 긍정 부정 리뷰로 분류해 각각의 주요 단어들을 Tf-idf로 추출하였다. 그 후, BERTopic을 활용한 토픽 모델링을 통해 OTT 서비스 플랫폼별 주요 토픽들과 그에 따른 키워드들을 미리 정의해 둔 OTT 서비스 평가 요인에 의해 매칭시키고 그에 따른 사용자들의 반응을, 별점을 통해 수치화하였다.

(그림 2) 전체 실험 프레임워크

(Figure 2) Overall Experiment Framework

4.1 자료수집

본 연구는 국내와 해외 OTT 서비스 사용자 리뷰를 통해 플랫폼 간의 반응 비교를 목표로 한다. 따라서 연구 데이터는 사용자의 평가를 수집할 수 있는 구글 플레이스토어의 모바일 리뷰를 통해 분석을 진행한다. 연구 배경에서 제시한 플랫폼 중, 데이터가 적은 왓챠를 제외하고 넷플릭스, 디즈니플러스, 티빙, 웨이브 총 4개에 대해 총 35,891개의 리뷰를 수집하였다. 분석 자료에 대한 기술 통계 자료는 표 1과 같다. 플랫폼별로 수집된 리뷰 별점의 평균 점수는 티빙이 3.05점으로 가장 높으며, 웨이브가 2.33점으로 가장 낮았다.

(표 1) 수집 데이터 통계

(Table 1) Collection Data Statistics

4.2 분석 방법 (Tf-idf)

본 연구는 플랫폼별 사용자 반응에 대한 분석 방법으로 구글 코랩 환경에서 빈도 분석과 BERTopic을 활용한 토픽 모델링을 진행하였다. 분석에 앞서 데이터 전처리를 진행하였다. 크롤링한 리뷰 데이터에 대해 작성 날짜를 제거하였으며 사용자가 작성한 본문은 한글, 영어, 숫자만 포함하도록 그 이외의 문자와 공백은 제거하였다. 1차로 정제한 데이터는 한국어 형태소 분석기 KoNLPy의 메캅(Mecab)을 활용하여 토크나이징을 진행하고, 문장의 주요한 의미를 담고 있는 명사와 동사만을 추출하였다. 추출된 결과에 대해 기본적인 불용어 사전에 ‘와우’, ‘불편’, ‘최고’ 등 감탄사와 리뷰에 대한 단순한 긍정 혹은 부정적인 표현에 대한 단어 그리고 ‘넷플릭스’, ‘웨이브’ 등 플랫폼 이름이 포함된 단어는 평가에 무의미하다고 판단해 추가로 업데이트하여 제거하였다.

Tf-idf 분석을 통한 OTT 서비스 플랫폼 사용에 대한 사용자의 전반적인 의견을 파악하기 위해 전처리가 완료된 전체 리뷰 데이터 중 별점 1개부터 2개는 부정 리뷰, 4개부터 5개는 긍정 리뷰로 나누어 두 개의 데이터셋을 구성하였다. 단순히 빈도 분석을 진행하기에는 각 서비스 플랫폼별 리뷰 데이터 개수의 차이가 적지 않기 때문에 가중치를 주는 Tf-idf 값으로 분석을 진행하였다.

4.3 분석 방법 (토픽 모델링)

앞서 언급하였듯이 기존 LDA 기반 토픽 모델링이 아닌 BERTopic 모델을 활용하여 진행하였다. 그림 3에서 볼 수 있듯이 BERTopic은 여러 단계로 구성되는데 먼저 BERT[29]의 문장 임베딩의 성능을 우수하게 개선한 SBERT[40]를 통해 각 문서에 대해 효율적으로 임베딩을 한다. 그 후 고차원 공간에서 그래프를 생성해 저차원으로 그래프를 투영하는 UMAP[41] 기법을 이용해 차원 축소를 진행한 후 데이터의 계층적 구조를 반영한 알고리즘인 HDBSCAN[42]을 이용해서 클러스러팅을 진행한다. 마지막으로 Class별로 문서를 묶어서 Tf-idf 값을 계산하여 단어를 선정하는 기법인 c-TF-IDF와 MMR(Maximize candidate relevance) 기법을 통해 토픽 당 적절한 키워드를 다양하게 선별하고 코사인 유사도를 계산하여 결괏값을 도출한다.

(그림 3) BERTopic 프레임워크

(Figure 3) BERTopic Framework

본 연구 실험에서는 적절한 토픽과 키워드를 선별하기 위해 하이퍼 파라미터값을 조정해 주었다. 조정한 하이퍼파라미터는 UMAP의 국소 연결성을 결정하는 데 사용되는 ‘n_neighbors’, 점들 사이의 최소거리를 나타내는 ‘min_dist’, HDBSCAN 모델에서 군집을 형성하기 위해 필요한 최소 포인트 수인 ‘min_cluster_size’ 그리고 생성 토픽 수를 결정하는 ‘nr_topics’이다. 이 하이퍼파라미터들은 OTT 서비스 제공 플랫폼별로 적절한 성능을 발휘할 수 있도록 모두 다르게 설정해 주었다.

먼저 전반적인 OTT 서비스 평가 속성별 사용자들의 반응을 살펴보기 위해 토픽과 선별된 키워드들을 토대로 미리 정의해 둔 OTT 서비스 평가 속성인 ‘콘텐츠’, ‘서비스 품질 및 안정성’, ‘비용 및 광고’ 그리고 ‘이용 편의성 및 기기 호환성’에 매칭시킨 후 속성별 해당 키워드들을 출력하였다. OTT 서비스 플랫폼별로 평가 속성별 사용자들의 반응을 살펴보기 위해 토픽과 선별된 키워드들을 토대로 미리 정의해 둔 OTT 서비스 평가 속성에 매칭시킨다. 그 후 속성별 해당 키워드들이 속해있는 원본 텍스트들로 데이터프레임을 새롭게 구성해 별점 평균을 구하였다. 또한, 하나의 리뷰 텍스트에 다른 속성의 키워드들이 속해있거나, 한 키워드가 두 속성에 속해 있는 경우 모두 포함하여 별점을 계산하였다.

5. 분석 결과

5.1 Tf-idf 분석 결과

표 2는 긍정, 부정 리뷰 데이터에서 나타난 상위 TF-idf 평균값과 그에 해당하는 단어들을 보여준다. 긍정 리뷰에서는 ‘영화’, ‘드라마’, ‘예능’ 등 전반적인 콘텐츠 관련 단어들이 높은 수치를 기록하였고 부정 리뷰에서는 ‘화면’, ‘자막’, ‘재생’ 등 OTT 서비스 이용이나 앱을 사용하는 과정에 있어 문제가 될 소지가 있는 단어들이 높은 수치를 기록하였다는 것을 알 수 있다. 이는 사용자들이 OTT 서비스 플랫폼 앱의 자체 퀄리티보다는 콘텐츠의 다양성이나 퀄리티 등을 만족 요인으로 평가하고 있다는 것을 알 수 있으며, 그에 비해 본질적인 서비스 제공 플랫폼인 ‘앱’에서 문제가 발생할 경우에 불만족 요인으로 평가한다는 것을 알 수 있다. 한편, 긍정 리뷰에서는 웨이브의 콘텐츠인 중계로 인한 ‘야구’와 부정 리뷰에서는 ‘결제’, ‘돈’ 등의 비용 관련 단어들이 눈에 띄며 Tf-idf의 분석 결과를 시각화한 워드 클라우드는 그림 4, 그림 5를 통해 볼 수 있다.

(표 2) Tf-idf 결과

(Table 2) Tf-idf Results

(그림 4) 긍정 리뷰 워드 클라우드

(Figure 4) Word Cloud of Positive Reviews

(그림 5) 부정 리뷰 워드 클라우드

(Figure 5) Word Cloud of Negative Reviews

5.2 토픽 모델링 결과 및 해석

BERTopic을 활용한 전체 리뷰데이터의 속성별 키워드는 표 3과 같다. 앞서 재구성한 OTT 서비스 평가 속성에 토픽을 매칭시켜 키워드를 출력하였다. 콘텐츠 속성에는 ‘볼거리’, ‘다양’ 등 콘텐츠의 다양성에 대한 키워드와 ‘오리지널’과 같은 자체 제작 콘텐츠에 대한 키워드가 나타난다. ‘서비스 품질 및 안정성 속성에는 ‘화면’, ‘소리’, ‘자막’ 등 시청에 영향을 주는 키워드들을 볼 수 있다. 비용 및 광고 속성에는 ‘결제’, ‘광고’, ‘무료’ 등의 키워드가 나타나며 마지막으로 이용 편의성 및 디바이스 호환성에는 ‘인터페이스’와 같은 UI 적 키워드와 ‘서버’, ‘연결’, ‘네트워크’ 등 인터넷과 플랫폼의 연결성 그리고 ‘디바이스’, ‘안드로이드’ 등 기기와의 호환성과 관련된 키워드들을 볼 수 있다.

(표 3) 속성별 키워드

(Table 3) Keywords by Property

표 4에는 OTT 서비스별 플랫폼의 평가 속성과 그에 해당하는 별점을 토대로 한 사용자의 반응을 정리한 내용이 담겨있다. 대체로 콘텐츠 속성과 관련된 토픽을 담고 있는 리뷰의 별점이 높다. 이는 콘텐츠의 다양성이나 퀄리티의 불만보다는 만족이 압도적으로 크다는 사실로 해석할 수 있다. 또한 웨이브의 경우 콘텐츠 별점이 가장 높은데, ‘야구’, ‘중계’ 등의 키워드로 보아 이는 웨이브에서 제공하는 국내 프로야구 중계 콘텐츠의 사용자 만족도가 매우 높다는 것을 말해준다. 서비스 품질 및 안정성과 관련해서는 국내 OTT 서비스 플랫폼이 해외 기반 OTT 서비스 플랫폼들보다 높은 점수를 기록하고 있는데 이는 해외 플랫폼들보다 국내 플랫폼이 서비스 제공 지역 사용자들의 문화나 환경을 잘 이해하고 있다는 것으로 해석할 수 있다. 다음으로 비용과 관련해서 넷플릭스의 별점이 눈에 띄게 낮은데 이는 넷플릭스가 초기부터 꾸준히 제공하던 한 달 무료 체험을 중단한 것과 최근 가격 인상과 계정 공유 정책을 변경한 것이 영향을 미쳤다고 해석할 수 있다. 마지막으로 이용 편의성과 디바이스 호환성 관련해서도 국내 플랫폼이 해외 플랫폼보다 높은 점수를 기록하고 있는데 이는 서비스 품질과 안정성 속성과 마찬가지로 국내 사용자들에게 특화된 서비스를 제공하고 있다는 점이 영향을 미쳤다는 것을 알 수 있다. 또한, 해외 플랫폼에서 추출한 ‘안드로이드’, ‘갤럭시 노트’ 등의 키워드를 통해 안드로이드 기반 디바이스와의 호환성 문제와 ‘크롬캐스트’ 등의 키워드를 통한 국내 플랫폼에서 제공하는 타 디바이스와의 연결 강점 등이 영향을 미쳤다고 해석할 수 있다.

(표 4) 별점 기반 속성별 사용자 반응

(Table 4) User Reactions by Star-Based Attributes

6. 결론

본 연구는 BERTopic을 활용하여 OTT 서비스 플랫폼별 실제 사용자 리뷰 데이터를 분석함으로써, 사용자들의 니즈와 불만족 요인을 심층적으로 이해하고자 하였다. 구체적으로 대한민국에서 인기 있는 네 개의 OTT 서비스 플랫폼에 대한 사용자 리뷰와 별점 데이터에 근거하여 BERTopic을 활용한 토픽 모델링을 통해, 사용자 리뷰에서 나타난 주요 토픽과 관련 키워드가 OTT 서비스 평가 속성 네 가지와 어떻게 연관되는지를 분석했다.

OTT 서비스 사용자 리뷰 분석 결과로 콘텐츠의 다양성과 품질이 중요한 만족 요인으로 나타났다. 또한 속성별 평가에서 국내 플랫폼과 해외 플랫폼 간 유의미한 반응 차이가 나타난 것을 확인하였다. 각 OTT 서비스 플랫폼의 평가 속성별 키워드와 별점을 추출하였고 이를 통해, OTT 서비스 제공자들이 사용자의 니즈에 더욱 효과적으로 대응하고 경쟁력 있는 서비스 전략을 수립할 수 있는 실질적인 통찰을 제공하고자 하였다. 또한 기존 머신러닝 기반의 텍스트 마이닝 연구에서 발전하여 딥러닝 기반 모델을 활용하였다는 점, 선택형 설문 조사가 아닌 대량의 실제 리뷰 데이터를 근거로 분석하였다는 점에서 시사하는 바가 존재한다.

반면 본 연구는 다음과 같은 한계점이 있다. 첫째, 특정 OTT 서비스 플랫폼과 한정적인 리뷰 데이터에 초점을 맞추었기에 결과의 일반화에는 한계가 있을 수 있다. 다양한 OTT 서비스 플랫폼 중 4개만을 대상으로 하였고, 앱스토어나 블로그 등 다른 리뷰 텍스트 데이터를 활용하지 않았다. 둘째, 리뷰 데이터의 시간성을 고려하지 않았다. 시간이 지남에 따라 과거의 사용자 평가는 충분히 여러 계기로 변할 수 있다. 또한, 꾸준히 업데이트되는 애플리케이션과 빠르게 성장하는 OTT 시장의 특성으로 인해 과거 부정 반응을 보였던 사용자들이 현재는 다른 평가를 보일 수 있다는 점을 간과하였다. 셋째, 분석기법이 분석가의 주관성에 의존한다. 애초에 토픽 모델링 기법 자체가 분석가 임의로 토픽을 선정하기에 주관적인 분석기법으로 알려져 있다. 더욱, 분석가의 주관대로 속성에 맞게 토픽을 배합하여 객관적인 모델링보다는 주관적인 개입이 많이 들어간 방법으로 분석이 진행되었다. 넷째, 사용자 반응에 대한 구체적인 분석이 부족하다. 딥러닝 기반 모델링을 통해 분석하였지만, 텍스트 속 키워드와 반응 도출에서 사람의 복잡한 감정과 뉘앙스를 완전히 포착하여 정교한 의견을 추출하기는 어렵다.

향후에는 BERTopic 뿐만 아니라 다양한 딥러닝 모델을 활용하는 연구를 기대하고 더 나아가 최근 빠른 속도로 발전하여 자연어처리 필드에 큰 영향을 미치고 있는 Large Language Model을 활용할 수 있는 연구가 필요하다. 또한, OTT 서비스 사용자 텍스트 리뷰와 함께 사용자의 인구통계학적 정보나 시청 기록, 상호 작용 등 사용자 행동 데이터를 분석에 포함한다면 훨씬 더 다양하고 정교한 통찰을 도출할 수 있을 것이다. 마지막으로 OTT 서비스 플랫폼에 대한 사용자 반응이 시간에 따라 어떻게 변화하는지를 조사하는 장기적인 추세 분석 연구가 필요하다.