BEHIND CHICKEN RATINGS: An Exploratory Analysis of Yogiyo Reviews Through Text Mining

치킨 리뷰의 이면: 텍스트 마이닝을 통한 리뷰의 탐색적 분석을 중심으로

Abstract

Ratings and reviews, despite their growing influence on restaurants' sales and reputation, entail a few limitations due to the burgeoning of reviews and inaccuracies in rating systems. This study explores the texts in reviews and ratings of a delivery application and discovers ways to elevate review credibility and usefulness. Through a text mining method, we concluded that the delivery application 'Yogiyo' has (1) a five-star oriented rating dispersion, (2) a strong positive correlation between rating factors (taste, quantity, and delivery) and (3) distinct part of speech and morpheme proportions depending on review polarity. We created a chicken-specialized negative word dictionary under four main topics and 20 sub-topic classifications after extracting a total of 367 negative words. We provide insights on how the research on delivery app reviews should progress, centered on fried chicken reviews.

코로나 19의 영향으로 배달앱 시장이 빠르게 성장하며, 리뷰와 평점이 더욱 중요해지고 있다. 그러나 급격하게 늘어난 리뷰와 평점의 신뢰도에 의문이 제기되고 있다. 따라서 본 연구는 리뷰와 평점을 탐색적으로 분석하여 배달앱 리뷰의 신뢰도와 유용성을 파악하고, 이를 높일 방법을 탐구하였다. 텍스트 마이닝 기법을 사용하여 도출한 결과는 다음과 같다. 첫째, 요기요와 네이버 지도, 구글 지도의 음식점 평점을 분석한 결과, 요기요는 가장 우편향된 평점 분포를 보여주었다. 둘째, 요기요의 세부 평점 요인(맛, 양, 배달)간에는 모두 강한 양의 상관관계가 있었고, 이는 부정 리뷰의 단어 분석에서도 드러났다. 셋째, 리뷰의 극성에 따라 사용되는 품사와 형태소의 비율이 달랐다. 넷째, 전체 리뷰 데이터에서 367개의 부정어를 선별한 후, 이를 분류하여 치킨 전용 부정어 사전을 제작하였다. 본 연구는 치킨 리뷰의 탐색적 분석을 통해 앞으로 배달앱 리뷰에 대한 연구가 나아가야 할 방향을 제시하였다.

I. 서론

인터넷과 전자 상거래가 발달하며, 사람들은 다양한 플랫폼을 이용하여 쉽고 편리하게 리뷰를 작성할 수 있게 되었다. 대표적인 호텔 및 식당 비교 플랫폼인 트립어드바이저(Trip advisor)에는 매일 18만 개의 리뷰가 작성되고 있다[1]. 리뷰는 소비자의 구매 의사 결정을 돕고, 판매자가 올바른 서비스의 발전 방향을 선택하도록 한다[2]. 특히, 배달앱에서 리뷰는 소비자의 의사결정과 식당의 매출에 큰 영향을 미친다. 배달앱 사용자의 절반 이상(54.5%)이 고객 리뷰를 바탕으로 음식점을 선택하기 때문이다[3].

그러나 리뷰는 많은 문제점 또한 가지고 있다. 리뷰의 형태가 짧아지면서 양질의 정보 획득이 어려워졌고, 리뷰의 양이 폭발적으로 증가하면서 모든 리뷰를 일일이 분석하는 것이 힘들어졌다[4]. 리뷰와 함께 직관적이고 빠르게 정보를 제공하는 평점 또한 리뷰 내용과 평점 간 낮은 연관성, 각 평점 간 좁은 편차 등의 한계를 가지고 있다. 또한, 사용자들이 리뷰 내용과 평점을 상이하게 입력하는 경우도 있다. 이러한 문제점 때문에 리뷰와 평점의 유용성과 신뢰도에 대한 의문이 제기되었다[5][6].

기존 리뷰와 평점의 유용성을 높일 방법을 탐색하기 위해 진행된 본 연구의 전체 구성은 다음과 같다. 먼저, 연구 배경에서는 온라인 서비스와 배달앱의 리뷰 특성을 분석하고 현행 리뷰 시스템의 문제점과 기존 연구 동향을 파악했다. 이어, 연구 방법에서 배달앱 '요기요' 의 리뷰 크롤링을 통한 데이터 획득 과정과 전처리, 분석 과정을 설명하였다. 이를 통해 도출한 배달앱 리뷰의 문제점과, 리뷰 이면에 숨은 특징들을 4개 항목으로 나누어 연구 결과에 서술하였고, 결론에서는 본 연구의 활용 방안과 한계에 대해 다루었다.

II. 연구 배경

1. 온라인 서비스와 리뷰

리뷰는 서비스나 제품을 경험한 소비자가 잠재 소비자를 위해 긍정적, 부정적 혹은 중립적인 의견을 표출하는 것을 의미한다[7][8]. 온라인 시장에서 리뷰와 평점은 상품과 서비스에 대한 구매 결정을 위한 핵심적인 정보일 뿐만 아니라 매출에도 커다란 영향을 미치는 요인이다[9]. 어떤 서비스를 먼저 이용한 소비자는 타인이 더 나은 경험을 하도록 하기 위해 리뷰를 공유하고[10] 서비스를 나중에 이용하는 소비자는 해당 서비스에 대한 불확실성 해소 및 정보 수집을 위해 리뷰를 확인한다[5][11].

특히 호텔 사용자 중 절반 이상(52%)은 리뷰가 없는 호텔은 절대 숙박하지 않겠다고 답하였고[1][12], 음식 서비스의 경우 90%의 소비자가 식당을 찾기 전 온라인검색을 하며, 그중 3분의 1은 리뷰를 확인한다고 답한바 있다[13]. 즉, 소비자 경험 중심의 온라인 서비스에서 리뷰는 소비자를 구매까지 이어지게 하는 중추적인 요인이며 강력한 의견 표출과 의사소통의 매개체이다. 또한, 기업들은 소비자 만족도 증진, 서비스 개선점 파악 등을 위해 리뷰를 분석한다.

2. 국내 배달앱과 리뷰

인터넷과 모바일 앱의 등장으로 온라인 서비스와 오프라인 서비스가 융합되고, 배달 산업이 부흥하며 O2O 서비스가 급격하게 성장했다. 이 중 음식 O2O 서비스의 매출액은 2017년 2조 7,326억 원에서 2018년 5조 2, 628억 원[14], 2020년 20조 1,005억 원으로 가파른 상승을 이루었고[15], 코로나 19로 인한 외식제한으로 앞으로도 증가할 것으로 전망된다. 이용자 수 또한 2013년 87만 명에서 2019년 2,500만 명으로 큰 성장을 이루고 있다[16]. 2018년 ‘배달의 민족’, ‘요기요’, ‘배달통’ 세 업체의 애플리케이션(앱) 내려받기 수는 모두 2,500만 건(구글 플레이스토어 기준)으로, 이는 한국 인구의 절반에 달하는 숫자이다. 2019년의 배달 앱 이용률은 45.7%이고[17] 2021년 기준 배달앱 이용자의 66.2%는 일주일에 1회 이상 배달 서비스를 이용하는 만큼[18], 배달 시장은 급격하게 성장하고 있다.

배달 서비스에서 리뷰는 업체의 선호도를 판가름하는 요인임이 밝혀진 바 있다. 이러한 배달앱은 친숙성, 커뮤니케이션, 즐거움이라는 내재적 속성을 지니는데, 이 중 커뮤니케이션이 소비자 만족에 가장 큰 영향을 미치는 것으로 드러났다[17]. 커뮤니케이션은 배달 앱 내 음식점과 소비자 간의 상호작용 및 소통을 의미하며, 소비자의 신뢰와 선호에 직결되는 요소이다. 현재 배달 앱에서 주요 커뮤니케이션 매개체는 텍스트 리뷰와 평점으로, 소비자는 음식점에 대한 피드백 및 의견을 표출하고 음식점은 이를 서비스에 반영하는 것으로 소비자의 신뢰도와 선호도에 큰 영향을 미치고 있다 [3][19].

3. 리뷰와 평점의 문제점

리뷰에는 비디오, 이미지, 텍스트 다양한 형태의 정보가 포함될 수 있지만, 배달앱 리뷰의 주된 포맷은 텍스트 리뷰, 사진과 함께 5점 척도의 평점을 매기는 것이다[2][6]. 리뷰의 양이 많아지면서, 소비자들이 음식점을 선택하고 음식점이 개선점을 파악할 때 모든 리뷰를 확인하기 어렵다는 문제가 발생했다[4]. 그때 대안으로 사용되는 것이 각 사용자 평점의 평균값을 낸 평균 평점으로[9][20], 이는 소비자들이 빠르고 직관적으로 음식점에 대해 판단할 수 있게 한다. 그러나 소비자마다 만족과 불만을 느끼는 요인에 차이가 있기 때문에, 평균 평점만으로는 이를 정확하게 설명할 수 없다는 한계가 있다[21]. 또한, 소비자들이 평점과 리뷰 내용을 상이하게 입력하는 경우가 있어[5], 리뷰 신뢰도와 유용성에 대한 의문이 제기되고 있다.

이러한 문제 해결을 위해, 평점을 항목별로 세분화하여 수집하거나, 감성 분석을 활용하여 점수를 조정하는 등의 노력이 있었다[5][10]. 또한, 요기요는 2018년부터 ‘맛’, ‘배달’, ‘양’으로 세분화된 점수 평가 방식을 도입하고, ‘사장님 댓글’을 남길 수 있게 하는 등 쌍방향 소통을 통해 ‘클린 리뷰’(직접 음식점을 이용한 소비자의 리뷰)를 3배 이상 늘렸다[22]. 그러나 이러한 노력이 리뷰의 유용성 및 신뢰도를 높였는지에 대한 검증은 미비하며, 리뷰에 나타난 맥락을 다양한 방면으로 탐구하는 연구가 추가로 필요한 상황이다.

4. 기존 연구 동향

리뷰의 객관화를 위한 방법으로는 리뷰에 사용된 단어를 분류하여 세부 평가 항목에 따라 리뷰 내용을 분석하는 것이 있다. 온라인 리뷰 사이트 Dianping.com 에서 텍스트 마이닝을 이용하여 레스토랑 리뷰를 모은 뒤, 경험적 모델링 (Empirical Modeling) 기법으로 단어를 군집화하여 어떤 요인이 긍·부정 리뷰를 야기하는지 알아보려는 노력이 있었으며[23], 호텔 리뷰를 ‘가치’, ‘환경’, ‘음식’, ‘서비스’의 4가지 평가 기준에 따라 군집화하고, 고객이 필요한 정보를 쉽게 얻게 한 시도 또한 있었다[24]. 이렇게 리뷰에 사용된 단어를 분류하는 것은, 리뷰에 소비자가 중요시하지 않는 요인들이 혼재되어 나타나는 문제를 해결하는 데 큰 도움을 준다 [10]. 현재와 같이 방대한 수의 리뷰를 일일이 읽어 정보를 추출하는 방식은 서비스의 평가를 위해 막대한 시간과 노력을 요구하므로, 리뷰 내 단어를 분류하여 평가하는 방식은 앞으로도 활용 여지가 많은 방안이다.

리뷰의 외적 특징을 바탕으로 내용을 파악하려는 연구와 리뷰 속 특정 단어를 바탕으로 긍·부정도를 판단하는 감성 사전에 대한 연구가 진행된 바 있다. Ghasemaghaei 등은 리뷰의 길이가 짧을수록 평점이 현저히 낮음을 발견했고, 특정 단어들이 ‘즐거움 (joy)’, ‘놀람 (surprise)’, ‘슬픔 (sadness)’, ‘분노 (anger)’, ‘무서움 (fear)’, ‘역겨움 (disgust)’를 나타낼 수 있음을 밝혔다[20]. 변성호, 이동훈, 김남규는 ‘음식’, ‘가격’, ‘서비스’, ‘분위기’로 단어 군집을 나누는 것에 그치지 않고, 평가 항목별 맞춤형 사전을 제작해 세부 감정을 판별하는 연구를 진행했다[10]. 소진수, 신판섭은 감성 분석을 실시해 세부 평가항목을 나누고 평점까지 예측하여 더욱 체계화된 리뷰 분류 및 리뷰 내용 예측에 접근하였다[9]. 이렇듯 리뷰의 특성을 정규화하여 리뷰의 극성을 예측하거나 감성 사전을 만들어 실제 리뷰의 감정 점수로 평점을 예측하려는 노력이 있었지만, 아직까지 특정 서비스에 체계화된 감성 사전을 구축하거나 리뷰와 평점 간의 괴리를 바탕으로 리뷰를 분석하려는 시도는 미비하였다.

III. 연구 방법

본 연구는 배달앱들의 소비자 리뷰와 평점의 한계를 파악하고, 배달앱의 리뷰 특성을 분석하였다. 더 나아가 기존 리뷰와 평점의 유용성을 높일 수 있는 방법에 대해 탐색했다.

본 연구는 ‘요기요’를 사용하여 진행되었다. 요기요는 2012년 서비스를 시작한 배달앱 플랫폼이다. 요기요의 2020년 12월 한 달간 사용자 수는 774만 명으로, 월 사용자 기준 31%의 점유율을 기록했다. 또한, 2019년 10월 기준 요기요에 입점한 업체의 수는 6만여 개로, 업계 1위인 배달의 민족(30만 개 이상)보다는 적지만 배달 서비스 업계 2위를 유지하고 있다. 요기요에서 데이터를 수집한 가장 큰 이유는 웹 크롤링을 통한 데이터 수집의 용이성 때문이다. 배달의 민족은 현재 앱을 통해서만 음식점 리뷰에 접근할 수 있어 크롤링이 용이하지 않았지만, 요기요는 웹사이트와 앱이 서로 연동되어 있기 때문에 웹 크롤링을 실행할 수 있었다.

요기요의 리뷰는 요기요 앱을 통해 음식을 주문한 사람만 남길 수 있으며, [Figure 1]에서 볼 수 있듯 소비자는 맛, 양, 배달 점수와 총점을 각각 평가할 수 있다. 각 점수의 만점은 5점이고, 최저 점수는 1점이다. 리뷰에는 고객이 음식을 주문한 날짜와 메뉴가 자동으로 표시되고, 음식점 사장님은 리뷰에 댓글을 남길 수 있다. 요기요에서 특정 음식을 검색했을 때, 음식점 이름과 함께 리뷰 개수와 평균 평점, 사장님 댓글 개수가 표시되는 것으로 보아 평가 점수와 리뷰 개수는 좋은 음식점을 판별하는 지표로 활용됨을 알 수 있다.

Figure 1. An Example of Yogiyo Review

본 연구는 배달음식의 다양한 분류 중 치킨 프랜차이즈 음식점의 리뷰와 평점을 기준으로 진행되었다. 이는 치킨 프랜차이즈 음식점의 리뷰 개수가 가장 많아, 한 브랜드의 여러 지점에 대해 많은 표본을 수집할 수 있었기 때문이다. 데이터 수집에는 파이썬(Python)의 셀레늄(Selenium) 모듈을 사용한 웹 크롤링 방식이 사용되었다. 각각의 데이터는 고객이 평가한 음식점의 맛 점수, 양 점수, 배달 점수와 고객이 주문한 메뉴, 고객이 작성한 리뷰로 이루어져 있다.

연구에 사용된 리뷰 데이터의 개수는 총 5, 000개로, 서울 시내 주요 역 5개 (신촌역, 혜화역, 여의도역, 건대역, 강남역) 근처에 위치한 5개 프랜차이즈(네네치킨, 굽네치킨, BBQ치킨, 교촌치킨, 멕시카나)의 가맹점 리뷰를 각 200개씩 수집하였다. 리뷰 데이터 전처리에는파이썬 자연어 처리 모듈인 KoNLPy가 사용되었고, 특히 품사 분류에는 OKT(Open Korean Text) 형태소처리기가 사용되었다.

이렇게 수집한 데이터를 바탕으로 요기요 서비스 내 등록된 음식점의 평가 점수와 리뷰가 주는 시사점을 [Figure 2]와 같이 탐색적으로 분석하였다. 먼저 요기요의 평점이 다른 플랫폼 (네이버 지도, 구글 지도) 의평점에 비해 우편향되어 있는지 분석하였다. 이어서 요기요의 각 세부 평점(맛 점수, 배달 점수, 양 점수) 간에 상관관계가 있는지, 평점과 품사 간의 관계가 있는지를 분석했다. 또한, 연구에 사용된 치킨 리뷰 데이터를 바탕으로 치킨 음식점 리뷰의 부정어 사전을 제작하였고, 부정어 사전에 포함된 단어들을 4가지 카테고리로 분류하였다.

Figure 2. Research Process

IV. 연구 결과

본 연구는 단순히 리뷰의 맥락을 파악하거나 감성 지수를 도출하는 새로운 방법을 제시하기보다는, 많은 한국인이 사용하는 배달앱의 리뷰와 평점에 대해 탐색적으로 관찰하고자 했다. 더 나아가 리뷰의 긍·부정 도를 쉽게 파악하여 리뷰 유용성을 높일 방안에 대해 고찰하였다. 그 결과는 크게 4가지로 분류할 수 있다.

1. 우편향되어 있는 요기요 평점

요기요와 네이버 지도, 구글 지도의 음식점 평점을 분석한 실험에서, 요기요는 다른 음식점 리뷰 플랫폼에 비해 우편향된 평점 분포를 보여주었다.

[Table 1]은 서대문구에 위치한 94개의 치킨 가맹점의 플랫폼별 평점을 분석한 결과이다. 세 서비스 모두 5점을 만점으로 하는 평점을 제공하는데, 요기요의 평균 평점은 4.667로, 네이버 지도(4.320), 구글 지도 (3.786)보다 우편향되어 있다는 것을 볼 수 있다. 또한 리뷰 수는 요기요가 61, 693개로 가장 많았고, 네이버 지도(16, 407개), 구글 지도(1, 574개)가 그 뒤를 이었다. 음식점별 평균 평점의 편차에도 유의미한 차이가 있었다. 요기요는 0.169로 가장 편차가 적었으며, 네이버 (0.188)와 구글(0.560) 순으로 편차가 커졌다.

Table 1. Comparison of Ratings by Platforms

우편향된 평점이 발생하는 이유로는 소비자가 리뷰내용과 평점을 상이하게 입력하는 것을 들 수 있으며 [5], 다른 플랫폼에 비해 우편향된 평점은 평점 자체에 대한 소비자의 신뢰도를 떨어뜨릴 여지가 있다. 소비자가 평점을 신뢰하지 못할 때 평균 평점보다 텍스트 리뷰를 찾아보는 것이 더 유용하다는 선행 연구를 고려했을 때[21], 요기요에서 평균 평점의 한계가 분명하다는 것과 텍스트 리뷰의 맥락 파악이 중요하다는 것을 알 수 있다.

2. 평점 요인들의 상관관계

플랫폼별 평점의 편향성 조사에 이어, 요기요가 제공하는 ‘맛’, ‘양’, ‘배달’이라는 세 가지 요인으로 나누어진 세부 평점이 유용한지 알아보기 위해 평점 요인별 상관관계를 분석했다. 그 결과, ‘맛’, ‘양’, ‘배달’ 점수는 모두 서로 양의 상관관계를 보였다.

[Table 2]는 요기요의 3가지 세부 평점 간 상관계수를 나타내고 있다. 맛 점수와 양 점수는 0.72로 매우 강한 양의 상관관계를 보여주었고, 맛 점수와 배달 점수가 0.58로 강한 양의 상관관계를, 양 점수와 배달 점수도 0.57로 강한 양의 상관관계를 보여주었다.

Table 2. Correlation Coefficient

부정 평점뿐만 아니라 리뷰에서도 세부 평점 요인 간 나타나는 높은 연관성을 찾기 위해, 부정 리뷰의 내용을 분석했다. [Table 3]은 먼저 카테고리(맛, 양, 배달) 별로 1점을 받은 부정 리뷰를 수집한 후, 데이터 전처리 과정을 거쳐 빈도수에 따라 해당 리뷰에 등장한 명사와 형용사 단어를 정렬한 것이다. 이후 비교적 분류가 분명한 단어들을 맛, 양, 배달 관련 단어로 연구자 판단에 따라 수동 분류했다. 가장 왼쪽에 위치한 ‘만점’ 열에는 모든 세부 평점에서 만점을 받은 긍정 리뷰의 단어들을 부정 리뷰의 단어와 비교하기 위해 빈도수에 따라 정렬해두었다.

Table 3. Relations Between Rating Factors Shown in Negative Reviews

그 결과, 명사와 형용사 모두 1점을 받은 세부 평점 요인과 관계없이 맛과 관련된 형용사가 빈번하게 등장했다. 양과 배달에서 1점을 받은 리뷰에서도 ‘맛없다’, ‘마르다’, ‘치킨’, ‘맛’ 등 맛에 관련된 단어들이 등장한 것으로 보아, 맛-양 상관관계와 맛-배달 상관관계를 확인할 수 있었다. 또한, 양에서 1점을 받은 리뷰에 ‘배달’ 이라는 단어가 많이 등장한 것으로 보아 양-배달 상관관계도 확인할 수 있었다. 각 세부 평점 요인이 독립적이지 못하다는 것은 요기요가 세부 평점을 통해 평가 기준을 구체화하려 했음에도 정확한 판단 요인을 구분하지 못했다는 것을 의미한다. 그러므로, 세부 평점만으로 소비자가 정확한 정보를 파악하거나 음식점이 문제점을 파악하는 데는 한계가 있다.

3. 리뷰의 극성에 따른 문법적 특징

요기요 리뷰의 긍·부정도에 따라 리뷰에 사용된 품사의 비율에 차이가 있었다. 이를 파악하기 위해 먼저 리뷰를 긍·부정 리뷰로 분류했다. 맛, 배달, 양 점수 중 하나라도 3점 이하인 평점을 갖는 리뷰를 부정 리뷰로 보았고, 맛, 배달, 양 점수 모두 4점 이상인 평점을 갖는 리뷰를 긍정 리뷰로 보았다. 이는 수집한 데이터 5, 000 개의 평균 평점이 4.69 이상이며, 맛, 배달, 양 평점의 평균이 각각 4.67, 4.71, 4.70인 것을 고려하여 세부점수 중 하나라도 3점 이하이면 크게 부정적인 속성을 띈다고 연구자가 판단하였기 때문이다. 총 5, 000개 리뷰 데이터 중 위 분류 과정을 통해 분류된 리뷰는 긍정 리뷰 4, 368개, 부정 리뷰 632개이다. 이렇게 구분된 리뷰를 바탕으로 품사 분석을 시행하여 다음과 같은 결과를 도출하였다.

먼저 리뷰에 사용된 단어의 품사 및 형태소가 리뷰의긍·부정 속성과 연관이 있음을 확인하였다. 파이썬 KoNLPy와 OKT 형태소 분석기를 사용한 긍·부정 리뷰에 대한 품사 및 형태소 분석 결과는 [Table 4]와 같다. 긍정 리뷰에서는 부정 리뷰보다 ‘동사 접두어’가 10% 이상 많이 등장했고, ‘형용사’, ‘문장 부호’, ‘격조사’, ‘알파벳’, ‘한글 음운’, ‘기타 언어’ 는 20% 이상 빈번하게 등장했다. 반면 부정 리뷰에서는 ‘조사’, ‘접미사’, ‘한정사’가 10% 이상 더 많이 나타났으며, ‘어미’, ‘감탄사’, ‘접속사’, ‘숫자’ 는 긍정 리뷰에 비해 무려 50% 이상 더 많이 나타났다.

Table 4. Proportion of Parts and Morphemes According to the Polarity of Review

긍정 리뷰에서 알파벳과 기타 문자, 문장 부호가 더 빈번하게 나타나는 것은 느낌표, 물결표 등과 같은 문장 부호와 하트, 별과 같은 이모티콘의 사용 때문임을 유추할 수 있다. 또한 긍정 리뷰에서 한글 음운의 빈번한 등장은 ‘ㅋ’와 ‘ㅎ’, ‘ㅠ’ 등의 감정 표현이 더 많이 사용되기 때문임을 알 수 있다. 이는 감정 표현을 위해 사용하는 독립적인 음운과 이모티콘 형태의 예시로, 주로 긍정적인 감정 표현을 위해 사용된다는 선행 연구와 일치한다 [25]. 부정 리뷰에서는 어미, 감탄사, 접속 사가 압도적으로 빈번하게 등장하였다. 소비자는 ‘아니', ‘글쎄', ‘흠' 등의 감탄사와 ‘그런데’, ‘다만’, ‘하지만’ 등의 접속사를 자주 사용하며 부정적인 리뷰를 남겼음을 알 수 있다.

숫자를 포함한 리뷰는, 그렇지 않은 리뷰보다 현저히 낮은 평점을 보여주었다. [Table 5]는 0 ~ 9의 각 숫자를 포함한 리뷰의 맛, 양, 배달 평점과 해당 숫자의 사용 빈도를 보여준다. 전체 데이터의 맛, 양, 배달 평점 평균은 각각 4.67, 4.71, 4.70으로, 0 ~ 9의 각 숫자가 사용된 리뷰의 평점은 모두 평점 평균보다 낮았다.

Table 5. Average Rating of Reviews with Numbers

특히, 숫자가 사용된 리뷰의 배달 평균 평점은 맛, 양 점수에 비해 유의하게 낮게 나타났다. 그 이유는 해당 리뷰들에서 찾을 수 있었는데, “7시에 시켰는데 9시에 왔어요. 2시간이나 기다려서 먹어야 하나요?”와 같이 시간을 언급하며 늦은 배달을 지적하는 리뷰들이 많았다. 시간 외에도 “22, 000원이나 하는데 불만족스럽다" 와 같이 높은 가격을 지적하는 리뷰가 있었다.

요기요 리뷰 분석을 통해 리뷰의 긍·부정도에 따라 문법적 특징의 차이가 있다는 것을 알게 되었다. 이와 유사하게 리뷰 길이나 단어 개수, 추천 수, 총 리뷰 수와 같은 주변적인 지표(peripheral cues)를 통해 리뷰의 극성을 파악하려는 시도가 존재해왔다[26]. 직접적인 리뷰 텍스트 분석을 통한 정보 추출보다, 리뷰의 일반적 특성을 바탕으로 극성을 도출하는 연구의 가능성이 입증됨에 따라 본 연구의 결과 또한 극성을 분류하는 데 유의하게 사용될 수 있음을 시사한다.

4. 부정어 사전

부정 리뷰는 긍정 리뷰에 비해 소비자들에게 더 큰 영향력을 지니며, 상대적으로 큰 정보적인 가치 (informative value)를 가진다는 선행 연구[27-30]를 바탕으로 부정 리뷰에 대해 분석하고자 했다. 리뷰의 극성에 따른 문법적 특징 분석을 통해 특정 품사와 형태소, 숫자의 사용 빈도 등이 부정적인 리뷰를 나타내는 지표가 될 수 있음을 확인하였다. 그러나 이러한 문법적인 특징 외에도, 부정적인 리뷰에서 특정 단어들이 자주 등장하는 것을 발견하였고, 이 단어들을 바탕으로 부정어 사전을 만들어 부정 리뷰를 판별하는 데 사용할 수 있으리라 판단하였다. 단순히 부정적인 의미를 띤 단어만을 부정어로 분류하기보다, 부정적인 리뷰에 반복적으로 등장하는 단어를 부정어 사전에 포함했고, 이단어들을 기준에 따라 분류하여 부정어 사전을 제작하였다.

부정어 사전을 제작하기 위해 프랜차이즈 음식점의 리뷰 5, 000개에서 부정 리뷰에 자주 등장하는 부정어 키워드 440개를 수동으로 추출한 후, NLP를 사용하여 정규화하였다. 이후 해당 키워드가 포함된 리뷰의 평가항목별 평균 평점을 계산하여, 맛, 양, 배달 점수가 모두 4점 이상이면 해당 키워드를 부정어 목록에서 제외했다. 그 결과 총 367개의 키워드가 남았고, 이들을 평가항목별 평점(맛, 양, 배달) 분포에 따라 1차 분류한 후, 수동으로 [Table 6]의 분류 기준에 따라 재배치하였다.

Table 6. Categories of Negative Words

전체 부정 키워드를 크게 <맛>, <배달>, <서비스>, <감정 심리>로 분류하였다. 4개의 대분류는 각각 기타를 포함하여 5개의 소분류를 포함하고 있으며, 기타의 경우 기존의 소분류에는 해당하지 않지만 명백하게 해당 카테고리에 속하는 키워드들을 정리했다. 그 예시는 [Figure 3]과 같다.

Figure 3. Example of Negative Words

먼저 맛의 경우 세부 항목을 ‘냄새’, ‘식감 및 상태’, ‘맛 묘사’, ‘닭 부위’, ‘맛 기타’로 나누었다. 냄새의 경우 ‘누린내’, ‘쩐내’ 등 치킨의 냄새를 묘사하는 부정어가 포함되어 있다. 식감 및 상태의 경우 ‘눅눅하다’, ‘마르다’ 등의 키워드를 포함하여 분류하였으며, 맛 묘사의 경우 ‘짜다’, ‘비리다’ 등 미각으로 느껴지는 맛 자체에 대한 묘사를 정리하였다. 닭 부위는 맛에 관한 묘사 중 ‘살코기’, ‘닭가슴살’, 등을 정리하였다.

배달의 경우 ‘배달 시간’, ‘배달 기사’, ‘배달 행동’, ‘배달 상태’, ‘배달 기타’로 나누었다. 배달 시간에는 ‘걸리다’, ‘늦다’ 등의 키워드가 포함되었고, 배달 기사의 경우 ‘배달아저씨’, ‘무섭다’ 등 배달 기사를 부정적으로 평가하는 단어들로 구성하였다. 배달 행동에는 ‘연락’, ‘노크’ 등 배달 기사의 행동 중 부정적인 것들이 포함되었다, 배달 상태는 배달된 음식물의 상태를 묘사하는 ‘덕지덕지’, ‘지저분하다’ 등으로 구성되었다.

서비스의 경우 ‘양’, ‘위생’, ‘포장 도구’, ‘주문’, ‘서비스 기타’ 항목으로 나뉘었다. 양 카테고리에는 양에 관련된 부정어 키워드인 ‘적다’, ‘줄다’ 등이 포함되었다. 위생의 경우 ‘머리카락’, ‘더럽다’ 등 매장과 음식의 위생 상태에 대한 부정어 키워드들로 구성되었으며, ‘젓가락’, ‘테이프’ 등 포장 시 매장에서 함께 챙겨주어야 하는 도구들이 누락되어 부정적으로 사용된 단어들은 포장 도구 항목에 포함되었다. 특히나 서비스 경험에 큰 영향을 미치는 ‘주문’ 소분류의 경우 ‘누락’, ‘환불’ 등의 키워드로 구성되었다.

V. 결론

온라인 시장의 서비스 영역이 확대됨에 따라 고객들의 선택 폭 또한 넓어지고 있다. 따라서 고객들은 더욱 합리적인 의사결정을 위해 다양한 사전 조사를 거치게 되고, 그중에서도 리뷰는 구매 결정에 있어 핵심적인 역할을 수행한다. 또한 O₂O 서비스의 발달로, 한국에서는 최근 배달 서비스가 대폭 성장하였고, 2020년 기준 한국인의 절반 이상이 배달앱을 다운받아 사용하고 있음이 확인하였다. 그러나 배달앱에서 리뷰가 갖는 중요성에도 불구하고 배달 산업, 특히 배달음식 산업의 리뷰 분석이 미진하다는 인식에 따라 본 연구가 진행되었다.

본 연구는 배달앱인 '요기요'에서 5개 치킨 브랜드의 5,000개 리뷰와 평점을 수집하였다. 해당 데이터를 바탕으로 배달 리뷰에 나타나는 특성을 분석했고, 그 결과는 다음과 같다. 첫째, 요기요 평점의 우편향 정도를 타 플랫폼(네이버 지도, 구글 지도)과 비교한 결과, 요기요의 평점이 상당히 우편향되어 있고, 각 평점 간의 편차도 작다는 사실을 발견했다. 둘째, 요기요의 세부 평점 요인 간 상관관계를 알아본 결과 ‘맛’, ‘양’, ‘배달’ 평점 요인 모두 서로 양의 상관관계가 있다는 것을 확인했다. 셋째, 부정 리뷰에 사용된 단어들의 형태소를 분석하여 리뷰의 긍·부정도에 따라 어떤 문법적 특징이 있는지 분석했고, 특정 품사와 형태소, 숫자의 사용 빈도에 차이가 있다는 사실을 발견했다. 마지막으로 리뷰데이터에서 추출된 부정어를 4가지 대분류와 20가지 소분류로 나누어 특정 음식을 위한 부정어 사전을 제작하여 리뷰의 유용성을 증진할 방안을 제시하였다.

그러나 본 연구도 여전히 많은 한계점을 가지고 있다. 첫째로 배달앱 중 요기요라는 플랫폼만을 채택해 리뷰를 분석한 점이 있다. 최근 배달의 민족과 요기요 외에도 쿠팡이츠, 위메프오 등 다양한 배달앱들이 등장하고 있고, 이들은 서로 다른 리뷰와 평점 시스템을 사용하는 차별화 전략을 취하고 있다. 따라서 추후에는특정 배달앱 하나보다는 다양한 서비스를 전체적으로 분석하여 텍스트 리뷰와 평점의 본질적인 문제를 파악하고 대안을 제시해야 할 것이다. 둘째, 한 가지의 배달음식 종류만 분석하여 평점 리뷰 비교 분석 및 부정어 사전 제작을 했다는 한계점이 있다. 배달음식 서비스의 수요 증대로 인해 음식 카테고리가 확장됨에 따라 추후 연구에는 음식 카테고리별로 부정어를 수합하고 분석하여 배달앱 리뷰 유용성을 높이는 데 기여해야 할 것이다. 셋째, 부정 리뷰가 긍정 리뷰보다 잠재 소비자에게 더 큰 영향을 미치며 음식점의 서비스 개선에 큰 영향을 줄 수 있다는 선행 연구 결과에 따라, 부정 리뷰에만 초점을 맞추었다는 한계점이 있다. 부정어 사전을 통해 필수적으로 개선해야 하거나 외면할 여지가 있는 사항을 발견하고 수정을 돕고자 했지만, 소비자는 긍정적인 경험에도 적극적으로 리뷰를 작성하고 수용한다. 그러므로 이후 연구에서는 긍정적 리뷰 특성 또한 비교·분석하여 업체의 서비스 품질 향상에 기여해야 할 것이다.

소비자 리뷰에 대한 많은 연구들은 인공지능 기법을 사용하여 리뷰를 예측하는 데 초점을 두고 있다. 그러나 리뷰의 본질적인 이해를 위해서는 리뷰 이면에 담긴 소비자의 심리를 먼저 이해해야 한다. 이를 위해 본 연구는 리뷰와 평점의 여러 측면을 탐색적으로 분석하였고, 그 결과는 다음과 같이 활용될 수 있다. 첫째, 요기요의 세부 평점 요인들 간 높은 상관관계를 발견했다는 점에서, 상관관계가 낮으면서도 구매의사결정에 큰 영향을 미치는 세부 평가 요인을 찾기 위한 추가적인 연구의 근거로 활용될 수 있다. 둘째, 리뷰의 긍·부정 도에 따라 품사 사용 비율에 차이가 있다는 결과는, 리뷰를 넘어 일반적인 문장에서도 문법적 요소와 극성의 상관관계를 연구하는 후속 연구로 이어질 수 있다. 셋째, 본연구는 우편향된 평균 평점의 낮은 신뢰도와 그로 인한 텍스트 리뷰의 맥락 파악의 중요성을 지적했다. 이는 리뷰를 사용하는 다양한 전자 상거래 서비스들이 지향해야 할 방향을 제시하는 데 활용될 수 있다.

* 본 연구는 2021년 산업자원통상부와 한국디자인진흥원의 디자인 주도 다학제 교육과정 지원 사업의 지원과 2021년도 연세대 학교 연구비의 지원을 받아 수행된 것임(2021-22-0320).