DOI QR코드

DOI QR Code

A Study on the Role of Private-led Information Provision: Case of COVID-19 Pandemic

코로나19 팬데믹 상황에서 살펴본 민간 주도 정보제공의 역할 분석

  • 조호수 (서울대학교 협동과정 기술경영경제정책) ;
  • 장문경 (한남대학교 글로벌IT경영전공) ;
  • 류민호 (동아대학교 경영정보학과)
  • Received : 2020.11.27
  • Accepted : 2021.01.18
  • Published : 2021.04.28

Abstract

With the global pandemic of COVID-19, it is pointed out that exposure to false information to the public could cause serious problems. However, in pandemic situations, there is also an positive effect for the public to share private-led information rather than centralized unilateral delivery of information. This study analyzes the role of private-led information provision in infectious disease situations. To this end, topic modeling and sentiment analysis is carried out on online reviews of all COVID-19-related applications in Google Playstore provided by the Korean government and the private. The results showed that the user's evaluation of private apps, which were used from the early stage of COVID-19, was much higher than the apps provided by the government. In particular, users responded more positively to private apps than government apps in all aspects such as reliability of information, risk avoidance, timeliness, usefulness, and stability. Based on these results, a post-monitoring system is recommended rather than a pre-block of all private apps.

코로나19에 대한 전세계적 팬데믹이 진행되고 있는 상황에서 잘못된 정보가 대중에게 노출되었을 경우 발생할 수 있는 잠재적인 문제에 대한 우려와 함께 현재 주요 앱 마켓에서 민간 애플리케이션에 대한 차단 조치도 단행되고 있다. 그러나 감염병 상황에서 중앙집중식의 일방적인 정보 전달보다 대중이 스스로 정보를 공유하는 것이 효과적인 측면도 동시에 존재한다. 본 연구는 텍스트마이닝을 이용해 감염병 상황에서 민간 주도의 정보제공에 대한 이용자 반응을 분석한다. 이를 위해 정부와 민간이 현재 한국의 구글 플레이스토어에서 제공하고 있는 모든 코로나19 애플리케이션에 대한 이용자들의 반응에 대한 토픽 모델링과 감성분석을 실시한다. 분석 결과, 이용자들은 정보의 신뢰성, 위험회피, 실시간성, 유용성, 안정성 등 모든 차원에서 정부 대비 민간 애플리케이션에 대해 더 긍정적인 반응을 보이는 것으로 분석되었다. 분석 결과를 바탕으로 민간 애플리케이션에 대한 일방적인 차단이 아닌, 사후적인 모니터링 시스템을 도입하는 방안 등을 제안한다.

Keywords

Ⅰ. 서론

코로나바이러스 감염증-19(코로나19)가 전 세계적으로 확산되고, 세계보건기구(WTO)는 여러 대륙 국가들에서 감염병이 동시에 퍼지는 현상인 세계적 대유행 (Pandemic)을 선언하는 등 그 확산 추세가 누그러지지 않고 있다[1]. 코로나19는 산업 경제적인 영역을 넘어서 시민의 일상을 송두리째 바꾸어 놓고 있어[2][3], 감염병과 관련한 정보에 대한 수요가 빠르게 증가하였다.

이러한 수요를 반영한 듯, 코로나19 초기부터 코로나 맵, 코로나 알리미, coronavirus.kr 등 웹 기반의 정보서비스들이 제공되기 시작했고, 이후 많은 서비스들이 모바일 애플리케이션 형태로 제작되어 배포되었다. 초기 모바일 애플리케이션도 정부보다는 민간에서 개발된 것이 주를 이루었는데, 그 대표적인 예가 코로나 100M, KMA 코로나 팩트 등이다. 코로나19가 본격적인 확산 양상으로 접어들면서, 정부 역시 코로나 19와 관련한 다양한 정보를 제공하기 시작했다. 질병관리본부는 물론 각 지방자치단체가 확진자 발생 현황과 동선을 공개하고, ‘자가격리자 안전보호’ 등의 애플리케이션을 개발해서 제공한 것이 그 대표적인 사례다. 이렇듯 국내 코로나19 관련 정보서비스는 초기에는 민간에서 주도하고 정부가 민간을 벤치마킹 하는 형태를 보이는 것이 특징이라 할 수 있다.

현재 국내의 코로나19에 대한 대응은 K-방역이라고 불릴 만큼 그 우수성이 입증되어 세계적인 주목을 받고 있다. 이러한 성공의 이유로는 "개방성, 투명성, 그리고 국민들에게 충분한 정보 제공을 하는 것"이 꼽힐 만큼, 코로나19의 초기 전파 및 확산과 관련하여 정보제공의 중요성이 부각되어 왔다. 최근 들어, 스마트폰이 활성화되고 API를 통한 개발 환경 표준화와 함께 누구나 접근할 수 있는 공공데이터가 많아지면서, 민간 개발자들이 해당 정보를 이용해 쉽게 애플리케이션이나 웹 형태의 서비스를 만들어 제공할 수 있게 되었다. 따라서 코로나 19 상황에서의 정보제공은 과거 사스 메르스 등의 사례와 다르게 민간 주도의 정보제공이 더 큰 역할을 해 온 것으로 판단된다. 결국 K-방역의 이면에는 이러한 민간의 정보제공 노력이 정부의 방역 노력과 시너지를 발생한 것으로도 해석해 볼 수 있다.

최근 이러한 민간 주도의 정보제공 상황이 전환되는 사건이 발생했는데, 바로 2020년 3월 10일 경부터 구글 플레이스토어와 애플의 앱스토어가 민간이 개발한 코로나 19 관련 애플리케이션들을 차단한 것이다. 현재 해당 애플리케이션 스토어에서는 마스크 재고 확인용 애플리케이션들과 소수의 코로나19 관련 민간 애플리케이션만이 접근 가능한 상황이다. 해당 조치 후 이용자 사이에 많은 불만들이 쏟아져 나왔고, 민간 개발자들도 공공의 이익을 위해 헌신하고 있던 것이 완전히 무시되고 사전 고지 없이 일방적으로 차단된 것에 대한 불만을 제기하고 있다.

이러한 쟁점에 대한 답을 찾기 위해서는 코로나 19와 관련된 애플리케이션의 이용에 대한 객관적인 분석이 필요한 상황이다. 일부 선행 연구들에서 감염병 상황에서 정부와 정부 외 주체의 정보제공 관계성에 대해서 분석된 바 있다. 송동근, 민귀홍, & 진범섭[4]은 정부 외 개인 차원에서 제공되는 정보의 정확성은 정부 신뢰도에 긍정적인 영향을 준다는 것을 확인했다. 즉, 개인 주도의 정보제공이 정부의 감염병 대응에 대한 신뢰에 영향을 줄 수 있다는 것이다. 이외에도 민간 차원에서의 정보제공의 의의에 대한 일부 선행 연구가 존재한다. 하지만 대부분의 연구가 설문조사를 기반으로 소규모 샘플을 활용하고 있어 연구자가 설계한 질문 안에서의 분석만이 가능하였으며, 설문이 수행된 한 시점에서의 의견만을 수렴할 수 있었다. 또한, 민간이 정보제공 주체로써 어떤 역할을 담당하고 또 그것에 대한 이용자들의 평가는 어떠한지를 분석한 논문은 찾기 힘들다.

본 논문은 감염병 상황에서 정부와 민간 차원의 정보제공의 가치를 이용자들의 평가를 기준으로 재조명하고자 한다. 이를 통해서 이용자들은 감염병 상황에서 민간이 제공하는 정보 및 서비스에 대해 만족하는지, 그 만족도가 정부의 애플리케이션 서비스와 차이는 있는지, 그리고 어떤 측면에서 장단점이 있는지 등을 점검한다. 이러한 분석을 통해서 민간 애플리케이션 차단이 실제 이용자들에게 실효성 있게 다가오는지를 분석하고, 차단 목적과 실효성을 이용자 측면에서 점검해보는데 그 의의가 있다.

본 논문은 다음과 같이 구성되었다. 1장에서는 연구의 배경과 목적, 그리고 연구 범위를 제시하고, 2장에서는 구글플레이스토어의 민간 애플리케이션 차단과 이에 따른 쟁점을 포함해 코로나19와 관련된 기존 문헌을 분석한다. 3장에서는 분석 데이터와 연구방법론에 대해서 설명하고, 4장에서 코로나19 관련 민간과 정부에서 제공한 애플리케이션에 대한 이용자 리뷰를 토대로 만족도를 평가한다. 마지막으로, 5장 결론에서는 주요 결과의 요약과 함께 민간 애플리케이션 차단 정책에 대한 평가와 감염병 상황에서 그 의의와 민간 애플리케이션 생태계 활성화를 위한 정책 및 연구의 방향성을 제시한다.

Ⅱ. 연구 배경

1. 애플과 구글의 차단과 주요 쟁점

국내에 코로나 환자가 처음 보고된 것은 2020년 1월 20일로, 해당일 이후 한 달가량 소규모 확진이 보고되었다. 이후 코백, 코로나맵, 코로나19, 코로나팩트 등 민간이 개발한 다양한 서비스들이 제공되기 시작했다. 이후 2월 24일경 신천지 신도들을 통한 대규모 확산이 시작되었으며, 코로나100신, 코로나나우, 코로나100M 등의 신규 민간 애플리케이션들이 추가로 등장했다[그림 1].

CCTHCV_2021_v21n4_1_f0001.png 이미지

그림 1. 국내 코로나 확산과 민간 주도 애플리케이션 현황

코로나 관련 민간 애플리케이션들은 확진자 동선, 현황, 이용자의 위치에서 바이러스 노출 위험성 등의 정보를 제공했다. 또한, 코로나 사태가 진행될수록 단순히 확진자 정보만을 제공하는 것에서 더 나아가 코로나19 관련 뉴스 속보나 확진자 및 사망자 현황 알림 기능, 코로나 19 관련 의학논문 등 전문지식, 코로나19에 대해 자유롭게 의견을 주고받을 수 있는 커뮤니티 서비스 등을 제공했다. 이러한 애플리케이션을 통해 코로나 19에 대한 다양한 정보를 쉽게 얻을 수 있었기에 코로나 사태가 악화될수록 관련 애플리케이션에 대한 대중의 관심이 집중되었고, 구글 플레이스토어 인기차트의 상위를 차지할 만큼 그 인기가 커졌다.

이 시기에 중국, 한국 등 동아시아를 중심으로 확산되던 코로나19는 중국과 아시아를 넘어 유럽, 미국, 남미로까지 퍼졌고, 전 세계적으로 코로나19의 확산이 가속화됐다. 이와 함께 3월 11일 미국 백악관은 미국의 주요 IT 기업들과 만나 코로나19 대책을 논의하는 자리에서 코로나19에 대한 잘못된 정보가 온라인상에서 확산되는 것을 막아달라 요청했다. 이 사건 이후, 애플리케이션마켓을 운영하는 애플 및 구글이 코로나 19와 관련된 민간 애플리케이션들을 차단하는 조치를 단행했다.

애플과 구글은 애플리케이션차단에 대해 코로나 19와 같은 사회적으로 중요한 아젠다를 활용하여 돈을 버는 행위와 승인되지 않은 민간 애플리케이션을 통해 잘못된 정보가 확산되는 것을 방지한다는 명분을 내세웠다. 구글과 애플이 발표한 코로나19와 관련된 정책 변경에 대한 내용은 다음 [표 1]과 같다.

표 2. 애플과 구글의 코로나19 관련 애플리케이션 정책

CCTHCV_2021_v21n4_1_t0001.png 이미지

주: 구글 및 애플 앱스토어의 공지를 바탕으로 저자 재정리

이러한 이유로 코로나19 확산에 대한 현황을 전달하던 수많은 애플리케이션들이 갑작스럽게 사라지며, 이와 관련한 다양한 이슈들이 제기되었다. 현재는 애플과 구글에서 애플리케이션 차단에 대한 근거를 정책 수정을 통해 제시하고 있지만, 차단 초기에는 그 근거를 정확히 통지하지 않은 상태에서 차단이 단행되었다.

또한, 정부의 공식 데이터를 활용하거나 공익의 목적임이 분명함에도 불구하고 코로나19 관련 애플리케이션이라는 이유로 사전에 어떠한 설명과 수정 요구 없이 일방적으로 애플리케이션이 차단되어 개발자와 사용자 입장에서는 받아들이기 힘든 부분이 있다. 일부에서는 이러한 무분별한 조치가 소비자의 권리를 침해하며 비영리 목적의 애플리케이션 개발 의지를 꺾어, 민간 애플리케이션 개발 생태계를 저해할 수 있다는 의견을 제시하였다. [표 2]는 코로나19 애플리케이션 차단과 관련된 국내 뉴스기사들의 내용을 분석하여 저자들이 재정리한 것이다.

표 2. 코로나19 애플리케이션 차단 관련 이슈

CCTHCV_2021_v21n4_1_t0002.png 이미지

본 연구에서는 위 쟁점들을 바탕으로, 민간 개발자들이 제공하는 정보서비스에 대해 이용자들이 어떻게 평가하고 있는지를 조사하고 해당 논의에 대한 바람직한 방향성을 모색해 보고자 한다. 이를 위해, 정부와 민간주도로 제공되는 모바일 애플리케이션에 대한 이용자리뷰를 텍스트마이닝 기법을 통해 분석한다. 실제 이용자들의 정보의 신뢰성을 포함한 전반적인 애플리케이션 만족도를 평가함으로써 애플리케이션 차단의 효과 등과 그 정당성을 점검해 본다.

2. 코로나19 관련 연구동향

코로나19의 확산과 함께 관련 연구도 활발하게 진행되고 있다. 의료 분야에서는 코로나19의 전파 모델에 대한 연구가 주로 이루어지고 있다. Kwon, Son, Kim, & Kim[5]은 감염자 발견의 속도와 격리 범위에 따른 감염 전파의 억제 효과를 수리적 모델을 사용하여 검증하였으며, Jia et al.[6]은 모바일 데이터를 이용하여 코로나 19의 확산을 예상하는 수학적 모델을 제시하였다.

검색데이터를 통해 코로나19의 전염에 대한 연구가 이루어진 사례도 있다. Husnayain et al.[7]은 구글 트렌드 데이터를 분석해서 타이완에 처음 코로나19 발생 이후에 관련 검색이 급증한 것을 보여주었다. 또한, 지역별로 검색어의 양의 차이가 발생하는 것과 인터넷 보급률과의 관계가 있을 수 있음을 보여주어 긴급 재난 상황에 인포데믹(infodemic)의 지양을 위해 국가의 적극적이고 올바른 위험 커뮤니케이션(risk communication)이 필요함을 역설하였다.

코로나19 팬데믹 상황에서 미디어 커뮤니케이션 역할에 대한 연구도 주목받고 있다. Hopman, Allegranzi, & Mehtar[8]은 코로나19 팬데믹 상황에서 공공보건의 중요성과 함께 미디어의 사회적 공포 확산을 막기위한 노력이 중요함을 강조하였다. Van Bavel et al.[9]은 메르스, 스페인 바이러스 등 과거 사례를 바탕으로 사회과학이 공중보건 향상에 기여할 수 있는 방안들을 위협인지, 커뮤니케이션, 리더십 등의 다양한 관점에서 제시하였다. 특히 커뮤니케이션 측면에서 사람들이 잘못된 정보에 현혹되지 않게 만들기 위한 정부와 미디어의 노력이 중요함을 강조하였는데, 구체적인 방안으로 사람들이 뉴스의 정확도에 고민하게 만드는 장치 및 정보원의 신뢰성(source credibility)을드러내는 것을 제안하였다.

Sen, Karaca-Mandic, & Georgiou[10]은 코로나 19 관련 정책의 효과를 실증 데이터를 분석하여 증명하였다. 미국 내 코로나19 케이스 발생 이후에 홈스테이 명령(Stay-at-home)이 코로나19 확산을 막는데 효과가 있었다는 것을 미국 4개주의 코로나19 발생 데이터로 증명하였다. 최근 공공데이터에 대한 접근성이 개선되면서 확진자 등에 관한 데이터나 대중들이 생성한 소셜미디어상의 포스팅이나 댓글, 검색 트렌드 등에 관한 데이터를 이용하여 대중들의 관심 동향이나 코로나 19의 확산 등에 대한 연구도 수행되고 있다[11-13]. 이렇듯 의료, 미디어, 정책 등의 여러 분야에서 다양한 연구들이 수행됐지만, 코로나19와 같은 감염병 상황에서 민간 주도의 정보제공의 역할을 다룬 연구는 상대적으로 부족하다.

3. 감염병 확산과 정부 및 민간의 역할

감염병 확산 상황에서 정부와 민간 등 각 주체의 역할에 대해서는 과거에도 연구가 수행된 바 있다. 정부의 역할에 대해서는 주로 방역의 책임 주체로서 그 조직과 정책에 대한 연구가 주로 이루어지고 있다. Kobayashi et al.[14]은 지속적인 코로나19 팬데믹 상황에서 보건당국의 역할을 강조하였는데, 보건당국은 코로나 19 의 심각성을 알리기 위해 적절한 측정법을 사용하여 코로나19로 인한 사망 위험 불확실성에 대처해야 함을 역설하였다. 우리나라의 경우, 질병관리본부에서 감염병 위기 시 대응체계를 수립하여 감염병 확산 방지책 수립 및 확산 대비 태세를 선제적으로 수립하고 재난 발생 시 신속한 대응을 통하여 위기상황을 조기에종식시키기 위해 노력하고 있다[15].

우리나라는 사스와 메르스 사태 이후 감염병 위기 관리에 관한 거버넌스 및 정책에 대한 관심이 증가하였다. 정은경[16]은 감염병 위기관리 역량 강화를 위한 우리나라의 국가방역체계 개편 내용을 구체적으로 소개하였다. 서경화, 이정찬, 김계현, & 이얼[17]은 감염병이 발생하였을 때 국가 위기관리체계에 대해 연구하였다. 한국, 미국, 일본의 감염병 위기관리체계를 비교분석하고, 제2의 메르스 사태를 방지하기 위한 구체적인 위기 관리체계를 제안하였다. 고대유 & 박재희[18]은사스와 메르스 사례를 비교하여 리더십, 참여기관 간 상호의존성, 정보, 학습 등 감염병 재난 거버넌스가 갖추어야 할 요소에 대해서 제언하였다. 변성수, 신우리, & 조성[19]은 메르스 사태로 야기된 우리나라 정부의 감염병 위기관리체계의 미흡함에 대해 역설하고 미국의 감염병 긴급대응체계에 대한 분석을 바탕으로 우리나라 감염병 위기관리 체계의 개선방안을 모색하였다.

ICT 기술의 발전과 함께 민간에서도 감염병에 대처하기 위한 적극적인 노력을 기울이고 있다. 특히, 감염병에 대한 정보 전달 측면에서 그 변화가 두드러진다. 이전까지는 주로 정부에서 주도하는 방식으로 대중에게 이루어졌다면, 현재 코로나19 상황에서는 민간이 자발적으로 정보를 대중에게 정보를 공개하는 양상을 보인다. 민간이 발 빠르게 코로나19에 관한 정보를 자발적으로 공유하면서 일반 대중들은 관련 정보를 정부의 공식 채널보다 민간의 서비스에서 획득하기 시작하였다. 우리나라가 코로나19에 대한 정부와 민간의 대응이 코로나 19 대응 모범 사례로 전 세계적으로 평가를 받으면서[20], 외국인들도 자국 서비스와 함께 우리나라의 코로나19 관련 정보를 제공하는 웹이나 애플리케이션 서비스를 이용하는 경우도 늘어남에 따라 외국어로 관련 서비스를 제공하는 사례도 있다[그림 2].

CCTHCV_2021_v21n4_1_f0002.png 이미지

그림 2. 코로나19 국내 민간 서비스(coronaboard.com/)의 외국어 지원 화면

민간이 정보제공의 주체가 되는 상황을 우려하는 관점도 존재한다. 민간서비스는 개인의 프라이버시를 충분히 고려하여 개인 정보를 무분별하게 공개하지 않도록 해야하며[21], 코로나19에 관해 잘못된 정보가 충분한 검증을 거치지 않고 대중에서 노출되었을 경우 심각한 문제를 초래할 가능성에 대한 우려도 제기되고 있다 [22]. 정부 외 소스에서 제공하는 정보의 정확성, 적절성 등이 기존 정부에 대한 인식에 영향을 줄 수 있다는 연구도 존재한다[4].

민간 스스로 정보를 대중에게 공유하는 것에 대한 우려가 존재하는 것도 사실이지만, 코로나19의 강한 전염력을 고려했을 때 중앙집중식의 일방적인 정보 전달보다 대중이 스스로 정보를 공유하는 것이 효과적인 측면도 동시에 존재한다[23]. 따라서 정보의 신뢰성, 신속성 등이 담보된 민간 정보도 적절히 활용되어야 할 필요가 있다. 그리고 정부는 정확한 정보가 대중에게 공유되고 있는지 통제할 수 있어야 하기 때문에, 이를 위해 상황이 급박하게 변화하는 감염병 상황에서의 위험 커뮤니케이션에 대한 인지를 하고 미디어 환경의 변화를 고려하여 전략적으로 대중에게 메세지를 전달해야 한다 [24].

감염병 확산 상황에서의 정부와 민간의 역할 및 정보제공에 대한 다양한 의견이 존재함에도 불구하고, 최근 민간이 제공하는 감염병 관련 정보가 이용자들에게 어떤 효용을 가져다주는지를 실증적으로 분석한 연구는 상대적으로 부족한 상황이다. 특히, 기존의 연구들은 민간의 애플리케이션이 차단되고 있는 지금의 현실에 대한 객관적인 분석과 쟁점에 대한 시사점을 제공하지 못하고 있다. 본 연구에서는 정부와 민간 주도로 제공되는 모바일 애플리케이션에 대한 이용자 리뷰를 텍스트마이닝 기법을 통해 다음과 같은 연구 문제에 대한 답을 탐색하는 것을 목적으로 한다.

연구 문제 1. 코로나19와 관련된 민간 주도 제공 정보에 대한 이용자 평가는 정부 주도 제공 정보 대비 우수한가?

연구 문제 2. 이용자들은 어떤 기준으로 정보 서비스를 평가하는가?

Ⅲ. 연구 배경

1. 분석자료

현재 국내 코로나19 관련 정보는 스마트폰 애플리케이션, 웹페이지 등을 통해 제공되고 있다. 본 연구의 분석자료로는 일반 이용자의 의견을 정보제공 주체별로 나누어 수집하기 용이하며, 앞서 살펴본 이슈에 대한 시사점을 제공하기 위하여 스마트폰 애플리케이션에 대한 리뷰로 선정하였다. 애플리케이션에 대한 리뷰는 이용자가 애플리케이션을 이용한 후 그에 대한 평가를 남긴 것으로, 어플리케이션에 대한 만족도, 제공되는 정보 및 서비스 제공자에 대한 평가 등 다양한 주제를 담고 있다. 본 연구에서는 대표적인 스마트폰 애플리케이션 플랫폼인 구글 플레이스토어에 등록된 코로나19 관련 서비스의 리뷰를 수집하고, 민간과 정부가 제공하는 코로나 19 관련 서비스에 대한 이용자의 평가를 분석하기 위하여 이용자 리뷰에 대한 다양한 수준에서의 텍스트 분석을 실시하였다.

분석 대상으로는 현재 국내 이용자들이 접근 가능한 코로나 19 관련 애플리케이션의 전수인 총 6개를 모두 선정하였다. 민간과 정부가 제공하는 애플리케이션은 각각 3개씩으로 구분되었다. 관련 애플리케이션 서비스가 시작된 2020년 2월부터 동년 6월 말까지의 리뷰를 수집하였으며, 민간 애플리케이션에 대한 리뷰 1,688 개, 정부 애플리케이션에 대한 리뷰 753개로 총 2,441 개의 리뷰를 분석자료로 사용하였다.

표 3. 분석자료 통계

CCTHCV_2021_v21n4_1_t0003.png 이미지

2. 분석방법

이용자가 작성하는 리뷰는 서비스에 대한 이용자의 다양한 평가를 담고 있으며, 이를 분석하여 이용 트렌드와 개선사항에 대한 수요를 파악할 수 있다. 본 연구에서는 민간과 정부가 제공하는 코로나19 관련 애플리케이션에 대한 이용자 만족도를 리뷰 평점이 아닌, 본문이 담고 있는 감성에 대한 확률적 평가를 이용하여 분석한다.

분석자료에 대해서는 텍스트마이닝 방법 중 단어 중요도 분석과 토픽 모델링(Topic Modeling), 감성분석 (Sentiment Analysis)을 수행하였다. 분석자료에 기술된 단어의 중요도를 분석하는 대표적인 방법으로는 TF-IDF(Term Frequency-Inverse Document Frequency)값을 활용하는 방법이 존재한다[25]. TF(Term Frequency)는 특정한 단어가 문서 내에서 등장하는 빈도이며, DF(Document Frequency)는 단어가 전체 문서 중 몇 개의 문서에서 나타나는지를 나타내는 값이다. IDF는 한 단어가 전체 문서에서 얼마나 공통적으로 나타나는지를 의미하는 값으로, 식(1)과 같이 정의한다. TF-IDF값은 TF와 IDF값의 곱으로 계산한다.

\(IDF = log{\frac{1+ 전체 문서 수}{1+DF} } +1 \)       (1)

감성분석은 오피니언 마이닝(Opinion Mining)이라고도 불리며, 특정 주제에 대한 긍정적이거나 부정적인 의견에 대한 정보를 요약하여 제시하거나, 사전에 결정된 보다 상세한 항목을 포함하는 특성 주제에 대한 평가를 요약해서 제시하는 의미 분석의 한 방법이다[26]. 분석에는 프로그래밍 언어인 Python 3.7을 사용하였으며, 한국어로 작성된 리뷰의 자연어 처리를 위하여 한국어 형태소 분석기인 Kiwi에 코로나19 관련 용어를 사전에 추가하여 사용하였다.

토픽 모델링은 텍스트마이닝 방법론 중의 하나로서 정형화되지 않은 텍스트 문건에서 의미 있는 주제들을 확률적으로 추출하는 알고리즘이다[27]. 토픽 모델링은 대량의 텍스트 자료로부터 그 맥락을 확률적으로 분석하고 연구자에게 해석가능성이 높은 단어의 집단을 추출할 수 있다는 특징 때문에 그 적용분야가 확대되고 있다. 토픽 모델링에서 주로 사용하는 알고리즘은 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)이라는 모델로, LDA는 주제별 단어의 분포, 문서별 주제의 분포를 모두 추정하여 주어진 텍스트에 대하여 각 텍스트에 어떤 토픽들이 존재하는지를 확률적으로 추정하여 단어를 추출한다[28].

리뷰 본문에 대한 감성분석에는 구글이 제공하는 오픈소스 소프트웨어 라이브러리인 Tensorflow의 딥러닝 API인 Keras를 사용하였다. 분류기 생성을 위한 학습에는 기본적인 신경망 모형인 피드포워드(feed forward) 모델을 사용하였으며, 학습 데이터 세트로는 한국어의 대표적인 자료 중 하나인 Naver sentiment movie corpus 중 150, 000개의 데이터를 사용하였다. 분석자료 중 무작위 추출한 300개의 리뷰 데이터를 바탕으로 검증한 정확도는 약 90% 수준으로 나타났다.

생성된 분류기는 학습된 데이터를 바탕으로 2, 441개의 개별 리뷰가 긍정 또는 부정일 확률을 계산하여 +100%에서 -100%까지의 수치로 평가한다. 리뷰의 만족도 점수는 리뷰의 긍정 또는 부정 확률을 그대로 지수화한 것으로 정의하였다. 예를 들어, 특정 리뷰가 100%의 확률로 긍정이라 분류된다면 해당 리뷰의 점수는 100점으로 평가되었으며, 또 다른 리뷰가 100% 의 확률로 부정이라 분류된다면 리뷰의 점수는 –100점으로 평가된다.

Ⅳ. 분석 결과

1. 서비스 제공자별 감성점수

전체 분석기간에 대한 민간 애플리케이션 이용자의 감성점수는 39.5점으로 전반적으로 긍정적으로 나타났다. 반면, 전체 분석기간 중 정부 애플리케이션에 대한 이용자의 감성점수는 –36.9점으로 부정적이었다.

[그림 3]은 총 2, 441건의 리뷰에 대한 서비스 제공자별 감성분석 결과를 수행한 결과를 월별 15일 전후로 나누어 나타낸 것이다. 민간 애플리케이션은 2월 서비스 시작으로부터 4월 전반기까지 감성점수가 등락을 반복하다가 이후 긍정적인 수준을 유지하고 있다. 정부 애플리케이션은 2월 서비스 시작 당시에는 16.4점으로 그 평가가 다소 긍정적이었으나, 이후 3월 후반기까지 지속적으로 감소하여 –58.9점까지 떨어졌다. 이후 일부 감성점수를 회복하였으나, 여전히 6월 후반기 기준 – 38.1점으로 높아지지 못하고 있다.

CCTHCV_2021_v21n4_1_f0003.png 이미지

그림 3. 서비스 제공자별 감성분석 결과

[그림 4]는 서비스 제공자별 애플리케이션에 대한 관심도 변화(리뷰 수)이다. 코로나19 관련 애플리케이션이 서비스되고 있는 기간 중 2월부터 6월까지의 기간중 전반기에는 민간 애플리케이션에 대한 평가가 높았을 뿐 아니라, 이에 대한 이용자의 관심도 높게 나타났다. 4월부터는 정부 애플리케이션에 대한 관심이 민간애플리케이션에 대한 관심을 역전하여 6월 말까지 높은 수준을 유지하고 있다.

CCTHCV_2021_v21n4_1_f0004.png 이미지

그림 4. 서비스 제공자별 이용자 관심도 변화(리뷰 수)

2. 중요도(TF-IDF) 상위 단어별 감성분석

[표 4]는 민간과 정부 애플리케이션 리뷰에서 나타난 중요도(TF-IDF) 상위 15개 키워드의 감성점수를 나타낸 것이다. 민간 애플리케이션의 경우 중요도 상위 15 개 중 업데이트(5위), 확진자(8위), 확인(13위), 지도(14 위), 교회(15위)의 5개 키워드를 제외한 모든 키워드가 긍정적으로 분석되었다. 반면, 정부 애플리케이션은 상위 중요도 상위 15개 키워드 모두가 부정적인 것으로 나타났다.

표 4. TF-IDF 상위 키워드별 감성점수

CCTHCV_2021_v21n4_1_t0004.png 이미지

민간 애플리케이션에서는 감사(81.2점)가 가장 중요한 키워드로 분석되었으며, 신천지(4.5점), 정보(33.0 점), 코로나(31.4점) 등의 순으로 나타났다. 신천지 또는 코로나 등 일부 키워드가 포함된 리뷰의 경우 그 감성점수가 다소 부정적일 것으로 예상되었으나, “코로나 관련 정보를 얻을 수 있어 유용해요” 등 리뷰의 나머지 부분이 관련 정보에 대한 접근가능성에 대한 평가 또는 대상 키워드에 대한 회피 가능 여부 등을 평가하고 있어 감성점수가 긍정적인 것으로 확인되었다.

정부 애플리케이션에서는 업데이트(-44.8점)가 가장 중요한 키워드로 분석되었으며, 이를 포함하는 리뷰들은 업데이트에 대한 요구 또는 업데이트 이후 발생한 불편한 부분에 대한 언급이 주를 이루는 것으로 나타났다. 어플(-61.2점), 위치(-58.6점), 이탈(-60.0점) 등도 그 중요도가 높은 것으로 분석되었다. 위치 또는 이탈키워드의 경우 리뷰 수가 596개로 정부 애플리케이션 중 가장 많은 “자가격리자 안전보호” 애플리케이션의 특성으로 인해 중요도가 높게 나타났으며, 자가격리 자가 격리지를 이탈하였는지를 확인하는 과정에서 오류가 잦아 그에 대한 이용자들의 불만이 반영된 것으로 확인되었다.

3. 키워드 카테고리별(Topic Modeling) 감성분석

[표 5]는 코로나19 관련 애플리케이션에 대한 이용자리뷰 전체를 대상으로 토픽 모델링을 실시한 결과이다. 일반적으로 토픽 모델링에서 토픽의 수는 정량 지표가 가장 우수한 것을 선택하거나, 연구자의 주관적인 해석에 따라 가장 타당하다고 판단되는 것을 선택한다 [29][30]. 본 연구에서는 토픽 수를 2개부터 10개까지 늘려가며 분석을 실시하였으며, 객관적인 정량 평가 지표 중 하나인 perplexity가 가장 낮으면서 동시에 연구자의 판단에 가장 적합한 토픽 수인 5개를 선택하였다. 다섯 개의 토픽은 각각 실시간성(안전), 안정성, 위험회피, 유용성, 정보 신뢰성을 그 주제로 하고 있었다. 각 토픽별로 이에 소속되는 배타적인 키워드를 할당하여 총 5개의 키워드 카테고리를 작성하였으며, 각 카테고리별로 감성분석을 실시하였다.

[표 5]. 토픽 모델링 분석 결과

[표 6]은 키워드 카테고리별 감성점수 분석결과이다. 민간 애플리케이션의 경우 카테고리3(위험회피)을 제외한 모든 카테고리의 감성점수가 긍정적이었던 반면, 정부 애플리케이션은 모든 카테고리의 평가가 부정적인 것으로 나타났다. 실시간성(안전), 안정성, 위험회피, 유용성, 정보신뢰성 등 모든 키워드 카테고리에서 민간애플리케이션이 정부 애플리케이션 대비 감성점수가 50점 이상 높게 나타나 리뷰의 핵심 주제별 평가도 민간 제공 서비스가 정부 제공 서비스보다 현저히 긍정적으로 평가되고 있었으며, 그 가치를 인정받고 있었다.

표 6. 키워드 카테고리별 감성점수

CCTHCV_2021_v21n4_1_t0006.png 이미지

Ⅴ. 결론 및 시사점

본 연구는 감염병 상황에서 민간이 정보제공 주체로써 어떤 역할을 담당할 수 있는지, 그리고 민간의 정보제공 서비스에 대한 이용자들의 평가는 어떠한지를 토픽모델링과 텍스트 감성분석을 통해 확인했다. 단, 애플리케이션들이 모두 코로나19에 관한 것이라도 용도와 이용 목적이 다소 상이하며, 이에 따른 이용자 태도의 차이가 존재할 수 있다는 점에는 유의할 필요가 있다. 분석결과, 코로나19 초기단계부터 활용되던 민간 주도의 애플리케이션에 대한 이용자의 평가는 정부가 제공하는 애플리케이션에 비해 월등히 높다는 것이 확인되었다. 특히, 국내 주요 애플리케이션 스토어에서 민간애플리케이션이 차단되는 상황에서 많은 이용자들이 정부가 제공하는 애플리케이션을 이용하기 시작했지만, 정부 애플리케이션에 대한 만족도는 높지 않은 상황이 지속되고 있다는 것을 확인했다. 결국, 애플리케이션 차단이 이용자들에게 불편을 초래하고 더 나은 서비스를 이용할 수 있는 선택권이 제약된 상황으로 평가할 수 있다.

키워드 중요도 상위 15개 단어에 대한 감성분석 결과, 민간 애플리케이션은 평균 16.2점으로 긍정적이었으나, 정부 애플리케이션은 평균 –58.1점으로 부정적으로 분석되었다. 이용자들은 민간 애플리케이션에 감사 (81.2점)를 표현하는 비중이 높았으며, 15개 키워드 중 5개 키워드를 제외한 모든 키워드가 긍정적으로 분석되었다. 반면, 정부 애플리케이션은 상위 중요도 상위 15개 키워드 모두가 부정적이었으며 업데이트(-44.8 점), 실행(-45.9점) 등 애플리케이션의 기본적인 기능 및 사용에 대한 불만도 민간 애플리케이션 (업데이트 – 9.0점, 사용 35.4점) 대비 크게 나타났다. 위치(-58.6 점), 이탈(-60.0점) 등의 키워드는 “자가격리자 안전 보호” 애플리케이션의 특성상 자가격리자가 격리지를 이탈하였는지를 확인하는 과정에서 발생하는 오류(-48.1 점)에 대한 불만이 크게 반영되었다.

토픽 모델링을 통해 이용자들의 반응을 분류한 결과, 실시간성(안전), 안정성, 위험회피, 유용성, 정보 신뢰성의 총 다섯 개의 아젠다가 확인되었다. 이들 세부 항목에 대한 감성분석 결과, 이용자들은 정보의 신뢰성 등 모든 영역에서 정부 앱보다 긍정적인 반응을 보이는 것이 확인되었다. 주요 애플리케이션 마켓에서 민간 애플리케이션을 차단할 때 가장 큰 이유로 든 것이 바로 정보의 신뢰성인데, 신뢰성 측면에서도 이용자들은 오히려 민간 애플리케이션에 대해 더 긍정적인 반응을 보이고 있다는 것은 차단의 목적과 실효성에 대한 의문을 야기한다.

코로나19 관련 애플리케이션 대부분은 개발 수준이 높은 민간 개발자들이 정부가 공개한 데이터를 오픈 API를 통해 받고 그것을 이용자들이 이해하기 쉽도록 시각화하는 방식으로 만들어진다. 여기에 편리한 UX/UI를 추가해 이용자들이 쉽게 서비스를 이용할 수 있도록 한다. 그렇기 때문에 애플리케이션 개발자가 의도적으로 정보를 왜곡하려고 하지 않는 한, 정보 자체의 신뢰성은 보장이 된다. 그리고 일부 정보의 왜곡 시도가 있다고 하더라도 다양한 대안 서비스가 존재하는 상황이라면 이용자들의 선택 때문에 자연스럽게 도태될 수밖에 없다.

본 연구의 결과는, 이런 현실을 고려하지 않고 민간에서 애플리케이션을 만들었다고 일방적으로 차단하는 것은 이용자의 선택권을 제약하게 되고 이용자에게 낮은 수준의 서비스를 강요하는 결과를 초래할 수도 있다는 것을 보여준다. 따라서 민간 애플리케이션을 차단하기에 앞서 실제로 민간 애플리케이션이 정보의 신뢰성을 훼손하는지에 대해서 보다 면밀한 분석이 필요했다는 지적이 가능할 수 있다. 더 나아가 실제 부정확한 정보가 확산되어 문제가 발생하는지, 차단 외 기술적 수단으로 정보의 왜곡을 막을 수 있는 방법은 없는 것인지 등에 충분한 고민이 필요하다. 차단이라는 사전적인 조치보다는 사후적으로 문제가 되는 애플리케이션들을 선별해 낼 수 있는 모니터링 시스템을 도입하는 것도 방안이 될 수 있다.

그동안 많은 연구들이 감염병 상황에서 이용자들 의대 정부 및 공공 의료시스템, 보건 당국 등에 대한 인식 및 신뢰도가 이용자들의 감염병 대처에 영향을 준다고 말해왔다[22][31-33]. 이들은 정부에 대한 신뢰성 및 정보의 일관성 등이 예방접종, 격리 등의 적극적인 조치를 취하는데 긍정적인 영향을 준다는 것을 실증했다. 그러나 최근 대형 인터넷 포털을 포함해 다양한 민간주체들이 코로나19에 대한 정보를 정부보다 더 빠르고 정확하게 제공해 왔다는 평가를 받아왔다. 특히 코로나 19의 확산 초기에 이들 민간 주체들의 활약상이 많은 언론 매체를 통해서 주목을 받기도 했다. 본 연구는 코로나 19가 확산되는 과정에서 민간 개발자들이 제공하는 정보에 대한 이용자들의 반응을 텍스트마이닝 기법을 통해 분석했다. 이를 통해, 이용자들의 반응이 정부가 주도로 제공하는 서비스 대비 우수한 평가를 받고 있다는 것을 실증했다. 이를 통해, 감염병 상황에서 정부 뿐 아니라 민간의 개발 생태계를 통해서 제공되는 풍부한 정보가 이용자들에게 감염병 상황을 적절히 대처하도록 만드는데 효과가 있을 수 있다는 단초를 제공한다는 점에서 의의가 있다. 최근 정부가 코로나 19에 대한 잘못된 정보가 확산되는 것을 우려해, 민간 주도의 정보 제공에 대해 보수적인 입장을 고수하고 있는 것으로 판단된다. 그러나 향후 가짜 뉴스 등 부정확한 정보를 판별해 내는 기술적/제도적 수단이 강구된다면, 감염병 대응을 위한 민간의 다양한 주체들을 감염병 정보 제공의 한 축으로 인정하고, 이들을 적절히 활용할 수 있는 방안을 모색해 나가야 할 것이다.

이러한 장점에도 불구하고, 본 연구는 다음과 같은 한계를 가진다. 첫째, 이용자의 평가와 객관적 사실 간의 차이가 발생할 수 있다. 이용자들의 리뷰 속의 정보의 신뢰성에 대한 긍정적인 반응이 확인되었다고 해서, 민간이 제공하는 정보의 신뢰성이 담보되었다고 단언할 수 없다. 따라서 향후 정보의 신뢰성에 영향을 줄 수 있는 다양한 측면의 분석이 추가될 필요가 있다. 둘째, 분석자료의 한계이다. 본 연구는 민간이 제공하는 정보와 서비스에 대한 이용자 반응을 확인하여 그 가치를 파악하고자 하였으나, 이를 확인할 수 있는 자료가 부족하였다. 트위터와 페이스북 등 소셜네트워크서비스 (SNS; Social Network Service) 상의 반응도 조사를 했으나, SNS상에서는 관련 애플리케이션에 대한 링크만 공유될 뿐, 해당 서비스에 대한 의견을 담는 경우가 거의 없어 텍스트 분석을 적용하는 데 한계가 있었다. 따라서 본 연구에서는 이를 애플리케이션 리뷰를 통해 파악하였으나, 그 수가 제한적이었다. 셋째, 분석대상의 한계이다. 민간과 정부의 서비스 모두 코로나19에 관한 애플리케이션이지만, 그 목적과 용도가 다소 상이하다. 특히, 정부 애플리케이션 리뷰의 큰 부분을 차지하는 ‘자가격리자 안전보호’의 경우 개인의 활동을 제한하는 특성으로 인해 이용자가 더 불만을 크게 느낄 가능성이 존재한다. 또한, 모바일 애플리케이션에 리뷰를 남기는 이용자는 해당 애플리케이션에 대해 강한 긍정 혹은 부정적인 의견을 가진 적극적인 이용 집단으로, 일반적인 사용자그룹을 대변하지는 못한다. 따라서 본 연구의 결과를 일반적인 이용자의 의견으로 확대 해석하는 데는 제약이 있을 수 있다. 향후 정부와 민간이 동일한 목적과 용도로 제공하는 서비스에 대한 일반적인 이용자 집단의 데이터가 확보된다면 이용자 그룹 간 차이 등을 분석해 볼 수 있을 것이다. 마지막으로, 분석방법의 한계이다. 본 연구에서는 기본적인 신경망 모형과 기존의 영화 리뷰 학습 데이터를 활용하여 분석을 실시하였다. 비록 분석 데이터의 일부를 활용한 검증에서 약 90% 수준의 정확도를 보였으나, 최근 제안되고 있는 자연어학습 모형과 유사한 도메인의 데이터를 활용한다면 보다 정밀한 분석결과를 도출할 수 있을 것이다.

References

  1. World Health Organization, Coronavirus disease 2019 (COVID-19): situation report, 72, 2020.
  2. PWC, 코로나19가 가져올 구조적 변화: 디지털 경제 가속화, Samil Issue Report, 2020.
  3. PWC, Navigate the tax measures in response to COVID-19, Tax and Legal Alert, 2020.
  4. 송동근, 민귀홍, 진범섭, "공중보건 위기 상황 시 정보 정확성과 정보 적절성이 정부 신뢰와 만족에 미치는 영향-메르스 사태를 중심으로," 홍보학 연구, 제20권, 제2호, pp.61-90, 2016.
  5. O. Kwon, W. S. Son, J. Y. Kim, and J. H. Kim, "Intervention effects in the transmission of COVID-19 depending on the detection rate and extent of isolation," Epidemiology and Health, Vol.42, pp.1-7, 2020.
  6. J. S. Jia, X. Lu, Y. Yuan, G. Xu, J. Jia, and N. A. Christakis, "Population flow drives spatio-temporal distribution of COVID-19 in China," Nature, Vol.852, pp.389-394, 2020.
  7. A. Husnayain, A. Fuad, and E. C. Y. Su, "Applications of google search trends for risk communication in infectious disease management: A case study of COVID-19 outbreak in Taiwan," International Journal of Infectious Diseases, 2020.
  8. J. Hopman, B. Allegranzi, and S. Mehtar, "Managing COVID-19 in low-and middle-income countries," Jama, Vol.323, No.16, pp.1549-1550, 2020. https://doi.org/10.1001/jama.2020.4169
  9. J. J. Van Bavel, K. Baicker, P. S. Boggio, V. Capraro, A. Cichocka, M. Cikara, and J. Drury, "Using social and behavioural science to support COVID-19 pandemic response," Nature Human Behaviour, Vol.4, pp.460-471, 2020. https://doi.org/10.1038/s41562-020-0884-z
  10. S. Sen, P. Karaca-Mandic, and A. Georgiou, "Association of Stay-at-Home Orders With COVID-19 Hospitalizations in 4 States," JAMA, 2020.
  11. 허윤정, "감염병의 세계적 유행에 대응하는 빅데이터 활용," 정책동향, 제14권, 제2호, pp.7-13, 2020.
  12. 황성완, 김채봉, "구글트렌드를 이용한 감염병 관심 동향 2004-2017년," 의료경영학연구, 제14권, 제1호, pp.39-46, 2020.
  13. N. L. Bragazzi, H. Dai, G. Damiani, M. Behzadifar, M. Martini, and J. Wu, "How Big Data and Artificial Intelligence Can Help Better Manage the COVID-19 Pandemic," International Journal of Environmental Research and Public Health, Vol.17, No.9, pp.1-8, 2020.
  14. T. Kobayashi, S. M. Jung, N. M. Linton, R. Kinoshita, K. Hayashi, T. Miyama, A. Anzai, Y. Yang, B. Yuan, A. R. Akhmetzhanov, A. Sucuki, and H. Nishiura, "Communicating the risk of death from novel coronavirus disease (COVID-19)," Journal of Clinical Medicine, Vol.9, No.2, pp.1-7, 2020. http://www.cdc.go.kr/contents.es?mid=a20301020300
  15. 정은경, "국가 감염병 공중보건위기 대비와 대응체계," Journal of the Korean Medical Association/Taehan Uisa Hyophoe Chi, 제60권, 제4호, pp.296-299, 2017. https://doi.org/10.5124/jkma.2017.60.4.296
  16. 서경화, 이정찬, 김계현, 이얼, "감염병 발생시 우리나라의 위기관리체계에 관한 고찰," 국가정책연구, 제29권, 제4호, pp.219-242, 2015. https://doi.org/10.17327/IPPA.2015.29.4.009
  17. 고대유, 박재희, "감염병 재난 거버넌스 비교연구-사스와 메르스 사례를 중심으로," 한국정책학회보, 제27권, 제1호, pp.243-280, 2018.
  18. 변성수, 신우리, 조성, "감염병 위기관리를 위한 긴급 대응체계 구축," 한국콘텐츠학회논문지, 제18권, 제7호, pp.484-494, 2018. https://doi.org/10.5392/JKCA.2018.18.07.484
  19. 한아름, 세계가 주목한 한국의 코로나19 대응 사례, 대한민국정책브리핑, 2020.
  20. M. Ienca and E. Vayena, "On the responsible use of digital data to tackle the COVID-19 pandemic," Nature medicine, Vol.26, No.4, pp.463-464, 2020. https://doi.org/10.1038/s41591-020-0832-5
  21. 이준영, 허우철, 한미정, "메르스 루머의 수용과 확산에 미치는 영향 요인 탐색 : 트라이 앤디스(Triandis) 모델의 적용," 광고연구, 제122권, pp.104-133, 2019.
  22. Oxford University, Oxford University infectious disease experts provide evidence for a coronavirus mobile app for instant contact tracing, News and Events, 2020.
  23. 백혜진, "전략적인 감염병 위기대응 소통: 변화하는 공중의 역할과 미디어 환경," Journal of the Korean Medical Association/Taehan Uisa Hyophoe Chi, 제60권, 제4호, pp.306-313, 2017. https://doi.org/10.5124/jkma.2017.60.4.306
  24. J. Ramos, "Using tf-idf to determine word relevance in document queries," In Proceedings of the first instructional conference on machine learning, Vol.242, pp.133-142, 2003.
  25. R. Piryani, D. Madhavi, and V. K. Singh, "Analytical mapping of opinion mining and sentiment analysis research during 2000-2015," Information Processing & Management, Vol.53, No.1, pp.122-150, 2017. https://doi.org/10.1016/j.ipm.2016.07.001
  26. D. M. Blei, "Probabilistic topic models," Communications of the ACM, Vol.55, No.4, pp.77-84, 2000. https://doi.org/10.1145/2133806.2133826
  27. D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent dirichlet allocation," Journal of machine Learning research, Vol.3, No.Jan, pp.993-1022, 2003.
  28. P. DiMaggio, M. Nag, and D. Blei, "Exploiting affinities between topic modeling and the sociological perspective on culture: Application to newspaper coverage of US government arts funding," Poetics, Vol.41, No.6, pp.570-606, 2013. https://doi.org/10.1016/j.poetic.2013.08.004
  29. 남춘호, 일기자료 연구에서 토픽모델링 기법의 활용 가능성 검토, 비교문화연구, 2016.
  30. D. Devine, J. Gaskell, W. Jennings, and G. Stoker, Trust and the Coronavirus Pandemic: What are the Consequences of and for Trust? An Early Review of the Literature, Political Studies Review, 2020.
  31. J. Henderson, P. R. Ward, E. Tonkin, S. B. Meyer, H. Pillen, D. McCullum, ... and A. Wilson, "Developing and maintaining public trust during and post-COVID-19: can we apply a model developed for responding to food scares?," Frontiers in public health, Vol.8, pp.369, 2020.
  32. V. W. Lim, "Public perceptions of COVID-19 and behaviour change," Bulletin of the World Health Organization, 2020.