Ⅰ. 서론
모바일 중심의 뉴스 소비가 자리 잡고 있다. 2011년 조사 당시 19.5%였던 국내 모바일 뉴스 이용률은 2019년 들어 79.6%로 증가했다[1]. 신문과 텔레비전의 매체 점유율이 떨어지면서 기존의 언론사들은 뉴스 소비 변화를 따라갈 수 있는 모바일 전략을 세워야 했다 [2]. 신문 또는 TV 형식으로 이미 제작된 뉴스를 온라인으로 재공급하는 단순한 수준을 벗어난 최근의 모바일 콘텐츠 제작 동향은 모바일 뉴스 콘텐츠의 제작과 유통을 변화시켜 이용자를 확보하려는 전략 중 하나로 볼 수 있다.
새로운 형식의 모바일 뉴스 콘텐츠 제작은 4세대 이동통신 서비스가 시작된 2011년 이후부터 본격적으로 등장했다. 모바일 데이터를 통해 영상과 이미지의 소비가 증가하면서 뉴스에서도 텍스트에 이미지나 영상을 결합한 형태의 뉴스 콘텐츠가 일반화됐다[3]. 최근에는 신문사와 방송사 모두에서 동영상 형태의 모바일 뉴스콘텐츠를 제작하는 현상이 나타나고 있다.
그 중 지상파 방송사는 단순히 텍스트와 영상이 결합된 형태의 콘텐츠 제작에만 그치지 않았다. 특히 이들은 모바일 뉴스 이용률이 가장 높은 세대인 20대 이용자를 차지하려는 목적으로 20대의 취향에 맞춘 모바일뉴스 콘텐츠를 제공하기 시작했다[4]. 대표적으로 SBS는 ‘비디오머그’, ‘스브스뉴스’ 등의 콘텐츠를 지상파 방송사 중 가장 먼저 선보였는데 이 콘텐츠들은 현재 방송사 브랜드와 분리된 별도의 자체 유튜브 채널 및 페이스북 페이지에서 많은 이용자를 확보하고 있다.
그런데 아직 모바일 플랫폼에 적합한 뉴스 콘텐츠의 형식이 무엇인지 결론 내리기는 어려운 실정이다. 지상파 방송사는 모바일 전용 콘텐츠부터 텔레비전으로 방송된 뉴스까지 자사가 제작한 뉴스 콘텐츠 전부를 모바일 플랫폼에 업로드하고 있다. 이는 TV에서 이탈한 뉴스 이용자들에게 지상파 방송사 뉴스의 도달률을 높이기 위한 다채널 유통 전략의 일환이다[5]. 또한 뉴스 이용자들이 포털, 페이스북, 유튜브 등 다양한 플랫폼을 통해 뉴스를 이용하는 행태로 인해 외부 사업자의 플랫폼에도 모든 콘텐츠를 유통하고 있다.
그러나 외부 플랫폼에서는 기존 형식의 콘텐츠와 새로운 형식의 콘텐츠 차이를 비교하기 어렵다는 문제가 있다. 외부 플랫폼에서 뉴스 이용률이 높지만 정작 지상파 방송사는 자사의 모바일 뉴스 콘텐츠에 대한 이용자의 평가를 알기 어렵다. 조회 수, 댓글 수, 구독자 수 등의 수치를 콘텐츠 평가 척도로 규정하기는 부족하며, 타 사업자의 플랫폼에서 발생한 뉴스 이용자의 데이터, 이용 시간, 패턴 등을 구체적으로 확보할 수 없다는 한계가 있기 때문이다. 실제로 여론집중도조사위원회가 2018년에 실시한 뉴스 이용집중도 조사에서는 포탈 사업자의 모바일 앱을 통한 이용자들의 기사 이용 시간을 실측할 수 없어 추정치로 대신하기도 했다. 이용자 데이터가 충분하지 않으면 지상파 방송사는 모바일 전략에 대한 평가와 개선점 파악을 제대로 하기 어렵다.
따라서 모바일 뉴스 콘텐츠를 평가하고 개선점을 찾기 위해 지상파 방송사가 자체적으로 보유한 플랫폼인 모바일 뉴스 앱을 활용할 필요성이 있다. 언론사의 자사 플랫폼 강화는 꾸준히 제기되어 온 모바일 전략이다. 뉴스 유통을 다른 플랫폼에 계속 의존하면 언론사의 자생력이 상실되며, 기존 언론사는 뉴스 이용자의 개별 데이터를 확보하고 독립적인 뉴스 플랫폼의 기능을 회복해야 한다는 지적은 기존 언론사들이 장기적으로 추구해야 할 방향을 제시해준다[6]. 우수한 모바일전략을 세웠다고 평가받는 BBC와 뉴욕타임스 등의 해외 언론사들도 플랫폼 다각화의 최종 목적은 자사의 모바일 뉴스 앱으로 이용자들을 유인하는 것으로 세운 바 있다[5].
하지만 이러한 방향성 추구에 앞서 해결해야 할 문제가 있다. 현재 지상파 방송사 뉴스 앱은 독립적인 플랫폼으로 활성화될 만큼 많은 이용자의 선택을 받지 못하고 있다는 점이다. 뉴스 이용자의 뉴스 선택은 온라인뉴스 시대에 드러난 중요한 특징 중 하나로 꼽힌다. 관련 연구들은 뉴스 이용자가 특정 뉴스 플랫폼이나 콘텐츠를 선택하는 이유에 대해 탐구해왔으나 주로 플랫폼 선택 요인에 대한 연구가 주를 이루었다[7][8].
이용자 선택에 영향을 미치는 여러 요소 중 모바일뉴스 콘텐츠를 디지털 콘텐츠의 영역에 포함하는 시각으로 보면 사용자 경험을 통해 이를 분석해볼 수 있다 [9]. 커뮤니케이션에서 상호작용이란 정보의 교환을 의미하므로[10] 모바일 뉴스 앱 이용자는 뉴스 콘텐츠라는 정보를 이용할 때 최적의 사용자 경험을 추구하게 된다. 그러나 지금까지 뉴스 앱에 대한 사용자 경험 측정은 주로 디자인 인터페이스 위주였으며 콘텐츠를 대상으로 한 연구는 드물다. 특히 콘텐츠에 대한 사용성 평가를 통해 이용자 중심의 품질 관리가 가능하므로 뉴스 앱에서 이용 가능한 모바일 뉴스 콘텐츠에 대한 사용자 경험을 측정해 볼 필요가 있다[11].
디지털 콘텐츠를 포함한 디지털 시스템 전반에 대한 이용자 경험을 측정하는 방법 중 하나는 사용성 평가이다[12]. 사용성 평가는 이용자의 행동을 측정해 앱에서 발생할 수 있는 문제점을 드러낼 수 있다[13]. 이에 지상파 방송사의 뉴스 앱을 사용할 때 발생하는 문제점과 개선 사항을 사용성 평가로 파악해 볼 필요가 있다.
따라서 본 연구에서는 지상파 방송사 뉴스 앱에서 모바일 뉴스 콘텐츠를 이용할 때의 사용성 연구를 진행해 뉴스 앱의 개선 사항을 찾고자 한다. 특히 각 방송사에서는 20대를 겨냥해 새로운 형식의 모바일 콘텐츠를 제작했다고 밝힘에 따라 20대 이용자를 연구 대상으로 할 것이다[4]. 20대 이용자들이 지상파 방송사의 뉴스 앱에서 서로 다른 형식의 모바일 뉴스 콘텐츠를 이용할 때 느끼는 효율성, 유효성, 만족도를 통해 문제점을 찾고 이 과정에서 뉴스 주제 및 방송사 브랜드의 차이에 따른 영향도 함께 살펴볼 것이다.
이 연구의 목적은 모바일 뉴스 콘텐츠 형식 및 뉴스 주제 및 방송사에 따라 지상파 방송사 뉴스 앱에 대한 20대 이용자의 사용성에 어떤 문제점이 있는지에 대해 실험 연구를 통해 알아보는 것이다. 도달 시간, 정보 습득 여부, 뉴스 가치와 뉴스 속성에 근거한 만족도 등을 분석함으로써 콘텐츠 측면에서 뉴스 앱의 개선점을 발견하고 이를 통해 뉴스 제작자들에게 모바일 뉴스 콘텐츠 전략에 대한 이론적, 실무적 가치를 제공하고자 한다.
Ⅱ. 이론적 검토
1. 모바일 뉴스와 뉴스 앱
모바일 미디어 발전으로 플랫폼 사업자와 콘텐츠 사업자 수가 늘면서 미디어 환경의 경쟁은 더욱 심화 됐다. 생태학에 기반해 미디어 간 경쟁을 설명하는 이론인 적소 이론에서는 미디어 이용자를 자원으로 본다 [14]. 뉴스 생태계에서 모든 미디어 사업자는 이용자 또는 이용자의 미디어 이용 시간이라는 한정된 자원을 차지하기 위해 경쟁한다. 기존 언론사들은 넓은 범위의 수용자에게 도달하기 위해 다양한 플랫폼으로 뉴스를 유통하는데, 최근 페이스북 등 소셜 플랫폼이나 뉴스유통 사업자(aggregator)의 서비스보다 언론사 뉴스앱의 장점에 주목하는 연구들이 등장하고 있다[15-17].
이 연구들은 모바일 뉴스의 주요 이용 동기는 정보탐색과 접근 가능성이라는 연구를 바탕으로 모바일 뉴스 앱이 뉴스 이용자의 이용 동기를 충족시킬 수 있다고 본다[15]. 정보 탐색은 이용자가 특정 정보를 탐색하는 것이며, 접근 가능성은 언제 어디서나 뉴스에 접근할 수 있는 것을 의미한다[15]. 즉, 뉴스 이용자들은 SNS 피드를 통해 뉴스에 우연히 노출되는 것에 그치지않고 의도적으로 모바일 뉴스 앱을 이용해 정보 탐색이라는 목적을 달성할 수 있다[15][17]. 또한 모바일 뉴스앱에서는 언론사의 실시간 뉴스 포스팅, 모바일 앱의 알림 기능 등을 활용해 이용자에게 더 직접적으로 뉴스를 전달함으로써 접근 가능성을 높이고 상호작용을 형성한다[15][16]. 언론사 차원에서도 이용자에 대한 데이터를 직접 수집할 수 있다는 점을 포함해 모바일 뉴스 앱의 중요성은 여러 측면에서 드러나고 있다[6][16].
2. 모바일 뉴스 앱 콘텐츠의 특성
2.1 모바일 뉴스 콘텐츠의 새로운 형식
모바일 기기는 TV나 PC보다 작은 화면에서 콘텐츠를 이용해야 한다[18]. 국내에서는 모바일 스크린의 특성, 그리고 소셜 플랫폼을 통한 뉴스 이용 행태의 결합이 ‘카드뉴스’라는 새로운 형식의 뉴스 콘텐츠를 탄생시켰다[19]. 카드뉴스가 젊은 독자 확보에 성공하면서 지상파 방송사도 뉴스 콘텐츠 형식의 변화를 꾀하기 시작했다. 20대 이용자와 그들의 이용 시간을 차지하기 위해 이용자 친화적인 새로운 뉴스라는 명목으로 이용자의 선택을 받고자 한 시도이다[4].
따라서 방송 뉴스에서 모바일 뉴스 콘텐츠의 형식 변화는 기존의 뉴스 형식 변화와는 다른 의미를 갖는다. 과거에는 TV 뉴스 배열, 뉴스 전체 시간의 길이, 개별기사의 길이 등이 뉴스 형식 변화를 의미했다면 모바일뉴스 콘텐츠의 변화는 ‘개별 기사의 소재와 스토리텔링방식’을 대상으로 한다[3].
현재 지상파 방송사가 모바일 뉴스 앱에서 제공하는 뉴스 콘텐츠는 TV 방송용으로 제작된 개별 기사를 모바일 앱으로 재전송하는 것과 모바일 전용으로 제작된 것으로 구분된다[3]. 이 중 소재와 스토리텔링 형식의 변화가 시도되고 있는 분야는 모바일 전용 콘텐츠로써 지상파 방송사의 제작 목적에 따라 재가공 형식과 뉴미디어 전용 형식으로 나눌 수 있다.
MBC와 SBS는 이러한 구분에 기반해 기존 TV 뉴스형식, 재가공 형식, 뉴미디어 전용 형식이라는 세 가지 유형의 모바일 뉴스 콘텐츠를 뉴스 앱에서 카테고리로 묶어 제공하고 있다는 공통점을 보인다. 한편 KBS 뉴스 앱은 모바일 뉴스 콘텐츠를 이러한 유형으로 분류해 제공하는 메뉴가 존재하지 않는다는 점에서 본 연구의 분석에서는 제외했다. 세 가지 유형의 세부적인 차이점은 다음과 같다.
그림 1. 지상파 뉴스 앱의 콘텐츠 유형별 카테고리 (왼쪽: MBC, 오른쪽: SBS)
‘기존 뉴스 형식’은 이미 TV로 방송된 뉴스를 모바일앱으로 옮긴 콘텐츠이다. 지상파 방송사의 저녁 시간대 메인 종합뉴스에서 보도된 기사를 각각 한 개씩 재생할 수 있는 동영상 콘텐츠를 의미한다. MBC 뉴스 앱은 <뉴스데스크>, SBS 뉴스 앱은 <뉴스8>이라는 카테고리에서 제공하고 있다.
‘재가공 형식’은 기존 뉴스 형식과 소재는 동일하나 다른 스토리텔링 방식으로 뉴스 내용을 전달하는 것이다. MBC는 <엠빅뉴스>, SBS는 <비디오머그>가 이에 해당한다. 두 콘텐츠 모두 TV 뉴스의 딱딱한 리포팅 대신 친근한 문장과 어투로 내레이션하는 스토리텔링을 취하며, SBS는 <비디오머그>의 특징을 ‘세상에서 가장 재미있는 뉴스’라고 소개하고 있다[20]. MBC가 ‘<엠빅뉴스>를 <비디오머그>의 카운터파트’[21]라고 표현함에 따라 두 방송사 모두 재가공 형식이 기존 뉴스 형식과는 다른 전달 방식을 목표로 제작됐음을 알 수 있다.
‘뉴미디어 전용 형식’은 스토리텔링 방식뿐 아니라 기존 뉴스 형식에서 보도하지 않는 소재까지 다룬다. 주로 20대의 관심사와 트렌드에 집중한 소재를 다루며 MBC는 <14F>, SBS는 <스브스뉴스>가 이 형식에 해당한다. MBC는 ‘젊은 세대에게 맞는 뉴스를 전하려는 게 목적’[21]이라고 밝혔고 SBS는 ‘세상에 없는 뉴스’라고 홍보하고 있다. 특히 뉴미디어 전용 형식은 한 가지 고정된 형태를 갖추지 않고 아나운서나 특정 진행자가 등장하는 코너, 영상 코너 등 다양한 형태의 콘텐츠를 선보이는 것이 특징이다. 본 연구는 다른 형식과 비교를 위해 내레이션, 텍스트, 영상이 결합한 콘텐츠만을 분석대상으로 삼았다. 이에 따라 지상파 방송사 뉴스 앱에서 이용할 수 있는 모바일 뉴스 콘텐츠의 종류는 [표 1]과 같이 정리해 볼 수 있다.
표 1. 지상파 방송사 뉴스 앱에서 제공하는 모바일 뉴스 콘텐츠의 종류
재가공 형식과 뉴미디어 전용 형식의 특징을 살펴본 바에 따라 지상파 방송사들이 기존 뉴스 형식과 다른 흥미롭고 재미있는 뉴스를 통해 20대 이용자를 확보하고자 함을 알 수 있다. 뉴스 제작자들은 스스로 새로운 콘텐츠에 대해 ‘시청자 친화적인 형식’이라고 평가한다 [4].
그러나 이용자가 이러한 콘텐츠 형식들에 대해 ‘친화적으로 느낀다는 것이 무엇인지’에 대해서는 명확하게 검증된 바가 드물다. 온라인 뉴스 매체와 기사가 증가하면서 뉴스 선택권을 쥔 뉴스 이용자가 중요한 요소로 떠올랐으나 아직 뉴스 이용자에 대한 연구는 충분히 이루어지지 않았기 때문이다[22]. 현재까지 국내 연구에서는 뉴스에 대한 ‘접근성’[7], 이용자들의 ‘정보 접근 및 정보 처리 과정’[3], 온라인 뉴스 이용자의 ‘뉴스관’[22] 등이 이용자의 모바일 뉴스 선택과 인식에 영향을 미칠 수 있는 요소로 나타난 바 있다. 이에 본 연구는 뉴스 앱 이용자 중심의 시각에서 이용자의 뉴스 이용 동기 충족과 관련해 모바일 뉴스 콘텐츠의 세 가지 형식은 각각 모바일 앱에 적합한지 평가해보고자 한다.
2.2 모바일 뉴스 콘텐츠의 뉴스 주제
뉴스 주제는 모바일 뉴스 시대 이전부터 뉴스 이용자의 뉴스 선택에 영향을 주는 요소로 다뤄졌다. 관련된 선행연구들은 뉴스 내용, 출처, 뉴스 가치 등을 기준으로 뉴스를 경성 뉴스와 연성 뉴스로 분류했다. 구체적인 분류 기준은 연구에 따라 다양하나 국내 지상파 방송사 뉴스 연구에서는 중요도와 흥미도에 기반해 경성뉴스 및 연성 뉴스의 분류가 [표 2]과 같이 이뤄진 바있다[23].
표 2. 뉴스 주제에 따른 기사 분류[23]
저널리즘 연구들은 방송사가 이용자의 흥미를 자극하는 뉴스를 제작하는 이유에 대해 방송사의 상업화 문제를 지적했다. 방송사는 경쟁에서 이용자를 확보해 시청률을 높이기 위해 가볍고 선정적인 뉴스를 제작한다고 보는 것이다[23]. 이러한 지상파 방송사의 상업화 경향은 모바일 뉴스에도 적용되고 있다는 우려가 있다. 디지털 시대에 미디어 간 경쟁은 더 심해졌고 언론사는 뉴스 연성화를 통한 이용자 확보로 수익모델을 만들고자 하기 때문이다[24].
그러나 뉴스 제작자의 의도대로 실제 모바일 뉴스 영역에서 뉴스 연성화가 이용자의 선택에 영향을 미치는 요소인지는 명확히 검증되지 않았다. 실제로 뉴스 이용자는 정치 뉴스와 엔터테인먼트 뉴스 모두가 모바일 뉴스에 적합한 주제라고 응답하기도 했다[15]. 국내 연구에서는 뉴스의 경성 또는 연성 여부가 이용자의 뉴스선택에 영향을 미치는 것으로 전제하는 경우가 많은데 본 연구는 이 전제를 모바일 뉴스에서 검증해보고자 한다. 특히 방송사의 모바일 뉴스 콘텐츠는 이용자에게 가볍고 친근한 새로운 형식을 갖춘 동시에 정치·경제등 경성 뉴스에 해당하는 소재들도 다루고 있다는 점에서 콘텐츠 형식과 뉴스 주제 중 어느 요소가 이용자의 선택과 평가에 더 큰 차이를 일으키는지를 알아볼 수있을 것이다.
3. 모바일 뉴스 앱 사용성 평가
3.1 모바일 앱의 사용성 평가
사용자가 제품, 시스템, 서비스를 사용해 어떤 일을 할 때 사용성을 평가할 수 있다[25]. 사용성 평가는 내구재뿐만 아니라 디지털 제품, 디지털 서비스, 디지털콘텐츠 등의 디지털 시스템에도 적용할 수 있다[12]. 모바일 앱이란 IT 소프트웨어의 일종으로 핸드헬드(handheld) 디바이스의 모바일 운영 시스템을 위해 개발된 것으로 사용성 평가의 대상에 속한다[26]. 사용성은 모바일 앱 사용을 지속하고자 하는 이용자의 의도에 영향을 미치는 중요한 요소로 인식되기에 모바일 앱 사용성 평가는 학습, 게임, 건강, 정부 서비스, 재난 알림 등 다양한 종류의 모바일 앱에서 수행되고 있다 [27-31].
사용성에 대한 정의와 측정 모델은 연구에 따라 다양하지만 모바일 앱 영역에서는 ISO(International Organization for Standardization)의 기준과 휴리스틱 평가 방법[32]이 일반적인 사용성 평가 방법으로 받아들여지고 있다[26][27][33]. ISO 기준(ISO 9241-11)에 따르면 특정한 이용 맥락에서 특정 유저들이 사용하는 모바일 앱은 효율성(efficiency), 유효성 (effectiveness), 만족도(satisfaction)라는 특정한 목표를 달성해야 한다[26][34]. 휴리스틱 평가는 모바일앱의 구성 요소들이 일반적인 설계 법칙을 잘 따르고 있는지를 평가하는 방법으로 닐슨(Nielsen)의 원칙이 가장 보편적으로 쓰이고 있다[18][28]. 한편 2010년을 기점으로 모바일 앱 사용성 연구가 증가하면서 새로운 측정 지표에 대한 논의도 꾸준히 제기되고 있다. 관련연구들은 데스크탑 기반의 소프트웨어와 모바일 앱의 사용성 평가는 달라야 한다고 주장한다. 모바일 기기의 작은 화면, 제한된 인풋 능력, 제한된 리소스 등의 특성이 반영된 차별화된 측정 도구가 필요하다는 이유이다 [18][26][28].
3.2 모바일 뉴스 앱의 사용성 평가
그러나 최근 연구들이 제시하는 새로운 사용성 평가항목을 모바일 뉴스 앱 연구에 확대 적용하는 것은 신중해야 한다.
첫 번째 이유는 연구에서 제시된 새로운 측정 지표들은 특정 앱의 속성을 반영한 것이기 때문이다. 게임, 학습 등 연구에서 분석하고자 하는 특정 앱이 제공하는 서비스의 속성에 따라 지표를 개발함에 따라 동일한 앱을 연구할 때 새로운 측정 지표의 타당성이 높아질 수 있다. 이러한 개별 지표 개발의 흐름은 국내 연구에서도 관찰된다. 최근 국내의 모바일 앱 사용성 평가 연구는 장애인용 지도, 간편 결제 서비스, 금융 서비스 챗봇 등 다양한 분야에서 수행되었다[35-37]. 각 연구는 앱이 제공하는 서비스 속성에 근거해 서로 다른 평가 항목을 도출했다. 그러나 이들은 엄밀히는 사용성보다 넓은 개념인 사용자 경험을 측정하는 연구에 해당한다는 점에서 이 연구들이 제시한 측정 항목을 그대로 모바일뉴스 앱 사용성 평가 연구에 이용할 수 있는 연관성은 적다. 간편결제 서비스의 간편성과 보안성을 살펴본 연구는 사용자가 느끼는 감정인 사용자 경험을 측정하기 위한 것이며, 금융 서비스 챗봇의 유용성, 사용성, 감성을 측정한 연구 역시 최적의 경험을 위한 필수 요소라는 점에서 해당 항목들을 선정했다고 밝혔다[35][37]. 국내 모바일 뉴스 앱에 대한 연구 역시 인터페이스 디자인 위주이거나 인터페이스와 화면 구성에 따른 차이를 위주로 봄에 따라 본 연구가 평가하고자 하는 콘텐츠 내용과 관련된 측정 항목은 제시하고 있지 않았다 [38][39].
두 번째 이유는 모바일 앱 사용성 평가의 목표는 앱에서 발생할 수 있는 치명적 문제를 발견하는 것도 해당되기 때문이다. 사용성 평가의 목적은 리스크 관리이며. 모든 디테일을 알기 위함이 아니다[13]. 이는 모바일 앱이 지닌 특정 속성의 우수성뿐 아니라 문제점 역시 이용 의도에 영향을 미칠 수 있다는 것으로 해석해 볼 수 있다.
따라서 본 연구는 모바일 뉴스 앱 성능의 우수함을 탐색하기보다는 앱 이용 시 이용자가 가장 일반적으로 겪을 수 있는 문제점을 발견하기 위해 ISO의 기준을 지표로 삼아 뉴스 속성에 맞는 측정 항목을 구성해 사용성 평가를 하고자 한다. ISO의 효율성, 유효성, 만족도 항목은 일반적이고 포괄적인 지표로 평가되고 있으며 [12], ISO 기준은 기존 연구들에서 전형적으로 사용되고 있다는 점에서 이미 충분히 검증된 지표로 보았다. 특히 ISO의 기준은 뉴스 등 특정 기능에 유용하고[33] 퍼포먼스 위주의 측정은 이용자-앱-태스크 사이의 상호작용을 알 수 있는 장점이 있다는 점에서[26] 태스크 수행을 통한 효율성, 유효성, 만족도 측정을 통해 모바일 뉴스 앱 콘텐츠 사용성의 문제점을 알고자 한다.
3.3 모바일 뉴스 앱 콘텐츠의 사용성에 대한 조작적정의
ISO 사용성 평가 기준에서 효율성(efficiency)은 투입한 시간, 유용성(effectiveness)은 태스크 수행의 정확성과 완수 여부, 만족도(satisfaction)는 주관적인 만족에 해당한다[12]. ISO 기준은 사용성의 범위를 넓게 해석하므로 모바일 앱 콘텐츠의 사용성 문제점을 평가하기 위해서는 하위 요인에 대한 조작적 정의가 필요하다. 본 연구는 정보 탐색과 접근 가능성이라는 모바일뉴스 이용 동기를 중심으로 모바일 뉴스 콘텐츠의 특성과 이용자 선택에 대한 선행 연구들을 정리해 각 사용성 평가 항목에 다음과 같은 하위 요인을 설정하였다.
첫째, 효율성은 투입한 시간이므로 모바일 앱 이용동기의 접근 가능성과 연관된다. 국내 모바일 뉴스 이용자들은 뉴스 콘텐츠의 품질보다는 원하는 뉴스에 쉽고 빨리 접근할 수 있는 플랫폼을 선택하는 것으로 나타났다[7]. 모바일 앱에서 원하는 콘텐츠에 빨리 접근하려면 투입 시간이 적어야 한다. 따라서 본 연구에서는 모바일 앱에서 원하는 콘텐츠에 도달하는 시간이 적을수록 효율성이 높으며 길수록 효율성이 낮은 것으로 볼것이다. 따라서 모바일 뉴스 콘텐츠 형식별로 도달 시간의 차이를 통해 효율성을 개선해야 할 콘텐츠 형식을 알아볼 수 있다.
둘째, 유용성은 태스크 수행의 정확성과 완수 여부를 의미하는데 이는 모바일 뉴스의 핵심 이용 동기인 정보탐색과 연관 지을 수 있다[15]. 모바일 앱 뉴스 콘텐츠를 통한 정보 탐색이 잘 이루어진다면 이용자는 정보습득에 성공할 것이고, 문제점이 있다면 이용자가 정보습득에 실패할 것이다. 특히 유용성 평가를 통해 지상파 방송사가 새로운 스토리텔링으로 전달하는 모바일뉴스 콘텐츠가 오락 제공이나 흥미 유발에 그치지 않고 이용자에게 정보를 충분히 전달하고 있는지를 평가할 수 있을 것이다. 그러므로 정보 습득 정도가 낮은 콘텐츠 형식은 유용성 항목에서 개선이 필요한 대상에 해당한다.
셋째, 만족도는 주관적인 만족을 뜻하며 뉴스 콘텐츠의 내용은 이용자의 만족도에 영향을 미친다[40]. 선행연구에서는 이용자가 모바일 뉴스 콘텐츠의 가치가 유용하다고 판단하면 만족도가 높아질 수 있는 것으로 보았다. 특히 온라인 뉴스에서는 이용자의 역할이 커지고다양한 뉴스가 등장함에 따라 이용자가 직접 평가하는뉴스 가치와 뉴스 속성을 살펴보는 시도도 있다[22]. 뉴스 가치는 뉴스거리인지 여부를 구분하는 기준이며 뉴스 속성은 뉴스의 객관성, 공정성, 균형, 품질 등을 구성하는 요인이다[22]. 이에 따라 모바일 뉴스 콘텐츠의 뉴스 가치와 뉴스 속성에 대해 이용자들이 유용하다고 평가한다면 만족도가 높은 것으로 정의할 수 있다. 그러므로 뉴스 가치와 뉴스 속성이 낮게 평가된 뉴스 콘텐츠 형식은 만족도를 개선할 필요가 있다고 볼 수 있다.
본 연구는 이러한 이론적 검토에 기반해 지상파 방송사 뉴스 앱에서 모바일 뉴스 콘텐츠 이용 시 콘텐츠 형식과 뉴스 주제에 따라 20대 이용자들이 경험하는 사용성에 어떤 개선점이 있는지를 알아보고자 한다. 이때 방송사의 차이가 결과에 영향을 미칠 수 있으므로 함께 살펴볼 것이다. 이에 연구문제는 다음과 같다.
연구문제 1. 뉴스 콘텐츠 형식별로 개선해야 할 사용성 항목은 무엇인가?
연구문제 2. 뉴스 주제별로 개선해야 할 사용성 항목은 무엇인가?
연구문제 3. 방송사별로 개선해야 할 사용성 항목은 무엇인가?
Ⅲ. 연구 방법
본 연구는 우선 뉴스 콘텐츠 형식(기존 뉴스 형식, 재가공 형식, 뉴미디어 전용 형식)과 뉴스 주제(경성 뉴스, 연성 뉴스)를 주 변인으로 하는 2x2 집단 내 비교실험으로 설계됐다. 또한 연구 참여자들을 MBC 뉴스앱과 SBS 뉴스 앱 중 한 가지에 랜덤으로 배정함으로써 방송사 간 차이의 영향을 검증하기 위한 집단 간 비교를 포함했다.
1. 연구 참여자의 구성
이 연구는 사용성 평가 방법 중 구성 유저빌리티 (formative usability) 방법을 택했다. 구성 유저빌리티 방법의 목적은 평가 유저빌리티(summative usability) 방법과 다르다. 평가 유저빌리티 방법은 성능이 더 좋은 것을 파악하기 위한 방식인 반면, 구성 유저빌리티 방법은 개선할 사항을 파악하고자 하는 것이다[25]. 특히 동일한 문제점을 지적하는 참여자의 수가 일정한 수에 도달한다면 이는 우연에 의한 것이 아니며 개선점의 발견에 해당한다는 주장[41]에 기반해 사용성 평가에서는 적은 참여자로 평가가 진행될 수 있다. 닐슨은 5명, 톰 툴리스는 6명에서 8명을 일반적으로 충분한 수로 보았다.
그림 2. 적은 수의 참여자의 적합성에 대한 연구 결과 그래프[41]
이에 따라 본 연구는 두 개의 방송사 앱을 사용한다는 점을 고려해 20대 남녀 총 12명을 연구 대상자로 모집했다. 실험 참여자들의 인구통계학적 속성은 20대 초반(20~24세)의 남성 3명, 여성 3명과 20대 후반 (25~29세)의 남성 3명, 여성 3명으로 구성됐다. 사전질문에서 이들은 모두 평소에 지상파 방송사의 뉴스 앱을 사용하지 않는다고 응답했다.
2. 실험 방법
실험은 2020년 4월 16일부터 4월 30일까지 서울 소재 대학교의 강의실에서 실시됐다. 연구자는 참여자의 개인 휴대폰에 특정 방송사의 뉴스 앱을 설치할 것을 실험 하루 전 미리 요청했다.
실험은 참여자와 연구자의 일대일 대면 방식으로 진행됐다. [표 3]대로 실험에 사용한 기사는 세 가지 뉴스콘텐츠 형식 각각에서 경성 뉴스 1개, 연성 뉴스 1개를 선정했다. MBC 뉴스 앱에서 총 6개, SBS 뉴스 앱에서 총 6개의 기사를 추출했으며 정치·경제 분야의 기사는 경성 뉴스, 스포츠·문화·과학 분야의 기사는 연성 뉴스로 분류했다. 실험 대상이 되는 뉴스 소재는 MBC와 SBS에서 형식별로 공통으로 다루고 있는 소재를 선택했다. 선정된 소재는 재난지원금 정책(정치), 배달 앱수수료(경제), 해외의 코로나 현황(국제), 수능 대리응시(사회), 코로나에 따른 스포츠 경기의 변화(스포츠) 등이었다. 연구 참여자 1명이 실험을 완료하는데 걸리는 소요시간은 약 40분이었다. 실험절차는 다음과 같다.
표 3. 실험에 사용된 기사 제목 목록
첫 번째로 참여자는 제시된 기사 목록의 순서대로 기사를 한 개씩 찾아서 시청했다. 이때 연구자는 효율성을 평가하기 위해 뉴스 앱의 홈 화면에서부터 제시된 기사에 도달하는 시간을 측정하여 시간 기반 태스크 수행으로 처리했다.
두 번째로 참여자는 기사를 한 개 시청한 직후 정보습득 여부를 알기 위한 질문에 응답했다. 연구자는 유효성을 평가하기 위해 기사마다 정보 습득 여부를 이진법으로 측정한 후 성공 기반 태스크 수행으로 처리했다.
세 번째로 참여자는 제시된 기사 시청과 태스크를 모두 완료한 후, 6개 기사 각각에 대한 뉴스 가치 만족도와 뉴스 속성 만족도에 대한 설문에 응답했다. 이는 사후 태스크에 해당하며 설문 문항별로 이진법 측정을 통해 태스크 수행 여부를 처리했다. [표 4]와 [표 5]의 측정 문항은 이용자의 뉴스 평가를 다룬 선행연구의 항목을 통해 구성했다[22].
표 4. 뉴스 가치 만족도 측정 문항 구성[22]
표 5. 뉴스 속성 만족도 측정 문항 구성[22]
Ⅳ. 연구 결과
효율성, 유효성, 만족도 측정을 위해 참여자 별로 각 4개의 태스크를 수행한 결과는 다음과 같다. 효율성은 도달 시간의 평균값을 계산하였고, 유효성과 만족도는 태스크 수행 실패율을 측정했다.
우선 도달 시간은 뉴스 콘텐츠 형식 중 뉴미디어 전용 형식(m=16.67, sd=6.51)에서 가장 빨랐고, 재가공 형식에서 가장 느렸다. 뉴스 주제는 연성 뉴스, 방송사는 MBC가 빠른 것으로 나타났다.
표 6. 도달 시간 평균값(표준편차)
다음으로 정보 습득에 대한 태스크 수행 실패율은 다음과 같다.
표 7. 정보 습득 실패율에 대한 분석 결과
정보 습득 여부의 실패율에서 뉴스 콘텐츠 형식 간 차이는 거의 없었다. 그러나 뉴스 주제에서는 경성 뉴스의 실패율(25%)이 더 높았고, 방송사에서는 MBC(14%)가 더 높았다.
마지막으로 뉴스 가치 만족도와 뉴스 속성 만족도에 대한 태스크 수행 실패율은 다음과 같다. 가치 만족도와 속성 만족도의 문항별 점수를 합산한 평균값 계산으로는 사용성의 정확한 개선 사항을 평가할 수 없기 때문에 각각의 문항별로 실패율을 살펴보았다.
그림 3. 뉴스 가치 만족도 측정 문항별 실패율 (뉴스 콘텐츠 형식별)
그림 4. 뉴스 가치 만족도 측정 문항별 실패율 (뉴스 주제별)
그림 5. 뉴스 가치 만족도 측정 문항별 실패율 (방송사별)
뉴스 가치 만족도 중 뉴스 콘텐츠 형식에서는 뉴미디어 전용 형식일 때 Q4에 대한 실패율(75%)이 가장 높았다. Q4에 대한 실패율은 다른 형식에서도 (기존 =54%, 재가공=71%) 가장 높게 나타난 항목이었다. Q5에 대해서는 뉴미디어 전용 형식(46%)의 실패율이 기존 뉴스의 소재를 다루는 형식(기존=13%, 재가공 =13%)보다 더 높았다.
뉴스 주제에서는 연성 뉴스에서 Q4에 대한 실패율(78%)이 가장 높았다. 특히 연성 뉴스에서는 Q2(61%), Q5(39%)의 실패율도 경성 뉴스와는 비교가 된다. 방송사에서는 MBC에서 Q4에 대한 실패율(81%)이 가장 높았지만, SBS에서도 가치 만족도 중 Q4의 실패율(53%)이 가장 높았다.
그림 6. 뉴스 가치 만족도 측정 문항별 실패율 (뉴스 콘텐츠 형식별)
그림 7. 뉴스 가치 만족도 측정 문항별 실패율 (뉴스 콘텐츠 형식별)
그림 8. 뉴스 가치 만족도 측정 문항별 실패율 (뉴스 콘텐츠 형식별)
뉴스 속성 만족도 중 뉴스 콘텐츠 형식에서는 뉴미디어 전용 형식에서 Q5에 대한 실패율(88%)이 가장 높았다. 다른 형식(기존=71%, 재가공=63%)에서도 Q5에 대한 실패율이 가장 높았다. Q8은 기존 뉴스의 소재를 다루는 형식(기존=54%, 재가공=46%)보다 뉴미디어 전용형식에서 실패율이 더 높았다.
뉴스 주제에서는 경성 뉴스에서 Q5에 대한 실패율 (81%)이 가장 높았으나, 연성 뉴스에서는 Q9에서 실패율(69%)이 높았다. 방송사에서는 SBS에서 Q5에 대한 실패율(83%)이 가장 높았다.
Ⅴ. 결론
이 연구의 목적은 지상파 방송사의 뉴스 앱의 개선점을 모바일 뉴스 콘텐츠에 대한 이용자 경험을 통해 발견하는 것이다. 지상파 방송사의 뉴스 앱에서 뉴스 콘텐츠 형식, 뉴스 주제, 방송사별로 효율성, 유효성, 만족도를 평가해보았다.
사용성 평가 결과, 모바일 뉴스 콘텐츠 형식에 따른 차이에서는 다음과 같은 개선 사항이 드러났다. 우선 기존 뉴스 형식과 재가공 형식은 뉴미디어 전용 형식보다 도달 시간이 느린 것으로 나타남에 따라 효율성 개선이 필요해 보인다. 유효성에서는 큰 차이가 없었으나 만족도에서는 세 가지 형식 모두에서 유사한 문제점이 나타났다. 만족도에서는 뉴스 가치 차원의 ‘실생활에 필요한 정보를 전달’하는 항목과 뉴스 속성 차원의 ‘옳고 그름을 가려주는 뉴스’라는 항목이 부족했다.
이처럼 모바일 뉴스 콘텐츠의 세 가지 형식에서는 공통된 항목에서 비슷한 실패율이 나타남에 따라 형식에 따른 사용성 차이는 크지 않은 것으로 볼 수 있다. 이는 방송사가 모바일 전용 뉴스 콘텐츠를 별도로 제작하고있지만 현재 방송사의 뉴스 앱에서는 차별화된 사용성을 주지 못하고 있음을 시사한다.
뉴스 주제에 따른 분류에서는 경성 뉴스에서 효율성과 유효성에 대한 개선이 필요한 것으로 나타났다. 특히 정보 습득 실패율은 연성 뉴스보다 경성 뉴스에서 높았으므로 20대 이용자의 시각에 맞춘 경성 뉴스 전달 방법 개선이 필요해 보인다. 연성 뉴스는 뉴스 가치 측면에서 실패율이 높았는데 ‘실생활에 필요한 정보 전달’, ‘사회적으로 중요한 소식’, ‘세상 돌아가는 일을 이해’하는 뉴스 가치 측면을 개선해야 하는 것으로 나타났다. 뉴스 속성 차원에서 경성 뉴스는 ‘옳고 그름을 가려주는’ 속성과 연성 뉴스는 ‘토론거리를 제공’하는 속성을 개선해야 하는 것으로 나타났다. 마지막으로 방송사에 따라서는 두 방송사 모두 뉴스 가치 항목 중 ‘실생활에 필요한 정보’를 개선해야 하는 것으로 나타났다.
이 연구에서는 이용자들이 직접 가치 판단을 수행해 연성 뉴스가 ‘사회적으로 중요’한 가치와 ‘토론거리를 제공하는 속성’이 부족함을 지적할 수 있다는 점이 드러났다. 이는 뉴스 이용자들은 다른 매체와는 달리 전통적인 언론사에게 기대하는 뉴스 가치가 있다는 선행연구를 뒷받침하는 결과로 볼 수 있다[5]. MBC와 SBS 라는 뉴스 브랜드를 인지한 상태에서 기사를 시청했기 때문에 연성 뉴스에 대해서도 공적인 뉴스 가치를 기대해 판단한 것으로 해석된다.
이 연구는 그동안 이용자 측면에서 부족했던 모바일뉴스 콘텐츠에 대한 평가를 사용성 평가를 통해 시도했다는 의의가 있다. 또한 지상파 방송사에게 모바일 뉴스 콘텐츠를 제작할 때 새로운 형식의 전략보다는 내용 차원에서 뉴스 가치와 뉴스 속성 차원을 더 개선해야 한다는 실무적인 함의를 줄 수 있다.
그러나 다음과 같은 한계가 있다. 첫째, 20대 사용자를 중심으로 연구를 진행했다. 방송사들의 모바일 뉴스콘텐츠 제작이 20대 이용자를 겨냥하기 때문이었지만 최근 중장년층의 모바일 사용이 늘어남에 따라 이들의 모바일 뉴스에 대한 소비를 알기 위한 다른 연령대에서의 후속 연구도 진행될 필요가 있다. 둘째, 실험 연구를 위해 선정한 방송사와 기사의 수가 제한적이었다. 다만본 연구는 전통적인 언론사인 지상파 방송사에서의 개선점을 우선 탐구하기 위한 것이었으므로 추후 다른 언론사로 연구 대상을 확장하거나 기사 수를 더 늘려 콘텐츠 형식에 대한 만족도의 차이를 비교해 볼 수 있는 연구로 발전시킬 수 있다. 셋째, 이 연구는 실험으로 진행됐으나 개인의 사전 평소 뉴스 이용 요인은 고려하지 않았다. 후속연구에서는 이를 통제변인으로 고려해 다른 플랫폼과 지상파 방송사의 뉴스 앱 사이의 비교 연구도 가능할 것으로 제안한다.
References
- 한국언론진흥재단, 2019 언론수용자 조사, 한국언론진흥재단, 2019.
- 여론집중도조사위원회, 뉴스 이용집중도 조사보고서 2016-2018, 여론집중도조사위원회, 2018.
- 정성욱, 홍종윤, "모바일 플랫폼 시대의 TV 뉴스: 뉴스 형식이 의제 설정 효과에 미치는 영향에 대한 연구," 방송통신연구, 제98호, pp.9-37, 2017.
- https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=004&oid=127&aid=0000027262, 2020.5.20.
- 강영희, 육은희, "공영방송 뉴스의 '모바일 퍼스트'전략에 관한 연구: KBS 뉴스를 중심으로," 한국소통학보, 제28권, pp.251-296, 2015.
- 양정애, 최지향, "뉴스 이용자 관여 행동과 온라인 유료뉴스 이용 의향의 관계: 공유 활동 및 정기적 방문에 따른 차이," 정보사회와 미디어, 제19권, 제2호, pp.57-89, 2018.
- 최진봉, 이미선, "뉴미디어 시대 뉴스 소비자들의 뉴스 콘텐츠 소비실태 분석," 한국콘텐츠학회논문지, 제17권, 제2호, pp.207-218, 2017. https://doi.org/10.5392/JKCA.2017.17.02.207
- 임종섭, "애플리케이션 사용 유형과 모바일 뉴스의 지각된 속성의 관계성: 모바일 앱 의존성과 텍스트 마이닝을 중심으로," 사회과학논집, 제49집, 제2호, pp.17-45, 2018.
- 김진우, 디지털콘텐츠@ HCI LAB, 영진닷컴, 2002.
- S. Rafaeli and F. sudweeks, "Networked interactivity," Journal of Computer-mediated Communication, Vol.2, No.4, 1997.
- 이혜정, 박경선, "이러닝 콘텐츠 개발의 질 관리를 위한 학습자 중심의 사용성 평가 방안 연구," 교육정보미디어연구, 제15권, 제3호, pp.63-88, 2009.
- 김진우, Human Computer Interaction 개론, 안그라픽스, 2012.
- T. Kallio and A. Kaikkonen, "Usability testing of mobile applications: A comparison between laboratory and field testing," Journal of Usability studies, Vol.1, No.1, pp.4-16, 2005.
- J. Dimmick and E. Rothenbuhler, "The theory of the Niche: Quantifying competition among Media industries," Journal of Communication, Vol.34, No.1, pp.103-119, 1984. https://doi.org/10.1111/j.1460-2466.1984.tb02988.x
- H. Shim, K. H. You, J. K. Lee, and E. Go, "Why do people access news with mobile devices? Exploring the role of suitability perception and motives on mobile news use," Telematics and Informatics, Vol.32, No.1, pp.108-117, 2015. https://doi.org/10.1016/j.tele.2014.05.002
- L. Makela, M. Boedeker, and N. Helander, "Value Emergence in the Usage of Mobile News Alerts," Digital Journalism, Vol.8, No.1, pp.69-86, 2020. https://doi.org/10.1080/21670811.2019.1654899
- K. Van Damme, M. Martens, S. Van Leuven, M. Vanden Abeele, and L. De Marez, "Mapping the mobile DNA of news. Understanding incidental and serendipitous mobile news consumption," Digital Journalism, Vol.8, No.1, pp.49-68, 2020. https://doi.org/10.1080/21670811.2019.1655461
- A. de Lima Salgado and A. P. Freire, "Heuristic evaluation of mobile usability: A mapping study," In International Conference on Human-Computer Interaction, pp.178-188, 2014.
- 배정근, "디지털 모바일 뉴스환경과 카드뉴스에 대한 연구: 카드 뉴스의 개념과 특성," 영상문화콘텐츠연구, 제14집, pp.125-152, 2018
- https://news.sbs.co.kr/news/endPage.do?news_id=N1003339334, 2020.05.20.
- https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=102&oid=006&aid=0000093150, 2020.05.20.
- 임영호, 김은미, 김경모, 김예란, "온라인 뉴스 이용자의 뉴스관과 뉴스이용," 한국언론학보, 제52권, 제4호, pp.179-204, 2008.
- 한진만, 설진아, "텔레비전 뉴스의 연성화에 관한 연구: KBS 1, MBC, SBS 의 주시청시간대 뉴스를 중심으로," 한국방송학보, 제15권, 제3호, pp.333-366, 2001.
- 이상록, 윤영민, "스마트 폰 앱 뉴스의 연성화 분석: 동아닷컴, 인터넷한겨레, 네이버, 다음의 인터넷 사이트와 스마트 폰 앱을 중심으로," 언론과학연구, 제12권, 제3호, pp.330-354, 2012.
- T. Tullis and B. Albert, Measuring the user experience: Collecting, analyzing, and presenting usability metrics, Elsevier/Morgan Kaufmann, 2008.
- H. Hoehle and V. Venkatesh, "Mobile application usability: conceptualization and instrument development," Mis Quarterly, Vol.39, No.2, pp.435-472, 2015. https://doi.org/10.25300/MISQ/2015/39.2.08
- M. L. Tan, R. Prasanna, K. Stock, E. E. Doyle, G. Leonard, and D. Johnston, "Usability factors influencing the continuance intention of disaster apps: A mixed-methods study," International Journal of Disaster Risk Reduction, Vol.50, pp.1-12, 2020.
- B. A. Kumar and M. S. Goundar, "Usability heuristics for mobile learning applications," Education and Information Technologies, Vol.24, No.2, pp.1819-1833, 2020. https://doi.org/10.1007/s10639-019-09860-z
- I. Almarashdeh and M. Alsmadi, "Heuristic evaluation of mobile government portal services: An experts' review," In 2016 11th International Conference for Internet Technology and Secured Transactions (ICITST), pp.427-431, 2016.
- M. J. Moron, R. Yanez, D. Cascado, C. Suarez-Mejias, and J. L. Sevillano, "A mobile memory game for patients with Acquired Brain Damage: a preliminary usability study," In IEEE-EMBS International Conference on Biomedical and Health Informatics (BHI), pp.302-305, 2014.
- U. Sarkar, G. I. Gourley, C. R. Lyles, L. Tieu, C. Clarity, L. Newmark, and D. W. Bates, "Usability of commercially available mobile applications for diverse patients," Journal of general internal medicine, Vol.31, No.12, pp.1417-1426, 2016. https://doi.org/10.1007/s11606-016-3771-6
- J. Nielsen, Usability Engineering, Academic Press, 1994.
- P. Kortum and M. Sorber, "Measuring the usability of mobile applications for phones and tablets," International Journal of Human-Computer Interaction, Vol.31, No.8, pp.518-529, 2015. https://doi.org/10.1080/10447318.2015.1064658
- https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en, 2020.06.15.
- 김나래, 윤재영, "모바일 간편 결제 서비스의 간편성과 보안성이 선호도에 미치는 영향에 대한 연구," 한국 HCI학회 논문지, 제15권, 제1호, pp.29-37, 2020.
- 양수지, 김성우, "휠체어 사용 장애인의 이동 편의를 위한 모바일 지도 앱의 UX 디자인," 한국 HCI 학회논문지, 제14권, 제4호, pp.37-47, 2019.
- 조국애, 윤재영, "금융 서비스 챗봇의 인터렉션 유형별 UX 평가," 한국 HCI 학회 논문지, 제14권, 제2호, pp.61-69, 2019.
- 전우, 김희현, "모바일 뉴스 애플리케이션 인터페이스 디자인의 사용성 평가 연구: 중국의 모바일 뉴스애플리케이션을 중심으로," 한국디자인문화학회지, 제22권, 제3호, pp.417-426, 2016.
- 임은지, 김승인, "태블릿 PC 기반의 국내 신문사 뉴스 애플리케이션 사용성 평가: 조선일보, 중앙일보, 동아일보를 중심으로," 디지털디자인학연구, 제14권, 제1호, pp.877-886, 2014.
- 루홍위, 이효성, "모바일 뉴스 콘텐츠의 정보품질 요소가 사용자 만족도와 지속사용 의도에 미치는 영향," 사회과학연구, 제31권, 제3호, pp.113-132, 2015.
- https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/, 2020.07.15.