DOI QR코드

DOI QR Code

A Study on Development and Validation of Digital Literacy Measurement Tool

디지털 리터러시 측정도구의 개발 및 예측타당성 검증 연구

  • Received : 2021.05.31
  • Accepted : 2021.06.21
  • Published : 2021.08.31

Abstract

Recently, virtual communication has become a standard tool due to the outbreak of COVID-19. Likewise online communication is emerging as an essential competency. In this study, we aimed to develop a comprehensive and systematic digital literacy measurement tool reflecting the changes and needs of society. Construct variables were drawn by characterizing existing digital literacy measurement tools. Thirty-four items corresponding to the concept of each variable were developed. The developed measurement tool was then evaluated in the form of surveys from university students belonging to the digital native generation, and the reliability and validity were performed through exploratory and confirmatory factor analysis. The digital literacy measurement tool contained five sub-factors and twenty-five questions. In addition, hierarchical regression analysis was performed to verify the predictive validity of digital literacy sub-factors. Based on these findings, the implication of future research is discussed.

최근 코로나19로 인한 언텍트 시대를 맞아 비대면 소통이 일상화되었고, 온라인상에서의 소통역량이 매우 중요한 역량으로 대두되고 있다. 본 연구에서는 사회의 변화와 요구를 반영하여 종합적이고 체계적인 디지털 리터러시 측정도구를 개발하고자 기존 디지털 리터러시 측정도구들을 유형화하여 구성 변인들을 도출하였다. 각 변인의 개념에 부합하는 34개 문항을 개발하였으며, 디지털 네이티브 세대에 해당하는 대학생을 대상으로 설문한 후 탐색적, 확증적 요인분석을 통해 신뢰도와 타당도 등을 확인하여 5개 하위요인, 25개 문항으로 디지털 리터러시 측정도구를 최종 확정하였다. 이후 위계적 회귀분석을 실시하여 디지털 리터러시 하위 요인들의 예측 타당성을 검증하였다. 이러한 연구결과를 바탕으로 본 연구의 시사점과 후속 연구에 대한 제언을 논의하였다.

Keywords

1. 서론

최근 코로나19로 인한 언텍트(Untact) 시대를 맞아 비대면 소통이 일상화되었고, 온라인상에서의 소통역량이 매우 중요한 역량으로 대두되고 있다. 또한 사회가 급변하고 미디어와 정보통신기술의 발전이 빠르게 진행됨에 따라 한 사회의 구성원으로서 갖추어야 할 디지털 리터러시는 점차 더 확장되며 변화하고 있다. 2019년 기준 우리나라 국민의 인터넷 이용률은 91.8%이며, 만 3세 이상 인구의 91.4%가 모바일 인터넷 이용자이고, 국내 전체 가구 중 94.9%가 스마트 기기를 보유하고 있는 등 정보통신기술과 서비스의 발전이 국민의 일상생활 속으로 빠르게 자리 잡고 있다[1]. 특히 현시점의 20대는 스마트 기기, 인터넷 등과 같은 디지털 환경을 태어나면서부터 생활처럼 사용하고 있어 디지털 언어와 장비를 마치 특정 언어의 원어민처럼 자연스럽게 사용한다는 뜻의 ‘디지털 네이티브’ 세대에 해당하며[2], 스마트폰 이용률 100%로, 동영상 서비스(93.2%)와 클라우드 서비스(56.1%), AI 음성인식 서비스(42.3%) 등의 신기술을 가장 많이 활용하고 있다[1]. 즉, 20대를 선두로 디지털 미디어의 환경이 다양하고 복합적인 양상으로 전개되고 있다고 볼 수 있다.

과거 컴퓨터+인터넷 시대에서 모바일 시대로의 전환은 전 분야에서 커다란 변화를 가져왔으므로 기존 IT 기술의 이해만으로는 모바일 시대의 디지털 리터러시를 이해하는 데에는 어려움이 있다. 그러므로 모바일 시대에는 모바일 플랫폼 및 스마트폰, 노트북, 태블릿 등의 스마트 기기와 각종 애플리케이션, SNS 등 모바일 서비스를 이해하고 활용할 수 있는 능력뿐만 아니라 디지털 시민으로서의 역량 강화도 매우 중요하다.

현재와 미래사회를 대비하기 위해서는 특히 ‘디지털 네이티브’ 세대로서 모바일 시대를 대표하는 대학생들의 실제 디지털 리터러시 수준은 어떠한지, 집단 간 어떠한 차이가 나타나는지 등에 대한 실증적인 자료를 바탕으로 연구가 필요하다. 하지만 디지털 리터러시에 대한 개념 규명과 중요성에 관한 다양한 연구가 이루어져 왔으나 대학생이 미래사회가 요구되는 핵심역량으로서의 디지털 리터러시를 충분히 갖추고 있는지를 확인하기 위한 연구는 상대적으로 미흡한 실정이다[3].

정보 문제의 과제 해결에 필요한 다양한 능력들은 비단 대학 생활에서만 요구되는 것이 아니며, 사회의 전문인력으로 활동하는데 주요한 기반 능력이 되므로 대학생을 대상으로 한 디지털 리터러시 역량 조사에 대한 중요성이 여러 선행연구에서 강조되고 있다[4][5]. 현재와 미래사회를 대비하기 위한 디지털 리터러시에는 정보 영역과 정보통신기기에 대한 기술적 숙련도와 SNS 리터러시 등 디지털 공동체 구성원으로서의 의사소통, 시민의식과 태도 등 디지털 시대의 정서적·문화적 현상을 개념화한 영역들이 포함되는데[3], 디지털 네이티브세대에 해당하는 대학생을 대상으로 디지털 리터러시를 측정하는 것은 디지털 리터러시 역량 강화 방안 마련에 의미 있는 연구가 될 수 있을 것이다.

이에 본 연구에서는 모바일 시대에 적용할 수 있는 종합적이고 체계적인 디지털 리터러시 역량 평가를 위해 기존에 개발된 측정도구들을 검토하고, 최근 디지털 커뮤니케이션 환경에서 강조되고 있는 디지털 리터러시의 하위 구성요소들을 반영한 디지털 리터러시 측정 도구를 개발하여 예측타당성을 검증하고자 한다.

2. 이론적 탐색

2.1 디지털 리터러시의 개념

디지털 리터러시에 대한 개념 정의는 Gilster(1997) 의정의[6] 이후 표 1과 같이 많은 연구자에 의해 다양하게 탐색 되고 있다.

(표 1) 선행연구에서의 디지털 리터러시 개념 정의

(Table 1) Defining the concept digital literacy in previous studies

OTJBCD_2021_v22n4_51_t0001.png 이미지

안정임(2002)은 디지털 리터러시의 전체 개념에 대해 학자들 간의 동의가 이루어져 있다 하여도 그 구체적인 구성요소에 대해서는 어떤 부분을 강조하는가에 따라 연구자마다 의견이 다르며, 강조점을 어디에 두는가에 따라 사용하는 명칭 자체도 다시 세분될 수 있다고 주장한바 있다[7]. 사회의 변화와 요구를 반영하고 있는 선행연구들을 바탕으로 디지털 리터러시에 대한 개념을 종합적으로 정리해 보면 정보기술과 인터넷을 활용하여 정보를 찾아내는 능력을 바탕으로 이를 통해 얻은 정보에 대해 그 자체로 수용하는 것이 아니라 디지털 시민 의식을 바탕으로 비판적인 시각으로 해석하고, 객관적으로 활용하여 공유, 창조할 수 있는 능력으로 이해할 수 있다.

2.2 디지털 리터러시의 하위 영역

디지털 리터러시의 개념 정의뿐만 아니라 하위 영역의 구성에 관한 연구 및 논의는 활발하게 진행되고 있다. 이러한 연구들의 특징은 디지털 미디어 환경에 서의 리터러시가 점차 더 확장되고 세분되고 있으며, 개인별로 특정 리터러시 능력별 차이를 보유할 수 있다는 점을 시사하고 있다[8]. 선행연구에서 디지털 리터러시 하위 영역에 대한 구성은 시대적·사회적 변화에 따라 기술적 숙련도 등 기능과 능력의 도구적 관점뿐만 아니라 디지털 공동체 구성원으로서의 의사소통, 시민의식, SNS 활용 및 협업 등 정서적·문화적 관점의 영역들이 포함되는 특징을 확인할 수 있다. 디지털 리터러시 측정 도구와 관련된 선행연구에서 중점적으로 평가되고 있는 하위 영역에 대한 구성요인은 표 2와 같다.

(표 2) 선행연구에서의 디지털 리터러시 하위 영역 구분

(Table 2) Classification of digital literacy sub-areas in previous studies

OTJBCD_2021_v22n4_51_t0002.png 이미지

2.3 디지털 리터러시 측정도구

선행연구에서 디지털 리터러시 측정도구에서 중점적으로 평가되고 있는 하위 영역의 구성요인은 무엇인지, 현시점의 디지털 리터러시 특성 중 아직 평가에 반영되지 않았거나 효과적으로 평가되고 있지 않은 구성요인은 무엇인지 살펴본 결과는 다음과 같다.

안정임(2013)은 연령집단에 따른 디지털 미디어 리터러시 수준 비교 연구에서 디지털 미디어 리터러시를 ‘기회’, ‘능력’, ‘시민성’ 세 가지 영역으로 구분하였다. 기회 영역은 디지털 미디어에 대한 접근과 활용 기회 탐색에 관한 것이고, 능력 영역은 디지털 미디어를 비판적으로 이해하고 활용하며 규범을 준수할 수 있는지에 관한 것이며, 시민성 영역은 소셜 미디어를 통한 참여, 관용과 공공성에 관한 것이다[8]. 이 연구는 어린이, 청소년, 성인 등 연령집단 별로 디지털 미디어 리터러시 측정하여 그 차이를 분석하고, 분석 결과를 통해 디지털 미디어 리터러시는 하나의 단일 개념이 아니라 여러 가지 다양한 요인들이 중층적으로 작용하는 일종의 통합적 개념임을 발견하였다는 점에서 의미가 있다.

강정묵 외(2014)는 스마트시대의 디지털 리터러시 측정을 위한 진단도구의 개발과 적용 연구에서 선행연구의 비판적 검토를 통해 선행연구들이 대체로 컴퓨터를 사용할 수 있는 조작적 능력과 정보를 이해하고 처리할 수 있는 분석 능력을 중심으로 측정지표들을 구성하고 있고, ICT가 고도화되고 다양해지면서 기술 및 활용에 관한 측정지표의 범위가 확장하고 있다는 것을 확인하였다. 하지만 디지털 리터러시 측정지표의 분류작업이 불명확하여 규범적이고 윤리적인 지표들을 구체적으로 반영하지 못하는 한계점이 있다고 보았으며, 이를 보완하기 위해 디지털 리터러시의 영역을 ‘기술’, ‘활용’, ‘마인드’로 분류하였다. 기술 영역은 컴퓨터, 하드웨어, 소프트웨어, 애플리케이션, 웹 브라우저, 스마트 기기, 인터넷 등 도구의 기술적 활용에 관한 것이고, 활용 영역은 사회생활, 경제생활, 문화생활 등의 삶 속에서 자신의 디지털 지식을 적용할 수 있는가에 관한 것이며, 마인드 영역은 스마트 사회에 대한 인식, 개인의 행동, 그리고 사회구성원으로서 요구되는 규범과 윤리, 법제도 등이다[9]. 이 연구는 기술과 활용 측면에 지식과 정보를 대하는 개인의 행동과 윤리 등을 반영하였다는 점에서 의미가 있다.

양미석과 김정겸(2016)은 이러닝 디지털 리터러시 측정 도구 개발 연구에서 선행연구를 바탕으로 살펴본 초기대부분의 디지털 리터러시 측정도구들은 정보통신기술에 따른 기술적 활용, 태도와 정보의 구성 및 활용, 지식의 탐색 및 활용 등 기술, 정보, 지식 등의 측정 지표로 구성되어 있다고 하였다. 또한 디지털 리터러시의 범주가 너무 광범위하여 구체적인 내용과 세부적인 영역을 파악하기 어렵거나 구성요인의 개념 정의로만 되어 있다고 보았다[10].

양길석 외(2020)는 디지털 리터러시 역량의 정의적 영역 평가를 위한 자기진단 평가도구를 개발하기 위해 디지털 리터러시를 ‘인식’과 ‘행동’ 영역으로 구분하였다. 인식 영역에는 전통적으로 개인의 심리적 특성을 측정하는 데에 중요하게 여겨져 왔던 가치, 자기효능감, 정서를 구성하였고, 행동 영역에는 디지털 환경이 등장하면서 새롭게 대두되거나 재조명되는 특징을 갖는 자기조절, 참여, 윤리, 보안, 비판적 읽기 등을 구성하였다[11]. 이는 양미석과 김정겸(2016)이 언급한 초기 디지털 리터러시 측정도구와는 확연한 차이를 보인다.

3. 연구 문제 및 연구 방법

3.1 연구 문제

일반적으로 디지털 리터러시 측정도구의 설계는 선행연구에 대한 충실한 검토에 기반한다. 이에 본 연구에서는 먼저 미디어 발전에 따른 리터러시의 개념과 변천사를 파악하고, 사회의 변화와 요구를 반영하여 디지털 리터러시에 대한 정의를 재개념화하였으며, 최근 디지털 커뮤니케이션 환경에서 강조되고 있는 디지털 리터러시 하위 영역의 구성요소를 반영하여 측정도구를 개발하였다. 이에 따라 다음과 같은 연구 문제를 설정하였다.

연구문제 1. 디지털리터러시는 어떤 하위 요인과 측정항목들로 구성되는가?

연구문제 2. 디지털 리터러시의 하위 요인들이 갖는 ICT와 SNS 중요도에 대한 영향력은 어떠한가?

연구문제 3. 집단 간 디지털 리터러시의 역량 차이는 어떠한가?

3.2 연구 방법

3.2.1 연구 대상자 선정

본 연구의 주요 관심사 중 하나가 신뢰도와 타당도가 확보된 디지털 리터러시 측정도구를 개발하는 것이기에 선행연구를 통해 도출된 측정 문항들을 대학생들을 대상으로 하여 설문조사를 실시하였다. 본 연구에서 조사 대상자를 대학생으로 선정한 이유는 다음과 같다.

첫째, 2019년 기준 국내의 경우 20대는 스마트폰의 이용률이 100%이고(한국갤럽조사, 2019), 동영상 서비스 (93.2%)와 AI 음성인식 서비스(42.3%) 등 신기술을 가장 많이 활용하는 세대이다[1]. 둘째, 현시대의 대학생들은 PC, 스마트 기기, 인터넷 등과 같은 디지털 환경을 태어나면서부터 생활처럼 사용하는 세대인 ‘디지털 네이티브’ 세대에 해당한다[2]. 셋째, 정보 문제의 과제 해결에 필요한 다양한 능력들은 비단 대학 생활에서만 요구되는 것이 아니며, 사회의 전문인력으로 활동하는데 주요한 기반 능력이 되므로 대학생을 대상으로 한 디지털 리터러시 역량 조사에 대한 중요성이 강조되고 있다[4][5].

3.2.2 설문의 구성

디지털 리터러시의 측정도구는 연구자마다 다양하게 사용되고 있다. 본 연구에서는 디지털 리터러시를 “디지털 리터러시는 정보통신기술과 기기를 활용하여 얻은 정보에 대해 디지털 시민 의식을 가지고 공감하며, 비판적인 시각으로 해석하고, 객관적으로 공유, 창작할 수 있는 능력이다.”로 정의하고, 표 3과 같이 하위 영역을 구분하였으며, 이와 관련된 선행연구를 바탕으로 하여 디지털 리터러시의 설문 문항을 재구성하였다.

(표 3) 디지털 리터러시 하위 영역의 개념

(Table 3) Concept of digital literacy sub-areas

OTJBCD_2021_v22n4_51_t0003.png 이미지

기존의 디지털 리터러시의 측정도구들을 유형화하여 각각의 유형에 맞는 문항들을 취합하였으며, 구체적으로 스마트 기기 이용 능력, SW/앱(소프트웨어/애플리케이션) 이용 능력, 프라이버시 보호 능력, 윤리적 행동 능력, 개인 창작 능력, 사회적 공감 능력 등을 측정하는 34문항으로 구성하였다. 이들 문항은 5점 리커트 척도로 측정되었으며, 이외에도 SNS 이용 동기 관련 9문항, ICT/SNS 중요도 인식 관련 4문항, 스마트폰 및 SNS 이용현황 관련 6문항, 인구통계학적 특성 관련 5문항이 포함되었다. 구체적인 설문 문항의 내용은 표 4와 같다.

(표 4) 설문의 내용과 문항 구성

(Table 4) Survey content and question composition

OTJBCD_2021_v22n4_51_t0004.png 이미지

3.2.3 데이터 수집 및 분석 방법

본 연구의 수행을 위하여 판단표집 방식으로 대학생들에게 설문조사를 실시하였다. 판단표집(judgement sampling)이란 조사 문제를 잘 알고 있거나 모집단의 의견을 반영할 수 있을 것으로 판단되는 특정 집단을 표본으로 선정하는 비확률적 표집방법 중 하나이다. 연구 대상은 한국인터넷정보학회의 협조를 얻어 설문 의뢰에 참여 가능하다고 응답한 대학 소속 임원들에게 온라인 설문 링크를 공유하여 대학생들을 대상으로 설문을 진행하였다. 설문 기간은 2020년 12월 1일부터 12월 20일까지 20일간 실시하였으며, ICT의 활용이 용이한 대학생들의 특성을 고려하여 온라인 설문으로만 진행하였다.

수집된 데이터의 분석은 SPSS 22.0과 AMOS 22.0 통계 패키지를 사용하였다. 본 연구를 위한 분석내용은 다음과 같다. 첫째, 조사항목에 대한 기초통계량을 측정하여 일반적인 현황을 파악하였다. 둘째, 디지털 리터러시측정 항목들을 대상으로 먼저 탐색적 요인분석을 실시하였으며, 이를 통해 파악된 디지털 리터러시 하위 요인의 타당성을 검증하기 위해 확증적 요인분석을 실시하였다. 셋째, 확증적 요인분석을 통해 도출된 디지털 리터러시 하위 요인의 예측 타당성을 검증하기 위해 ICT 중요도를 종속변인으로 하여 회귀분석을 실시하였다.

4. 연구 결과

4.1 조사 대상자의 인구통계학적 분석

조사 대상자의 인구통계학적 특성은 표 5와 같다.

(표 5) 인구통계학적 특성

(Table 5) Demographic characteristics

OTJBCD_2021_v22n4_51_t0005.png 이미지

4.2 주요 변인들의 기술 통계 분석

주요 분석을 실시하기 전 각 변인에 관한 기술 통계치를 살펴보았다. 본 연구에서 사용한 주요 변인은 디지털 리터러시, ICT/SNS 중요도, SNS 이용동기, 스마트폰 및 SNS 이용량 등이다.

디지털 리터러시 측정 항목의 평균값 분석 결과 34개 항목 중 22개의 항목이 4점 이상으로 능력 수준이 매우 높게 나타났으며, 가장 높은 수준의 측정 항목인 ‘스마트기기 이용능력의 1-1. 앱 설치 및 삭제’의 평균 값은 4.9이고, 가장 낮은 수준의 측정 항목인 ‘사회적 공감 능력-온라인상의 의견 게재’의 평균값은 2.81로 나타났다.

(표 6) 디지털 리터러시 하위영역별 평균과 표준편차

(Table 6) Mean and standard deviation by digital literacy sub-areas

OTJBCD_2021_v22n4_51_t0006.png 이미지

SNS 이용동기 측정항목은 김진욱(2016), 이귀옥과 박조원(2018) 등의 선행연구에서 사용된 측정항목들을 본 연구의 목적에 맞춰 취사선택하였으며, 총 9개 문항으로 측정되었다. 문항별 평균값을 살펴보았을 때, 다양하고 재미있는 콘텐츠를 보기 위해서라는 이유가 가장 높은 동기로 나타났으며(M=4.37, SD=.87), 다음으로 스트레스 해소 (M=4.21, SD=.94)와 소통 및 대화하기 위해서(M=4.07, SD=1.04)라는 이유가 SNS를 이용하는 비교적 높은 동기임을 알 수 있었다. 반면, 공부에 도움이 되기 위해서(M=2.53, SD=1.25)는 다른 이유들에 비해 매우 낮게 나타났다.

ICT/SNS 중요도는 컴퓨터, 스마트 기기, 인터넷 등의 정보통신기술과 메신저 서비스, SNS, 동영상 서비스 플랫폼 등의 소통 기술이 일상생활에서 얼마나 중요한지에 대한 4개 문항으로 측정되었다. 그 결과 컴퓨터, 스마트 기기, 인터넷을 중요하게 생각하는 정도가 가장 높은 것으로 나타났다(M=4.88, SD=.34). 다음으로 카카오톡 등의 메신저 서비스를 중요하게 생각하고 있었으며, 유튜브와 같은 동영상 플랫폼의 중요성을 인식하고 있었다. 반면 페이스북, 인스타, 트위터와 같은 SNS가 일상생활에서 차지하는 역할은 상대적으로 낮게 나타났다(M=3.18, SD=1.26).

스마트폰을 사용한 기간은 1년 단위로 조사하였으며, 평균 8.45년(SD=2.60)으로 5년 이상 사용자가 83.83%인 것으로 나타났다. SNS를 이용한 기간 또한 1년 단위로 조사하였으며, 평균 6.71년(SD=3.08)으로 5년 이상 사용자가 79.22%인 것으로 나타났다. 그리고 상관관계를 확인하기 위하여 Pearson의 상관관계 분석을 실시한 결과스마트폰의 사용기간과 SNS의 이용기간은 45.2% 정도의 유의한 정(+)적 상관관계(=.452, p<0.001)가 있음을 알 수 있었다. 추가로 최근 한 주간의 SNS 이용량은 평균 4.42회(SD=1.10)인 것으로 나타났다.

4.3 디지털 리터러시 측정 항목에 대한 탐색적 요인분석

기존 문헌 검토를 통해 선정된 34개의 디지털 리터러시 측정 항목을 대상으로 SPSS 22.0을 이용하여 탐색적 요인분석을 실시하였다. 요인 추출은 주성분 분석을 이용하였으며, 요인의 회전은 베리멕스 방식을 적용하였다. 요인의 수는 아이겐 값 1.0 이상, 각 요인별 주적재치 .60 이상, 부적재치 .40 미만의 기준을 고려하여 결정하였다. 탐색적 요인분석을 실시한 결과 6개 하위 요인이 추출되었다. 그러나 34개 항목 중 요인 선정기준을 충족하지 못하는 4개 항목(3-6, 3-7, , 4-7, 5-5)을 제외하였고, 마지막 6 번째 요인은 항목들이 한 개의 요인으로 구성되지 못하여 제거하였다. 이에 따라 총 5개의 요인이 추출되었다.

첫 번째 요인은 ‘개인창작 및 공감 능력’을 반영하는 8개의 문항으로 구성되었으며, 전체 변량의 13.62%를 설명하였다. 두 번째 요인은 ‘SW/앱 이용 능력’을 반영하는 7개 문항으로 구성되었으며, 전체 변량의 12.16% 를 설명하였다. 세 번째 구성 개념은 ‘스마트 기기 이용능력’을 반영하는 5개의 문항으로 구성되었으며, 전체변량의 11.73%를 설명하였다. 네 번째 요인은 ‘프라이버시 보호 능력’을 설명하는 6개의 문항으로 구성되었으며, 전체 변량의 10.07%를 설명하였다. 다섯 번째 요인은 ‘윤리적 행동 능력’을 설명하는 4개의 문항으로 구성되었으며, 전체 변량의 8.31%를 설명하였다.

이상의 5개 하위 요인으로 구성된 디지털 리터러시는 전체 변량의 55.89%를 설명하는 것으로 나타났다. 하위요인이 갖는 내적 일관성 검증을 위해 신뢰도 분석에서 크롬바흐 알파 계수를 산출한 결과는 모두 .80 이상으로 높게 나타나 모든 항목의 신뢰도가 양호한 것으로 판단되었다.

(표 7) 디지털 리터러시 측정 항목의 탐색적 요인분석 결과

(Table 7) Exploratory factor analysis result of digital literacy measurement items

OTJBCD_2021_v22n4_51_t0007.png 이미지

4.4 디지털 리터러시의 하위 요인 및 측정 항목의 타당성 검증

탐색적 요인분석을 통해 파악된 디지털 리터러시의 하위 요인의 타당성을 검증하기 위해 AMOS 22.0을 이용하여 확증적 요인분석을 실시하였다. X2 값을 자유도로 나눈 값이 5보다 작으면 적합도가 높다는 기준[12]으로 판단할 때, 최종 모델은 적합한 것으로 나타났다(X2 /df = 2.05). 또한 모델 적합도를 보기 위한 주요 지표인 절대 적합지수(GFI)와 간명적합지수(AGIF), 증분적합지수(CFI) 등을 살펴본 결과 GFI(.878), AGFI(.850), CFI(.921)로 적합한 수준으로 나타났으며, 절대적합지수(RMR과 RMSEA)를 살펴본 결과도 RMR(.044), RMSEA(.058)로 .05에 근접한 수치를 보였고, 요인별 개별 항목들의 요인 적재치도 최소 0.62 이상으로 나타나 수렴타당도가 확보되었다고 판단하였다. 요인별 신뢰도의 추가적인 검증으로 집중타당성을 살펴보기 위해 개념신뢰도(CR)와 평균 분산추출 값(AVE)을 산출하였으며, 모든 항목의 C.R 값은 .6 이상, AVE 값은 .46 이상으로 나타났다.

4.5 디지털 리터러시 하위 요인의 예측 타당성 분석

탐색적, 확증적 요인분석을 통해 도출된 5개의 하위요인들의 예측 타당성을 검증하기 위해 이를 독립변인으로 설정하고, ICT/SNS 중요도를 종속변인으로 하여 위계적 회귀분석을 실시하였다. 특히 ICT/SNS 중요도는 일상생활에서 느끼는 컴퓨터 및 스마트 기기, 인터넷에 대한 중요성과 메신저 서비스에 대한 중요성, SNS에 대한 중요성, 동영상 공유 플랫폼에 대한 중요성의 문항으로 구성되어 있으나, 각기 다른 서비스에 대한 중요성에 대해 디지털 리터러시의 어떤 하위 영역이 유의미한 영향을 미치는지를 검증하기 위해 종속변인을 각각의 문항으로 설정하였다. 각 분석의 결과는 다음과 같다.

4.5.1 컴퓨터 및 스마트 기기, 인터넷

인구통계학적 특성을 투입한 결과 성별(β=.126, p<.05) 은 종속변인인 컴퓨터, 스마트 기기, 인터넷에 긍정적인 영향을 미치는 것으로 나타났다. 다음으로 미디어 이용량을 두 번째 단계에 투입한 결과, 종속변인에 유의미한 영향을 미치지 않는 것으로 나타났다. 다음으로 디지털 리터러시 변인을 세 번째 단계에 투입한 결과, 종속변인에 부가적으로 15.1%의 설명량을 높였다. 구체적으로 스마트기기 이용 능력(β=.311, p<.001)은 컴퓨터 및 스마트 기기, 인터넷의 중요성에 긍정적인 영향을 미치는 것으로 나타났다. 즉, 여성은 남성보다 컴퓨터, 스마트 기기, 인터넷에 대해 더 중요하다고 생각하는 경향이 있음을 알 수 있으며, 성별과 상관없이 스마트 기기에 대한 이용 능력이 높을수록 컴퓨터 및 스마트 기기, 인터넷 등 기술적인 면을 더 중요하게 생각하는 경향이 있음을 알 수 있었다.

(표 8) 컴퓨터 및 스마트 기기, 인터넷의 중요성에 미치는 영향

(Table 8) Impact on the importance of computers, smart devices and the Internet

OTJBCD_2021_v22n4_51_t0008.png 이미지

4.5.2 메신저 서비스

인구통계학적 특성을 첫 번째 단계에 투입한 결과는 표 9와 같이 종속변인인 메신저 서비스(카카오 등) 의중요성에 유의미한 영향을 미치는 요인은 나타나지 않았으며, 다음으로 미디어 이용량을 두 번째 단계에 투입한 결과도 종속변인에 유의미한 영향을 미치지 않는 것으로 나타났다. 다음으로 디지털 리터러시 변인을 세 번째 단계에 투입한 결과, 종속변인에 부가적으로 10.2% 설명량을 높였다. 구체적으로 ‘개인창작 및 공감 능력’(β=.259, p<.001)과 ‘스마트 기기 이용 능력’(β =.262, p<.01)은 메신저 서비스의 중요성에 긍정적인 영향을 미치는 것으로 나타났다. 즉, 온라인에서 콘텐츠를 창작하고 공유하는 능력과 스마트 기기 활용 능력이 높을수록 메신저 서비스를 일상생활에서 중요한 도구로 생각하고 있음을 알 수 있었다.

(표 9) 메신저 서비스의 중요성에 미치는 영향

(Table 9) Impact on the importance of messenger service

OTJBCD_2021_v22n4_51_t0009.png 이미지

4.5.3 SNS

인구통계학적 특성을 첫 번째 단계에 투입한 결과는 표 10과 같이 성별(β=.169, p<.01)은 종속변인인 SNS (페이스북, 인스타, 틱톡 등)의 중요성에 유의미한 영향을 미치는 것으로 나타났다. 다음으로 미디어 이용량을 두 번째 단계에 투입한 결과 종속변인에 부가적으로 4.2%의 설명량을 높였다. 구체적으로는 스마트폰 이용 기간(β=.182, p<.01)과 SNS 이용횟수(β=.129, p<.05)는 SNS의 중요성에 긍정적인 영향을 미치는 것으로 나타났다. 다음으로 디지털 리터러시 변인을 세 번째 단계에 투입한 결과, 종속변인에 부가적으로 16%의 설명량을 높였다. 구체적으로 ‘개인창작 및 공감 능력’(β =.434, p<.001)은 SNS의 중요성에 긍정적인 영향을 미치는 것으로 나타났다. 즉, 여성은 남성보다 SNS에 대하여 중요하게 생각하고, 온라인에서 콘텐츠 창작 및 공유 능력이 높을수록 SNS를 더욱 중요하게 생각하고 있음을 알 수 있었다.

(표 10) SNS의 중요성에 미치는 영향

(Table 10) Impact on the importance of SNS

OTJBCD_2021_v22n4_51_t0010.png 이미지

4.5.4 동영상 공유 플랫폼

인구통계학적 특성을 첫 번째 단계에 투입한 결과는 표 11과 같이 종속변인인 동영상 공유 플랫폼(유튜브, 아프리카TV 등)의 중요성에 유의미한 영향을 미치는 요인은 나타나지 않았으며, 다음으로 미디어 이용량을 두 번째 단계에 투입한 결과도 종속변인에 유의미한 영향을 미치지 않는 것으로 나타났다. 다음으로 디지털 리터러시 변인을 세 번째 단계에 투입한 결과, 종속 변인에 부가적으로 5.4% 설명량을 높였다. 구체적으로는 ‘개인창작 및 공감 능력’(β=.204, p<.01)은 동영상 공유플랫폼의 중요성에 긍정적인 영향을 미치는 것으로 나타났다. 즉, 응답자들은 온라인에서 콘텐츠 창작 및 소통 능력이 높을수록 동영상 공유 플랫폼을 더욱 중요하게 생각하고 있음을 알 수 있었다.

(표 11) 동영상 공유 플랫폼의 중요성에 미치는 영향

(Table 11) Impact on the importance of video

OTJBCD_2021_v22n4_51_t0011.png 이미지

4.6 집단 간 디지털 리터러시의 역량 차이 분석

디지털 리터러시 하위 요인의 각 평균값을 살펴보았을 때, 본 연구에 참여한 대학생들의 경우 스마트 기기 이용 능력(4.83), 윤리적 행동 능력(4.71), SW/앱 이용 능력(4.65), 프라이버시 보호 능력(4.11)은 매우 높은 수준으로 조사된 반면, 개인창작 및 공감 능력(3.07)은 상대적으로 낮은 것으로 조사되었다. 이를 바탕으로 디지털 리터러시의 각 하위 요인에 있어서 인구통계학적 특성인 성별과 전공계열, 학년에 따라 어떠한 차이가 있는지를 살펴보았다. 참고로 인구통계학적 특성 중 지역은 응답자의 75.32%가 수도권인 서울과 경기에 집중되어있어 표본의 대표성을 확보하기 어렵고, 한희경(2019)의 연구에서도 디지털 리터러시의 모든 하위 영역에서 지역에 따른 유의한 차이가 나타나지 않은 것으로 보고되고 있어 분석에서 제외하였다.

인구통계학적 특성 중 성별에 따라 디지털 리터러시의 하위 요인에서 차이가 나타나는지 살펴보기 위해 기술통계 및 독립표본 t-검정을 실시한 결과 표 12에 제시된 바와 같이 ‘스마트 기기 이용 능력’과 ‘개인 창작 및 공감 능력’에서 통계적으로 유의미한 차이가 나타났다. 구체적으로는 개인 창작 및 공감 능력은 여성이 3.31로 남성 2.75보다 통계적으로 유의하게 높았으며(p<.001), 스마트 기기의 이용 능력 또한 여성이 4.88로 남성의 4.78 보다 통계적으로 유의하게 높았다(p<.05).

(표 12) 성별 - 독립표본 t-검정 결과

(Table 12) Gender - independent samples t-Test

OTJBCD_2021_v22n4_51_t0012.png 이미지

전공계열에 따라 디지털 리터러시의 하위 요인에서 유의한 차이가 나타나는지 살펴보기 위해 기술통계 및 독립표본 t-검정을 실시한 결과, 표 13에 제시된 바와 같이 ‘SW/앱 이용 능력’과 ‘프라이버시 보호 능력’에서 유의미한 차이가 나타났다. 구체적으로는 정보 관리를 위한 소프트웨어와 애플리케이션의 기본 기능 사용 능력은 공학 자연과학 계열이 4.74로 인문사화과학 계열 4.55보다 통계적으로 유의하게 높았으며(p<.01), 프라이버시 보호 능력 또한 공학자연과학 계열이 4.20으로 인문사화과학계열 4.02보다 통계적으로 유의하게 높았다(p<.05).

(표 13) 전공계열 - 독립표본 t-검정 결과

(Table 13) Major - independent samples t-Test result

OTJBCD_2021_v22n4_51_t0013.png 이미지

* A: 공학자연과학, B: 인문사회과학

학년에 따라 디지털 리터러시의 하위 요인에서 유의한 차이가 나타나는지 살펴보기 위해 기술통계 및 집단별 평균 차이를 보기 위한 일원배치 분산분석을 실시한 결과 표 14에 제시된 바와 같이 디지털 리터러시 하위 요인 모두 학년에 따른 유의한 차이를 보이지 않았다.

(표 14) 학년 - 일원배치 분산분석 결과

(Table 14) Grade - One-Way ANOVA Results

OTJBCD_2021_v22n4_51_t0014.png 이미지

5. 결론

5.1 연구 요약 및 의의

본 연구에서는 미래사회를 대비하고 현 모바일 시대에 적용할 수 있는 종합적이고 체계적인 디지털 리터러시 측정도구를 개발하고자 기존 디지털 리터러시 측정 도구들을 유형화하여 구성 변인들을 도출하였다. 이어 각변인의 개념에 부합하는 34개 문항을 개발하여 디지털 네이티브 세대에 해당하는 대학생을 대상으로 설문하고, 탐색적, 확증적 요인분석을 통해 신뢰도와 타당도 등을 확인하여 5개 하위 요인(개인창작 및 공감 능력, SW/앱 이용 능력, 스마트 기기 이용 능력, 프라이버시 보호 능력, 윤리적 행동 능력), 25개 문항으로 디지털 리터러시측정도구를 최종 확정하였다.

도출한 디지털 리터러시 하위 요인들의 예측 타당성을 검증하기 위해 실시한 위계적 회귀분석 결과, 디지털 리터러시 하위 요인 중 ‘스마트 기기 이용 능력’과 ‘개인창작 및 공감 능력’은 공통적으로 메신저 서비스의 중요성에 긍정적인 영향을 미치는 것으로 나타났으며, ‘스마트 기기 이용 능력’이 높을수록 컴퓨터 및 스마트 기기, 인터넷 등의 기술적인 도구를 SNS와 동영상 공유 플랫폼보다 중요하게 생각하는 경향이 있는 것을 알 수 있었다. 한편, SNS와 동영상 공유 플랫폼은 ‘개인창작 및 공감 능력’이 높을수록 더욱 중요하게 생각하고 있음을 알 수 있었다. 이는 최근 사진 및 영상편집 도구의 대중화와 모바일 기술의 발전에 따라 동영상 콘텐츠의 중요도가 증가하였고[13], 동영상 공유 플랫폼의 이용률이 2019년 기준 전체 47.1%, 10대 87.4%, 20대 69.9%로 매해 급격하게 증가하는 등[14] 인스타그램 등의 감성 SNS와 유튜브, 틱톡, 아프리카TV 등의 동영상 공유 플랫폼의 사용량 증가에 의한 것으로 유추할 수 있다.

집단 간 디지털 리터러시의 역량 차이 분석 중 성별에 따른 디지털 리터러시의 능력 차이에 대한 분석 결과에서는 여성 대학생들의 스마트 기기 이용 능력과 개인 창작 및 사회적 공감 능력이 남성 대학생들보다 상대적으로 뛰어나다는 것을 알 수 있었다. 이는 서효정 외(2015)의 연구에서 여성 대학생들이 남성 대학생들보다 건강 앱을 찾는데 익숙하며, 손쉽게 다운로드하고, 어려움 없이 사용할 수 있는 것으로 확인한 연구결과와 장필식(2019)의 연구에서 SNS의 감성 표현에 있어 여성 사용자가 작성한 메시지의 감성강도가 남성 사용자의 메시지 감성강도 보다 높은 것으로 확인한 결과와도 맥락을 같이 한다[15][16].

집단 간 디지털 리터러시의 역량 차이 분석 중 전공계열에 따른 디지털 리터러시의 능력 차이에 대한 분석 결과에서는 공학자연과학 계열의 대학생들이 인문사화과학 계열의 대학생들보다 정보 관리를 위한 소프트웨어와 애플리케이션의 기본 기능 사용 능력과 개인정보 및 공유 정보에 대한 보호 능력이 좀 더 뛰어나다는 점을 알 수 있었다. 하지만 본 연구에서의 전공계열은 폭넓게 두 가지로만 분류되었고, 조형정 외(2014)와 남창우 외 (2016)의 연구에서 전공계열에 따른 자기관리 역량에 대한 연구결과가 상반되게 나타났다는 점을 고려할 때, 전공계열에 따른 디지털 리터러시 능력 차이를 정확히 파악하기 위한 추가적인 심층연구가 필요하다[17][18].

본 연구의 대상자들은 디지털 네이티브 세대에 해당하는 대학생들로 스마트폰 사용기간 평균이 8.45년 (SD=2.60), SNS 이용기간 평균이 6.71년(SD=3.08)이었으며, 스마트폰의 사용기간은 SNS의 이용기간과 정적 상관관계를 갖는 것으로 확인되었다. SNS 이용동기와 관련된 분석 결과에서는 다양하고 재미있는 콘텐츠를 보기 위해서라는 이유가 가장 높은 동기로 나타났으며, 다음으로 스트레스 해소, 소통하기 위해서라는 이유가 SNS를 이용하는 비교적 높은 동기임을 알 수 있었다. 반면, 공부에 도움이 되기 위해서라는 이유와 나 자신을 표현하기 위해서와 같은 이유들은 상대적으로 매우 낮게 나타나 응답자들은 SNS를 주로 소통과 오락적 욕구를 채워줄 수 있는 도구로 활용하고 있음을 알 수 있었다.

김진욱(2016)은 대학생들의 SNS에 관한 관심과 활용 정도는 매우 높아 많은 시간 접촉하고 SNS를 매개로 한 소통이 이루어지지만 대인관계에 긍정적으로 작용하는 정도는 부족하므로 이를 소통과 관계 유지에 긍정적으로 작용하는 매개체가 되도록 연구하고 교육하는 것이 필요하다고 하였다[19]. 본 연구에서의 디지털 리터러시 하위 요인에 대한 분석 결과에서도 스마트 기기 이용 능력(4.83), 윤리적 행동 능력(4.71), SW/앱 이용 능력(4.65), 프라이버시 보호 능력(4.11) 등은 매우 높은 수준으로 확인되었으나, 개인창작 및 공감 능력(3.07)은 설명력이 가장 높아 제1요인으로 나타났음에도 능력 수준이 가장 낮은 것으로 확인되었다. 즉, 대학생들이 스마트 기기와 SW/앱 이용능력은 충분히 갖추고 있지만 창작능력과 사회적 공감능력은 상대적으로 낮다는 것을 알 수 있었다.

5.2 연구의 시사점

코로나19로 인한 언텍트(Untact) 시대를 맞아 비대면 소통이 일상화되고 있고, 온라인상에서의 소통역량이 매우 중요한 역량으로 대두되고 있는 상황에서 정부는 디지털 미디어 소통역량 강화 종합계획(2020)을 발표하였다. 전략과제로는 온·오프라인 미디어 교육 인프라 확대, 국민의 디지털 미디어 제작 역량 강화, 미디어 정보판별 역량 강화, 배려·참여의 디지털 시민성 확산 등을 제시하였으며, 소통과 배려의 새로운 디지털 공동체 실현을 위한 비전을 제시하였다[20]. 이와 관련하여 선행연구에 대한 고찰과 연구 결과를 바탕으로 한 본 연구의 시사점은 다음과 같다.

최근 사진 및 영상편집 도구의 대중화와 모바일 기술의 발전에 따라 SNS에서 텍스트보다 사진, 동영상 등을 이용한 콘텐츠의 중요도가 높아지고 있어 인스타그램 등의 감성 SNS와 유튜브, 틱톡, 아프리카TV 등의 동영상 공유 플랫폼의 사용량이 증가하고 있다. 특히 유튜브와 틱톡 등 동영상 공유 플랫폼에 열광하고 소셜 미디어를 즐기는 이유는 정보전달의 간편성과 파급력, 익명성, 인터넷 계정의 간편한 생성으로, 오프라인과 다른 새로운 방식으로 공감과 사회적 인정 욕구를 채울 수 있기 때문으로 보고되고 있다[21]. 하지만 본 연구 결과 디지털 네이티브 세대인 대학생들은 스마트 기기와 애플리케이션 등 디지털 미디어의 이용 능력은 갖추고 있으나, 온라인상에서 다양한 디지털 미디어를 활용하여 나를 표현하고, 일상을 영상으로 담아 표현해내는 창작능력은 비교적 낮은 것으로 나타났다. 이는 디지털 리터러시 교육 방안 마련 시 창작 능력의 배양에 중점을 둘 필요가 있음을 시사한다.

심화된 동영상 콘텐츠의 제작기술은 난이도가 높고, 각 플랫폼에서의 사용 방법이 다르다. 온·오프라인 미디어 교육 인프라 확대와 국민의 디지털 미디어 제작 역량 강화를 위한 방안 중 하나로 동영상 공유 플랫폼을 제공하는 인터넷 기업을 활용하는 방안을 고려해 볼 수 있다. 각 플랫폼 내에서 이용자들이 관련 기능들을 다양하게 학습하고 실습하는 과정에서 창작 능력을 키울 수 있도록 온라인 교육 서비스의 개발을 지원한다면 효과적인 지원 방안이 될 수 있을 것이다.

6. 후속 연구에 대한 제언

온라인상에서 타인과 비판적·윤리적으로 소통하고 의견을 교류하며, 건강한 사회적 관계를 맺을 수 있는 자기표현과 공감 능력은 디지털 사회에서 시민이 갖추어야 할 역량과 자질에 해당한다. 하지만 이제는 AI 기술의 발전으로 인해 사람과 사람 간의 관계뿐만 아니라 첨단 지능정보 기술에 기초한 사람과 AI와의 관계 맺기에 관한 연구도 필요한 시점이다. 그러므로 디지털 리터러시 교육에서 AI 기술의 발전을 고려한 소통과 참여능력의 향상을 위한 연구와 교육적 접근이 필요하다.

최근에는 유튜브 외 틱톡과 같은 다양한 동영상 공유플랫폼의 확산에 이어 새로운 오디오 기반 SNS가 등장하여 큰 주목을 받고 있다. 특히 클럽하우스(Clubhouse)는 출시한 지 불과 1년 만에 1,000억 원의 가치를 인정받을 정도로 사용자들이 급증하고 있어 트위터와 페이스북은 등의 기존 SNS들도 오디오 기반 소셜 미디어 서비스를 제공하기 시작하였다[22]. 하지만 소리로만 연결되는 가상의 공간에서 정제되지 않은 정보를 계속해서 들어야 하는 한다는 문제점과 차별과 혐오에 대한 안전장치 부재, 보안 위험성 등이 제기되고 있다[23]. 이처럼 빠르게 확산하는 기술과 다양한 차세대 소셜 미디어에서의 디지털 리터러시 하위 역량의 균형 있는 개발은 매우 중요한 과제이므로 지속적인 연구가 필요하다.

☆ 본 논문은 2021년도 한국인터넷정보학회 춘계학술발표대회 우수논문 추천에 따라 확장 및 수정된 논문임.

References

  1. MSIT(Ministry of Science and ICT) and NIA(National Information Society Agency), "Survey on the Use of the Internet, 2019", 2020. https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do;jsessionid=8FE68C9EB2407606CF0C0B012DEAC04A.910aaf518dda06361586?cbIdx=99870&bcIdx=21930&parentSeq=21930
  2. S. Kang, "New people in the digital age, digital natives". LG Economic Research Institute. CEO REPORT. 2014. http://www.lgeri.com/report/view.do?idx=2905
  3. S. Shin and S. Lee, "A Study on Development and Validity Verification of a Measurement Tool for Digital Literacy for University Students", Journal of Learner-Centered Curriculum and Instruction, Vol.19, No.7, pp.749-768, 2019. http://dx.doi.org/10.22251/jlcci.2019.19.7.749
  4. S. Lee, "A Survey Research on Information Literacy Level in Korean University Students", Journal of the Korean Library and Information Science Society, Vol.41, No.1, 85-103, 2007. http://dx.doi.org/10.4275/KSLIS.2007.41.1.085
  5. M. Kim and Y. Park, "Analysis of the impact of college students digital literacy attitude on digital literacy competency", Journal of Learner-Centered Curriculum and Instruction, Vol.21, No.6, pp.495-507, 2021. http://doi.org/10.22251/jlcci.2021.21.6.495
  6. Gilster, P, "Digital literacy", New York: Wiley, 1997.
  7. J. Ahn, "Digitalized Communication and Media Literacy: Groping for the Meaning and Research Focus in Multiliteracy", Korean Association for Educational Information and Broadcasting, Vol.8, No.3, pp.5-24, 2002. http://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART000874619
  8. J. Ahn, "A Study on the Age Difference of Digital Media Literacy", Korean Journal of the Learning Sciences, Vol.7, No.1, pp.1-21, 2013. http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE02177465
  9. J. Kang, H. Song and H. Kim, "Development and Application of the Diagnostic Instruments for Measuring Digital Literacy in the Smart Society", Journal of Korean Associastion for Regional Information Society, Vol.17, No.3, pp.143-173, 2014. http://doi.org/10.22896/karis.2014.17.3.006
  10. M. Yang and J. Kim, "Development a Scale for e-Learning Digital Literacy". The Journal of Educational Information and Media, Vol.22(3), pp.485-507. 2016. http://doi.org/10.15833/KAFEIAM.22.3.485
  11. K. Yang, S. Seo. H. Ok, "Development of Self Assessment Tool for Digital Literacy Competence", Journal of Digital Convergence, Vol.18, No.7, pp.1-8. 2020. http://doi.org/10.14400/JDC.2020.18.7.001
  12. H. Lee and G. Lim, "Structural equation model analysis and AMOS 7.0", Seoul: Bobmunsa, 2008.
  13. H. Byun, "Analyzes the Characteristics in the Contents Production and Usage Environment of YouTube and its Popular Channels; and Examination of its Implications", The Treatise on The Plastic Media, Vol.21, No.4, 227-239, 2018. http://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002411462
  14. Korea Press Foundation, "Survey on the Media Audience, 2020", 2020. https://www.kpf.or.kr/synap/skin/doc.html?fn=1610955418165.pdf&rs=/synap/result/research/
  15. P. Jang, "Sentiment Expression on SNS According to Gender and User Activity Level". Journal of the Ergonomics Society of Korea, Vol.38, No.2, pp.105-114. 2019. http://dx.doi.org/10.5143/JESK.2019.38.2.105
  16. H. Suh, H. Hong, M. Kim, W. Yoon, T. Lee, J. Jung, S. Hwang and Y. Cho, "Mhealth apps : The current status of usage and the factors of continuous use", Journal of the HCI Society of Korea, Vol.10, No.1, pp.19-27, 2015. http://dx.doi.org/10.17210/jhsk.2015.05.10.1.19
  17. H. Joh, Y. Go, J. Yoon, Y. Shin, "An Analysis of the Effect of Self-efficacy as College Students Characteristics on Core-Competencies", The 1st College Students Core-Competency Conference, Korea Research Institute for Vocational Education and Training, 2014. http://www.newnonmun.com/article=10755692
  18. C. Nam, Y. Park and J. Song, "Analysis of The Differences of College Students' Non-cognitive Core Competencies by Their Majors and Grades", The Journal of Thinking Development, Vol.12, No.3, pp.91-118, 2016. https://www.dbpia.co.kr/Journal/articleDetail?nodeId=NODE07016330
  19. J. Kim, "A Study on the Influence of Graduates' SNS Initiative on Interpersonal Relations", The 2016 SAPA International Conference, Seoul Association For Public Administration, pp.335-354, 2016. http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE07054716
  20. Joint Government Ministry, "Comprehensive Plan for Strengthening Communication Capabilities in Digital Media (draft)", 2020. https://kcc.go.kr/user.do?boardId=1113&page=A05030000&dc=K00000200&boardSeq=49948&mode=view
  21. H. Han, "A study on digital literacy education status analysis and curriculum connection plan", Education Policy Research 2019-04, Education Policy Research Institute, 2019. https://policy.nl.go.kr/search/searchDetail.do?rec_key=S H1_UMO20200962505&kwd=
  22. J. Jeong, "Voice instead of video 'Clubhouse' craze... Social media evolution brought about by Corona", dongA.com Opinion Column, 2021. 3. 10. https://www.donga.com/news/Opinion/article/all/20210310/105802534/1
  23. B. Ryu, "The rapidly growing SNS 'Club House'... Many issues such as security and discrimination", Asia Times, 2021. 2. 25. https://www.asiatime.co.kr/article/20210224500358