The Study on Test Standard for Measuring AI Literacy

Abstract

The purpose of this study is to design and develop the test standard to measure AI literacy abilities. First, we selected key areas of AI literacy through the related studies and expert FGI and designed detailed standard. The area of the test standard is divided into three categories: AI concept, practice, and impact. In order to confirm the validity of the test standard, we conducted twice expert validity tests and then modified and supplemented the test index. To confirm the validity of the test standard, we conducted an expert validity test twice and then modified and supplemented the test standard. The final AI literacy test standard consisted of a total of 30 questions. The AI literacy test standard developed in this study can be an important tool for developing self-checklists or AI competency test questions for measuring AI literacy ability.

본 연구는 인공지능 소양 능력의 측정을 위한 검사 기준의 설계와 개발을 목적으로 한다. 선행연구와 전문가 FGI를 통해 AI 소양의 핵심 영역을 선정하고 세부 기준을 설계하였다. 검사 기준의 영역은 AI의 개념, 실제와 영향 3가지로 구분하고 세부 항목은 AI의 개념 33문항, AI의 실제 13문항, AI의 영향 15문항으로 구성하였다. 검사 기준의 타당성 확보를 위해 2번에 걸친 전문가 타당도 검사를 실시하여 검사 기준을 수정, 보완하였다. 최종 AI소양 검사 기준은 총 30문항으로 개발하였다. 본 연구에서 개발된 AI소양 검사 기준은 AI소양 능력 측정을 위한 자기 체크리스트나 AI역량 검사 문항을 개발하는 중요한 도구가 되기를 기대한다.

I. Introduction

2022년 정부는 SW와 AI 인력 육성을 위해 초등학생부터 대학교 및 전문 교육기관에서의 디지털 교육을 강화하고 있다[1]. 특히 AI 산업 발전을 위한 투자 확대와 연구개발 지원, AI 산업 생태계 확장 및 새로운 비즈니스 모델 발굴을 위해 노력하고 있다[2].

국가의 노력과 발맞추어 국민 누구나 인공지능에 대한 이해와 활용 능력을 필수역량으로 요구하고 있으나 인공지능에 대한 개념과 원리를 이해하지 못하는 경우 인공지능을 효과적으로 활용하지 못하며 AI의 가치와 영향에 대해 인식 부족이 나타나고 있다[3][4]. 이러한 문제는 인공지능 역량을 신장시키기 위한 교육으로 해결 가능한데 사람들마다 각자의 소양 수준이 달라 단편적이고 난이도가 고정된 내용으로 제대로 된 교육을 적용하기 어렵다[5]. 이를 위해 인공지능 리터러시를 객관적이고 표준화된 검사도구가 필요한데 현재까지 인공지능 리터러시 검사를 위한 정량적인 기준이 존재하지 않아서 소양 능력을 측정 및 평가가 어렵다는 문제점이 있었다.

따라서, 이번 연구에서 인공지능 리터러시 검사를 위한 정량적인 기준을 개발함으로써, 인공지능 리터러시를 보다 정확하게 평가하고, 인공지능 교육을 개선하기 위한 방안을 제시하는 것을 목적으로 한다.

II. Preliminaries

2.1 Literacy and Competency

문해력을 의미하는 소양(이하 리터러시)은 전통적인 읽고 쓰고 셈하는 3Rs에서부터 시작하여 1950년대 텔레비전, 컴퓨터와 같은 첨단 기술이 접목된 리터러시가 생겼고 최근에는 디지털 기술들이 통합되어 디지털 리터러시가 강조되고 있다[6][7]. 소양은 삶의 기본적 요소로 단순한 문해력에만 그치는 것이 아니라 비판적 사고를 지닌 사회적 참여의 의미를 지니고 있다[8]. 역량은 21세기 사회를 성공적으로 살아가는 데에 있어 모든 사람들이 반드시 갖추어야 할 공통적인 능력이다[9]. 소양과 역량은 서로 상호 보완의 관계에 있으며 소양과 역량 모두 갖추어야 사회생활에서 성공적으로 적용하고 발전할 수 있다[10].

2.2 AI Literacy

인공지능 리터러시(AI Literacy, 이하 AI 리터러시)라는 용어는 Long & Magerko에서 찾아볼 수 있다[11]. AI 리터러시는 AI기술을 비판적으로 평가하고 AI와 효과적으로 소통 및 협업하며 온라인, 가정 및 직장에서 AI를 도구로 사용할 수 있는 역량으로 정의하고 있다. 이유미와 박윤수(2021)는 AI 리터러시에 대한 정의를 AI라는 기술 매체를 이해하고 활용할 수 있는 능력과 이를 통해 사회와 소통할 수 있는 능력일 뿐 아니라 AI 사회에 대한 비판적 사고를 할 수 있는 능력이라고 하였다[12]. AI 리터러시를 갖추기 위해서는 컴퓨터 리터러시와 정보 리터러시는 선행되어야 하며 AI 리터러시를 향상시키기 위한 선행 지식과 전문지식을 갖기 위해 가져야 할 부분을 분명하게 구분시켜 주는 아이디어를 제공한다[13]. 또한 Computing Curricula 2020 보고서에서 리터러시는 세부적인 역량을 바탕으로 형성되는 능력으로 해당 분야의 지식, 기능, 태도가 통합된 형태의 역량을 제시하고 있다[14]. 이에 리터러시는 지식, 기능 태도를 포함하고 있다고 볼 수 있다.

2.3 Previous Research

한선관(2020)은 AI 리터러시를 위한 역량의 기준으로 AI란 무엇인가, AI는 무엇을 할 수 있는가? AI는 어떻게 작동하는가, AI는 어떻게 사용하는가, 사람들은 AI를 어떤 존재로 인식하는가 5가지로 나누고 이에 따른 역량을 9개로 제시하고 이에 따른 콘텐츠의 설계와 개발을 하였다[15]. 이철현(2020)은 AI 리터러시를 인공지능의 기본 개념과 원리를 이해하고 AI 도구를 올바른 방법으로 활용하며 목적에 맞는 데이터와 AI 기술을 활용하여 결과를 산출하는 능력이라고 하였다. 이에 AI 리터러시의 구성요소를 AI 기초지식, AI 활용 능력, AI 개발 능력, AI 윤리·가치관으로 설정하였다[16]. 양창모(2022)는 AI 리터러시를 D.Long & B. Magerko가 제안한 5가지 요소를 설문 문항으로 재구성하여 인공지능 교육 프로그램이 인공지능 태도와 소양 향상에 긍정적인 영향을 미친다는 연구 결과를 제시하였다[17].

G. Wong et al.(2020)은 컴퓨터 과학을 바탕으로 K-12의 AI리터러시를 AI개념, 응용 및 윤리 세 가지 차원으로 분류하고 각 학년 수준별로 기존 교육과정과의 융합요소, 관련한 AI 개념, 사용할 수 있는 도구 등을 제시하고 있다[18]. D.Long & B. Magerko(2020)은 인공지능에 대한 개념을 이해하는 능력인 AI 리터러시에 대한 중요성을 강조하고 이를 위한 역량과 디자인 고려 사항을 제안하였다. 문헌 연구를 바탕으로 5개의 서로 다른 주제로 구성된 프레임워크와 그에 따른 역량 17개를 제시하였다[11].

이상에서 살펴본 바와 같이 대다수의 연구가 AI 리터러시 정의를 위한 설계와 프로그램 개발에 치중되어 있어 AI 리터러시 측정을 위한 검사 기준에 대한 연구가 매우 부족하다는 것을 알 수 있다.

III. Test Standard for AI Literacy Measurement

3.1 Research content and procedure

본 연구에서 개발하는 AI 리터러시 검사 기준은 기본적인 리터러시를 갖춘 만 18세 이상의 성인들을 대상으로 설정하고 선행연구와 문헌분석을 토대로 초안을 설계하였다. 그리고 FGI를 통해 AI 리터러시 영역과 주제를 선정하고, 그에 따른 기준 항목을 추출하였다. 개발한 항목의 타당도를 확보하기 위해 1차 AI교육 현장 교사를 대상으로 한 전문가 검토를 받은 후 수정, 보완 작업을 실시하고, 다시 한국인공지능교육학회와 컴퓨터교육과 관련한 대학 교수들을 대상으로 2차 전문가 검토를 받고 수정, 보완 작업을 거친 후 최종 AI 리터러시 검사를 위한 기준을 개발하였으며 연구 절차와 방법은 Fig. 1과 같다.

Fig. 1. Research Procedures and Methods

3.2. Key Areas and Topics for AI literacy

이 연구에서 제시한 AI 리터러시의 핵심 영역은 세 가지로 인공지능은 무엇인지 정의에 관한 ‘인공지능의 개념(Concept)’, 인공지능을 어떻게 활용하는가에 관한 ‘인공지능의 실제(Practice)’, 인공지능이 이슈와 윤리에 관한 ‘인공지능의 영향(Impact)’으로 선정하여 지식, 기능, 태도에 관한 영역을 고루 반영하였다.

AI 리터러시의 영역별 주제 선정은 세 개 영역별에 해당하는 13개의 주제를 추출하였다. 인공지능의 개념 영역에서는 인공지능의 인식, 배경, 이론, 관련 학문, 적용으로 5개 주제, 인공지능의 실제에서는 센서와 구동기, 인식과 감각, 상호작용과 소통, 지능형 로봇과 물리적 작용으로 4개, 인공지능의 영향에서는 인공지능의 강점과 약점, 약인공지능과 강인공지능, 사회적 영향, 윤리적 이슈로 4개 주제를 선정하였으며 Table 1과 같다.

Table 1. Topics and details by AI literacy area

3.3. AI Literacy Subject Item Element

AI 리터러시의 세 가지 핵심 영역과 13개의 주제를 선정한 뒤 이에 대한 이해도를 측정할 수 있는 검사 기준 문항을 개발하였다. 인공지능의 개념 영역에서는 33개의 문항, 인공지능의 실제 영역에서는 13개 문항, 인공지능의 영향 영역에서 15개 문항을 선정하여 모두 61개의 문항을 개발하였으며 Table 2,3,4와 같다.

Table 2. Test questions in the area of ‘Concept of AI’

Table 3. Test questions in the area of ‘Practice of AI’

Table 4. Test questions in the area of ‘Impact of AI’

IV. Research Results

4.1. Result of Expert Validity Test

개발한 AI 리터러시 검사 기준의 내용 타당도를 알아보기 위해 1차 전문가 타당도를 실시하고 분석하였다. 1차 전문가 타당도는 AI교육을 전공하고 있는 초중등교사 10명을 대상으로 실시하였다. 내용 타당도는 내용타당도 비율(Content Validity Ratio: CVR)을 바탕으로 분석하였다.

내용 타당도 검사 문항은 AI 리터러시의 핵심 3영역의 적절성, AI 리터러시의 영역별 주제의 적절성, 61개의 검사 문항의 적절성에 관한 문항으로 구성하였다. 각 문항은 5점 리커트 척도를 사용하고, 각 문항마다 수정 또는 추가의견 사항을 받도록 서술식으로 구성하여 전문가의 의견을 수렴하였다. 전문가가 10명일 때 타당도 점수의 기준은 .62로 Table 5,6,7과 같으며 ‘인공지능의 개념’ 영역에서 13개(2,4,6,8,10,12,15,16,19,26,27,32,33) 항목(Table 5), ‘인공지능의 실제’ 영역에서 2개(3,13) 항목(Table 7), ‘인공지능의 영향’ 영역에서 1개(13) 항목(Table 8)이 타당도를 확보받지 못했다. 인공지능의 개념 항목에 대한 전문가들의 의견은 Table 6과 같다.

Table 5. Result of the 1st expert validity test in the area of ‘Concept of AI’

Table 6. Expert opinion in the area of ‘Concept of AI’

Table 7. Result of the 1st expert validity test in the area of ‘Practice of AI’

Table 8. Result of the 1st expert validity test in the area of ‘Impact of AI’

‘인공지능의 실제’ 영역에서 타당도를 확보받지 못한 3번 문항은 액츄에이션의 정확한 용어 표기, 중복된 내용의 질문으로 타 항목의 포함하는 것이 좋겠다는 의견을 주었으며, 13번 문항은 용어 이해의 어려움과 타 문항과의 중복성을 이유로 삭제의 의견이 있었다. 또한 실제 영역이므로 충분한 사례 제시의 필요성도 제안해주었다. ‘인공지능의 영향’ 영역에서의 13번 문항은 분류 기준의 애매모호함과 소양 검사에서의 불필요한 항목이라는 의견이 있었다.

이에 타당도 점수가 낮은 항목은 전문가 검토 의견을 바탕으로 수정·보완 작업을 하였다.

‘인공지능의 개념’ 영역에서는 인공지능의 배경과 인공지능의 적용 두 개 주제를 삭제하고, ‘인공지능의 영향’ 영역에 있었던 인공지능의 강점과 약점을 이동하여 인공지능의 인식, 인공지능의 이론, 인공지능과 관련 학문, 인공지능의 강점과 약점 4개 주제로 다시 설정하였다. 세부 문항도 33개 항목에서 21개 항목(9, 10, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 31, 33, 35, 36, 37)을 다른 항목에 포함시키거나 삭제하였고, 주제 영역에 새로 포함된 인공지능의 강점과 약점에서 3개의 항목을 추가하여 모두 15개로 선정하였다.

‘인공지능의 실제’ 영역에서는 어려운 용어가 들어간 부분은 삭제하고 중복되는 문항을 통합하여 인공지능의 물리적 작용, 인식과 소통, 인공지능의 활용 3가지 주제로 수정 및 통합하였다. 세부 문항은 7개 항목(3, 5, 6, 9, 11, 12, 13)을 다른 항목에 포함 시키거나 삭제하고 전문가 의견대로 사례에 관한 3개 항목을 신설하여 모두 9개로 선정하였다.

‘인공지능의 영향’ 영역은 사회적 영향과 윤리적 이슈 두 가지 주제로 수정하였다. 세부 항목은 인공지능의 강점과 약점의 주제가 ‘인공지능의 개념’ 영역으로 이동함에 따라 2개 항목(1, 3)이 삭제되고 중복되는 성격의 문항(2, 4, 5, 6, 7, 11, 15)을 수정 및 삭제하고, 타당도가 낮은 13번 항목을 삭제하였다. 그리고 윤리적 이슈와 관련된 문항 2개를 추가하여 6개의 문항으로 선정하였다. 수정된 AI 리터러시 영역별 주제와 세부 내용은 Table 9와 같다.

Table 9. Modified AI literacy test index

2차 전문가 타당도 검사는 한국인공지능교육학회 전공교수 12명을 대상으로 실시하였다. 검사 방법은 1차 타당도 검사와 동일하며, 검사 문항은 1차에서 실시했던 65개 항목에서 34개로 대폭 줄이고 수정하였다.

전문가가 12명일 때 타당도 점수의 기준은 0.56 이상이며, 세부 문항의 3. Are the four themes of ‘Practice of AI’ appropriate in the area of artificial intelligence literacy?(0.4점), 13. I understand the meaning of neural networks among AI technologies(0.4점)., 22. I distinguish between intelligent robots and general robots.(0.4점), 26. I explain where AI would fit if used in my field of work(0.2점)번의 문항이 낮은 타당도를 보였다. 13번 문항에서 ‘인공지능 기술’이라는 용어는 ‘인공지능 알고리즘’이라는 용어로 바꾸었으며, 18번 문항은 ‘차이점을 구분하다’ 보다는 ‘이해한다’라는 의미로 문항을 수정하였다. 26번 문항은 ‘인공지능으로 나의 직업을 개선할 수 있는 방법을 찾을 수 있다’로 문장 수정을 하였다.

4.2 Final Test Standard for AI Literacy

1,2차 전문가 의견을 바탕으로 수정하여 최종 확정된 AI 리터러시 검사 기준은 Table 10과 같다.

Table 10. Final AI Literacy Test standard

V. Conclusions

딥러닝의 발전과 함께 최근 ChatGPT를 중심으로 하는 생성형 인공지능의 놀라운 등장으로 이제는 누구나 인공지능 리터러시를 갖는 것은 기존 문해력을 갖는 것보다 더 중요한 능력이 되었다.

이를 위한 기반 연구로 이 연구에서는 인공지능 리터러시를 측정하기 위한 검사 기준을 설계하고 개발하였다. 본 연구의 결과를 토대로 다음과 같은 결론을 얻었다.

첫째, 본 연구에서 인공지능의 리터러시는 인공지능의 지식, 기능, 태도로 구성되며 이를 위해 핵심 영역을 AI의 개념, 실제, 영향으로 구분하고 그에 대한 세부 내용을 제시하였다.

둘째, 본 연구에서 개발된 인공지능 리터러시 검사 기준은 2회의 전문가 타당도 검사를 거쳐 정량적이고 정성적인 분석과 수정 보완을 거쳐 신뢰있는 문항으로 최종 30문항의 AI 리터러시 검사 기준으로 개발되었다.

셋째, 본 연구에서 개발된 AI 소양 검사 기준은 AI 소양능력 측정을 위한 자기 체크리스트나 AI 역량 검사 문항을 개발하는 중요한 도구가 될 수 있으며, 일반 성인의 AI 교육의 효과적 개발과 적용에 도움을 줄 수 있을 것이다

본 연구의 결과는 현재 정부에서 추진하는 디지털 인재양성 정책의 효과성을 측정하거나 학습자들의 인공지능 소양 수준의 변화를 정교하게 측정하는 데 많은 기여를 할것으로 기대한다.