Educational Contents for Concepts and Algorithms of Artificial Intelligence

Abstract

This study is to design and to develop the educational contents to enhance artificial intelligence literacy. First, we designed artificial intelligence education contents and constructed education programs. The contents are composed of a total of 15 lectures in 8 AI domains. The contents contain the elements of knowledge-skill-attitude, and 5 learning steps. The developed contents were organized in the form of online materials and included simulations and worksheets to directly manipulate and explore the concepts and algorithms of AI. In addition, we provided evaluation questions for each content. To examine the suitability of content, we conducted a validity test for experts. As a result of the content validity test, the overall average was .71 or higher, and the CVI value of the class suitability was .82, indicating a high validity. We are expected to use the contents developed in this study as an effective program to improve AI literacy in university liberal arts education.

이 연구는 대학생들의 인공지능 소양을 신장하기 위한 교육 콘텐츠의 설계와 개발에 관한 것이다. 우선 인공지능 교육 콘텐츠를 설계하고 교육 프로그램을 구성하였다. 콘텐츠는 8개의 인공지능 영역에서 총 15차시로 구성되었다. 콘텐츠는 지식-기능-태도의 내용을 함께 담고 있으며 학습단계는 5단계로 구성하였다. 콘텐츠의 개발은 온라인 자료의 형태로 구성하고 시뮬레이션과 워크시트를 포함하였다. 또한 교수학습방법을 제공하고 각 콘텐츠별로 평가 문항을 개발하였다. 콘텐츠의 적합성을 살펴보기 위해 전문가 대상으로 타당도 검사를 실시하였다. 설계 내용에 대한 내용타당도 검사 결과 전체 평균은 .71이상을 나타냈고, 개발된 콘텐츠의 수업 적합도의 CVI값은 .82로 타당성이 높게 나왔다. 본 연구에서 개발된 콘텐츠들이 대학 교양교육에서 인공지능 소양을 향상시키기 위한 효과적인 프로그램으로 활용될 것으로 기대된다.

Ⅰ. Introduction

소프트웨어 중심사회 실현 정책이 추진되고 채 5년도 지나지 않아 인공지능 기술이 세상의 변화를 주도하고 있다. 이에 전 세계의 정부 기관들은 발 빠르게 움직이며 인공지능을 산업의 활성화와 국가 경쟁력의 주요 키워드로 세우며 4차 산업혁명의 핵심 기술로 삼고 있다. 우리 정부도 ‘IT강국을 넘어 AI강국으로’라는 비전을 제시하며 인공지능 강국으로 발돋움하기 위한 정책을 펼치고 있다[1].

인공지능 활성화 정책에서 인공지능 인재를 확보하고 양성하기 위한 노력이 중요하다. 특히 인재를 양성하기 위한 교육정책이 중요한데 초중등 공교육과 대학교 고등교육에서도 필수교육으로 SW와 AI를 필수 교육으로 선정하며 이제는 누구나 인공지능을 이해해야 하는 시대가 도래하였다[2].

인공지능과 같이 여러 학문이 융합된 기술의 경우 단시간에 학습하거나 숙련도를 갖기는 어려운 특성을 가지고 있다. 또한 산업적으로 집중되어 있는 인공지능 기술을 교육에 맞게 구성하여 교육 시스템과 교구 개발하는 것은 많은 어려움이 있다. 특히 인공지능의 이해를 위한 학습에 최적화된 교육 콘텐츠의 필요성은 매우 높으나 인공지능의 경험과 지식이 적은 대학생들의 소양 수준의 콘텐츠는 많이 개발이 되어 있지 않아 학습자의 수준에 맞는 콘텐츠의 개발이 매우 시급한 상태이다[3]. 시중에 소개되는 많은 도서와 콘텐츠들이 인공지능의 어려운 수식이나 난해한 코드로 설명하고 AI 응용 프로그램의 개발을 중심으로 제작되어 있어 초보와 교양 수준의 학습 자료로 활용하기 힘들다는 문제가 있다.

따라서 인공지능의 기본이 되는 개념과 알고리즘을 쉽게 이해하고 핵심적인 내용의 지식을 갖기 위한 교육 프로그램의 구성과 학습 콘텐츠의 개발은 인공지능 인재 양성에 있어서 매우 필요한 요소이다.

이에 본 연구에서는 인공지능의 체험과 활용 수준을 넘어 기본적인 인공지능의 개념과 다양한 알고리즘을 이해할 수 있는 소양 수준의 학습이 가능한 인공지능 교육용 콘텐츠를 개발하고자 한다.

Ⅱ. Preliminaries

1. Backgrounds

1.1 Overview of AI

인공지능의 정의는 인공지능 교재의 바이블인 P. Norvic과 S. Russel의 인공지능의 현대적 접근에서 인간적 사고와 행동 그리고 합리적 사고와 행동의 측면에서 4 가지로 구분하여 정의한 것이 유명하다[4]. 여러 인공지능학자들의 의견을 종합해서 제시하면 ‘인간의 지능적인 특성을 프로그래밍을 이용하여 기계에 인공적으로 부여한 알고리즘과 컴퓨팅 시스템’을 의미한다[5].

인공지능 연구의 패러다임은 주로 기호주의와 연결 주의의 이분법적으로 구분되나 P. Domingos에 의하면 규칙과 지식을 기반으로 하는 기호주의, 유사도 계산을 바탕으로 하는 유추주의, 베이지안 조건부 확률을 이용한 확률주의, 인공신경망을 이용한 연결주의, 강화학습을 이용한 행동주의 그리고 유전자 알고리즘을 기초로 하는 진화주의로 나누고 있다[6].

인공지능의 연구 분야는 역사적인 순서를 살펴보면 탐색, 문제풀이, 정리증명, 지식표현, 추론, 불확실성, 계획, 기계학습, 인공신경망, 유전 알고리즘과 인공지능 언어 및 도구의 개발과 관련된 주제로 나뉜다[4].

1.2 AI national policy of Each Country

가트너의 2020년 트렌드에 관해 Fig 1[7]처럼 Hype Cycle을 통해 살펴보면 곡선 내 위치하고 있는 다양한 AI 기술과 응용 서비스들의 대부분이 5년 이내에 시장에서 타 산업과의 융합 기술로 활용될 수 있는 생산 안정기 (Plateau of Productivity)에 안착할 것으로 보고 있어 많은 기업과 정부에서 인공지능을 활용한 경제적 이익 확보와 기술 선점에 노력하고 있다.

Fig. 1. Hype Cycle for Emerging Technologies 2020 [7]

이에 캐나다를 시작으로 2017년부터 전 세계 선진국들은 인공지능 기술을 활성화하기 위해 다양한 경쟁을 시작하였다. 그 중에서도 기초과학연구, 인재 개발, 기술 확보 및 교육 정책 수립, 공공 및 민간 부문에서의 도입, 윤리 및 규정 마련, 기반 인프라 구축 등 다양한 영역에서 인공지능 우위전략을 수행하고 있다[8].

2019년 우리 정부는 ‘'IT 강국을 넘어 AI 강국으로'라는 비전으로 AI 국가전략을 발표하였다. 2030년까지 디지털경쟁력은 세계 3위, AI를 통한 지능화 경제효과를 최대 455조원 창출하고 국민들의 삶의 질을 세계 10위를 목표로 AI를 활용한 3대 분야의 9대 전략과 100대 실행과제를 마련하였다[1].

1.3 AI Education

인공지능 인력을 많이 확보하고 있는 미국은 지속적인 투자와 연구 지원을 통해 뇌과학 및 인공지능 기초 원천기술을 확보하고 범정부차원의 Brain Initiative 정책을 추진하였다[9]. 또한 교육자 주도의 AI4K12 Initiative를 발족 시켜 인공지능 교육의 표준틀을 작성하고 현장 교육에 적용하기 위해 지원하고 있다[10].

중국은 정부가 강력한 AI지원 정책을 제시하고 정부 주도하에 기업이 적극적으로 참여하여 산업 발전과 인력 양성을 동시에 추진하고 있다. 2017년에 발표한 차세대 AI 발전 계획에서는 초·중·고등학교에 AI교육을 마련하도록 하고 교재도 개발하였고 중국 교육부의 세부 계획으로 2023년까지 AI 교수 500명과 5, 000명의 학생 양성을 목표로 하고 있다[11].

영국은 2017년부터 AI육성 정책을 발표하고 있으며 정부와 산업계의 협력을 통한 민관공동 정책 추진이 특징이라고 할 수 있다[12].

우리나라는 2016년 지능정보산업 발전 전략, 지능정보사회 중장기 종합대책과 2017년 4차 산업혁명 대응계획 등 일관적으로 정책을 발표하고는 있으나 AI 인재의 산업 경쟁력은 미국의 절반 수준에 불과하며, 한국, 중국, 일본 3개국 중 가장 낮다는 분석 결과가 나왔다. 또한 국내의 AI 인력부족율도 60.6%에 달한다[12]. 이에 2020년 초에 인공지능 인재양성을 위한 인공지능 교육에 관한 정책을 추진하였으며 그 핵심 내용은 인공지능 대학원 프로그램의 확대와 다양화, 초중등 교육시간 등 필수교육으로 확대 그리고 교원의 양성·임용과정부터 SW 및 AI 과목 이수 지원 등이다[2].

2. Related Works

대학의 교양교육 수준에서 갖추어야 할 강좌영역은 윤유진과 이유진의 대학 교양교육과정 개선을 위한 국내ㆍ 외 대학의 교양교육과정 비교연구[14]의 내용과 미국과 영국의 대학 교양강좌에 관한 선행연구[15][16]를 바탕으로 분석하였다. 자연과학과 기술공학계열의 강좌들이 뚜렷한 목표와 인문학적 연계 수업 그리고 다양한 학문과의 융합을 추구하여 교양강좌들이 구성되어야 함을 알 수 있다.

그리고 인공지능 교육을 위한 교육 프로그램의 개발은 국내의 인공지능 교육 활성화 정책의 발표 이후 여러 연구자들에 의해 개발이 이루어지고 있다.

인공지능 교육을 위한 콘텐츠 개발에 관련된 연구들을살펴보면 협력 필터링 알고리즘, 인공신경망 교육 프로그램 개발, 전문가 시스템, 제약만족문제, 딥러닝 CNN 알고리즘을 쉽게 가르치기 위한 콘텐츠 개발에 관련된 연구들이 있다[3][17][18].

선행연구를 살펴보면 대부분의 연구자들이 인공지능 콘텐츠를 개발할 때 한 가지 개념 또는 단일 인공지능 알고리즘을 학습하기 위한 콘텐츠의 개발 연구에 집중하고 있음을 알 수 있었다. 또한 대학생을 대상으로 하는 AI 콘텐츠 개발 연구는 매우 부족한 것으로 분석되었다.

따라서 본 연구에서 제안하는 대학생들의 교양 수준을 고려하고 인공지능 전 분야의 콘텐츠에 관한 통합적이고 균형 있는 설계와 개발 내용이 기존 연구와의 차별성을 보여주고 있다.

Ⅲ. Design and Development of AI Education Contents

1. Design of AI Education Contents

1.1 Overview of Design

인공지능 교육 콘텐츠의 개발은 해당 분야의 내용과 교육적 가치 등을 고려하여 대상에 맞는 기준이 고려되어야 한다. 이 연구에서 개발하고자 하는 인공지능 교육 콘텐츠는 다음과 같은 배경과 고려사항을 두고 설계하였다. • 인공지능에 관한 개념과 알고리즘을 처음 접한 대학생을 대상으로 한다. 대학의 교양수준에 적합하도록 인공지능의 핵심적인 개념을 이해하는 것을 목적으로 하며, 일반인들에게도 적용 가능하도록 구성한다.

• 컴퓨터과학에 대한 깊은 지식은 없으나 컴퓨팅 사고에 대한 기본 개념을 가지고 있고 기초적인 코딩 실력이 있는 상태에서 학습할 수 있도록 한다.

• 교육 콘텐츠의 구성은 지식과 기능 그리고 태도의 3 가지 영역을 모두 포함하여 구성한다.

• 인공지능의 모든 영역에서 모든 개념과 원리를 세세하게 다루기보다는 핵심적인 내용을 위주로 인공지능을 접하고 이해 할 수 있는 대표적인 내용으로 선정한다.

• 콘텐츠의 개발은 교양 수준의 학습을 가정하였기 때문에 인공지능의 이론과 지식을 형성하기 위한 내용 부분에 집중하며 인공지능 프로그램의 개발 또는 딥러닝 알고리즘의 구현에 관한 부분은 직접적으로 다루지 않는다.

연구의 절차는 다음과 같다.

• 연구의 설계: 연구 전문가 조직, 연구자문단 선정, 아이디어 생성, 연구 단계와 역할 분담

• 콘텐츠의 요구 분석: 콘텐츠 요구사항 수집, 관련 연구 분석, 개발 대상 선정, 적용 대상 분석

• 콘텐츠의 설계: 콘텐츠 영역 선정, 콘텐츠 구조 설계, 콘텐츠 내용 설계, 콘텐츠 교육프로그램 및 목록 선정, 설계 타당성 검증

• 콘텐츠의 개발: 콘텐츠 프로토타입 개발, 콘텐츠의 구현, 콘텐츠의 적용 가능성 검토, 개발 타당도 검증

• 콘텐츠의 검사: 콘텐츠 적용 분석, 콘텐츠의 적합도 및 효과성 분석, 수정보완 및 완성

1.2 Design of Contents and Program

본 연구에서 인공지능을 교육하기 위한 콘텐츠의 설계내용은 선행연구 자료와 인공지능 출판 자료를 참고하였다. 우선 S. 러셀과 P. 노빅의 고전인 인공지능; 현대적 접근[4]의 주제와 내용을 분석하였다. 그리고 미국 AI4K12(2019)에서 발표한 AI Framework[10]의 내용을 바탕으로 한선관(2019)이 발표한 한국인공지능교육 프레임워크[5]에서 제시한 3영역 7주제를 인용하여 그에 맞는 개념과 알고리즘을 차시별 콘텐츠 내용으로 선정하였다.

이러한 분석 내용은 전문가들의 의견과 인공지능 강의를 진행하는 교수자들의 요구를 반영하여 내용 영역과 주제를 완성하였다. 확정된 교육 콘텐츠의 개발 목록은 Table 1과 같다.

Table 1. Detailed Contents

선정된 AI 교육 프로그램은 각각의 내용에 지식과 기능 그리고 태도의 영역이 포함되어야 학습자의 역량을 고르게 신장시킬 수 있으며 교육의 효과가 높아진다. 이에 따라 각 콘텐츠의 주제에는 다음과 같은 핵심 역량을 추구할 수 있는 3가지 내용이 포함되도록 구성하였다. 각 3 영역의 학습 내용은 Table 2와 같은 요소를 포함하고 있다.

Table 2. Education area of content

프로그램과 역량을 신장시키는 3가지 요소를 바탕으로 각각의 콘텐츠는 인공지능 영역에 대해 상황을 이해할 수 있는 소개와 핵심 개념 그리고 알고리즘을 제시하고 그 알고리즘을 탐구하고 원리를 발견할 수 있는 시뮬레이션 자료를 제시한 뒤 일상 생활에 적용된 사례나 응용 분야에 대한 융합적인 내용으로 일반화시키는 절차로 구성되었다. 각 단계는 Fig 2와 같다.

Fig. 2. Step of Learning Content

2. Development and Applying of Contents

2.1 Developed of Contents

AI 콘텐츠의 개발 내용은 인공지능의 알고리즘을 수식과 복잡한 코드로 제시하지 않고 가급적 학습자의 선행 경험을 연계하여 구조화, 시각화를 이용하여 안내하고 놀이와 문제풀이 과정을 통해 쉽게 이해할 수 있도록 Fig 3과 같이 구성하였다.

Fig. 3. Example of developed content

2.2 Teaching-Learning Strategy and Evaluation

교수자와 강사진이 개발된 AI 콘텐츠의 수업 적용을 위해서는 적절한 교수학습 방법이 필요하다. 본 연구가 진행된 시기에 코로나-19로 인한 대면수업이 어려워 온라인으로 가능한 수업 방법을 크게 3가지 형태로 선정하였으며 개념형성학습, 발견탐구학습과 문제해결학습 방법으로 수업에 적용하여 진행하였다.

개발된 콘텐츠는 인공지능의 개념과 알고리즘 등에 관한 지식 영역의 내용을 위주로 설계하였으므로 개념형성학습을 통해 용어와 알고리즘의 개념을 찾도록 하였고 실습 내용은 사이트의 체험, AI 응용 프로그램의 시뮬레이션탐구와 실험 그리고 코딩 내의 파라미터와 조건 변경을 통한 개발 통제 등을 중심으로 하였기 때문에 발견탐구학습 방법과 문제해결 중심 모형으로 진행하였다. 태도와 관련된 부분의 학습은 토론토의학습을 중심으로 제시하였다. 학습 평가는 콘텐츠에서 제시하는 학습 목표의 핵심 내용을 중심으로 개념과 용어에 대한 내용과 함께 실습 내용에 대한 AI 원리와 알고리즘의 내용을 중심으로 학습성취도 평가를 할 수 있도록 문항을 콘텐츠의 마지막 부분에 제시하였고 가치와 태도에 관련된 부분은 다양한 토론과 의견이 개진되도록 논쟁이 되는 주제를 자유롭게 기술하도록 개발하였다.

Ⅳ. Research Results of AI Education Contents

1. Overview of Research Result

본 연구에서 개발된 AI 교육 콘텐츠의 적합성과 타당성을 확보하기 위해 전문가를 대상으로 하는 내용 타당도 검사를 실시하였다. 전문가의 구성은 SW․AI 교육 전문가, 인공지능 전문가, 컴퓨터 공학 전문가, 소프트웨어교육 교사로 구성되었으며 총 12명이 참여하였다. 전문가의 구성내용은 Table 3과 같다.

Table 3. Composition Experts for Validity Testing

타당성 검사를 위한 내용은 크게 인공지능 교육 콘텐츠의 설계와 개발에 관한 문항으로 구분되었다. 타당도 검사문항 중 설계와 관련된 문항은 총 7문항으로 구성되었으며 5점 리커드 척도를 이용하였다. 설계와 관련된 문항은 1차 검사를 통하여 본 연구 설계에 수정보완하기 위해 적용하였고 2차 검사에서는 설계의 내용과 개발의 내용에 관한 15영역의 5가지 요소에 관한 문항으로 검사를 실시하였다.

전문가를 대상으로 하는 타당성 분석은 내용 타당도를 바탕으로 하였으며 검사 점수는 전문가들이 각 문항에 긍정적으로 생각하는 정도인 Content Validity Index 지수를 사용하여 타당성의 여부를 분석하였다. 12명의 전문가가 참여한 내용타당도의 CVI 값은 .56 이상이어야 타당하다고 볼 수 있다.

2. Validity Result of Content Design

AI 교육 콘텐츠의 설계가 적절한지에 관한 타당성 검사 문항은 크게 7문항으로 구성되었으며 그 내용은 설계 고려사항의 적절성, 설계 모형의 적절성, AI 지식 체계(대영역) 의 적절성, AI 주제의 선정의 적절성, AI 알고리즘 선정의 적절성, 역량의 3요소의 적절성, 학습 단계의 적절성의 항목으로 구성되었다. 그 분석 결과는 Table 4와 같다.

Table 4. Validity test results of Content design(n=12)

* : CVI > .56

콘텐츠 설계에 관한 내용 타당도 검사에 따른 분석 결과는 CVI 지수가 최소 0.67에서 최대 0.95의 값을 나타냈고 총 CVI값의 평균이 0.71 이상으로 나타나 타당성이 높은 것으로 나타났다. 구체적으로 설계의 모델과 콘텐츠의 학습 단계는 0.9 이상을 보이며 대부분의 전문가들이 매우 적절하게 설정한 것으로 동의하였다. 인공지능 학습 내용에 대한 대영역은 전문가들의 생각에 따라 약간씩의 다른 영역들을 제시하고 있었으나 본 연구에서 제시하는 대영역을 사용하는 데에는 큰 무리가 없음을 보여주었다.

3. Validity Result of Developed Content

AI 교육 콘텐츠의 설계에 따라 개발된 학습 프로그램들의 15가지 콘텐츠에 대해 각각 콘텐츠 개발 내용의 적절성, 학습자의 이해를 위한 난이도, 강의 적용에 따른 적합성, 강의자가 가르치기 위한 교수학습의 적합성 그리고 평가 항목의 적절성에 관하여 고르게 검사 문항을 개발하고 전문가 대상으로 검사를 실시하였다. 그 분석 결과는 Table 5와 같다.

AI 교육 콘텐츠 개발에 관한 타당성 검사 결과를 보면 전체 항목에서 CVI 지수가 최소 0.60에서 최대 0.99의 값을 보였다. 0.56를 모두 충족하는 값으로 개발된 콘텐츠의 적합성과 타당성을 확보할 수 있었다.

세부적으로 살펴보면 각 콘텐츠의 학습내용 적합도는 .86이고 학습 난이도는 .84, 강의용 수업 적합도는 .79이며 교수자 티칭 적합도는 .78, 평가문항 적합도는 .87을 보여 총 .82의 CVI 값을 보여 주었다. 여러 가지 적합도 조사 항목 중 교수자의 티칭 적합도가 약간 낮은 것으로 나타났는데 그 이유는 아직 교수자들이 인공지능 강좌의 이론적 적용 경험이 부족하여 그에 따른 강의자 연수 등의 방안이 필요할 것으로 보였다.

그리고 각각의 문항에 대한 타당성과 적합성을 세부적으로 살펴보면 높은 값을 보인 것은 인공지능의 기본 개념 부분과 사회적 영향에 관련된 부분이 .90 이상으로 좋게 나왔다. 상대적으로 낮게 나타난 부분은 불확실성과 강화학습, 그리고 로보틱스와 상호작용을 위한 AI 컴퓨팅 시스템과 관련된 영역이 .70에 근사한 점수를 보였다. 이것은 통계와 확률을 기반으로 하는 불확실성의 내용과 마코프체인을 이용한 강화학습 등의 콘텐츠 내용의 난이도와 이해의 어려움으로 나타난 것으로 추정된다. 또한 로보틱스와 인터랙션 부분은 실제 하드웨어와 교구를 활용하는 수업을 전개해야 하는 부담이 점수를 낮게 보여준 것으로 생각된다. 이상의 분석 내용을 종합적으로 살펴보면 CVI 값의 전체 평균 점수가 .82를 나타냄으로서 본 연구에서 개발된 콘텐츠와 학습 프로그램들이 대학 교양 수준에서의 강의에 적용되는데 큰 무리가 없으며 신규로 개설 운영되는 인공지능 관련 강좌의 자료로 효과적으로 활용될 것으로 분석되었다.

Table 5. Validity test results of Developed Content(n=12)

* : CVI > .56

Ⅴ. Conclusions

인공지능 기술의 발전으로 그에 따른 사회적 변화와 이러한 변화를 이끌 수 있는 인재의 양성은 전 세계적인 과제가 되었다. 특히 인공지능 기술과 같은 파괴적인 와해 성기 술의 발전 속도를 따라가며 학습을 제공해야 하는 교육 현장에서 인재를 양성하는데 많은 걸림돌이 되고 있다. 새로운 기술에 관해 적절하게 강의를 제공하기 위한 우수한 교수자, 실험 환경과 교육기자재 뿐만 아니라 그에 맞는 학습 콘텐츠의 개발과 보급은 이러한 문제를 해결하는데 큰 역할을 할 것이다.

본 연구에서는 인공지능을 효과적으로 학습할 수 있는 교육용 콘텐츠의 설계와 개발에 관한 연구를 진행하였다. 특히 대학 교양 수준의 학습자를 대상으로 하는 콘텐츠를 전국대학에 보급하므로서 많은 학생들이 인공지능에 대한 관심과 인식이 좋아지고 AI에 관한 소양적 지식을 갖게 할 수 있다. 또한 다수의 인재들이 AI를 바탕으로 하는 문제해결의 역량을 갖게 되므로서 국가에서 추진하고자 하는 인공지능 인재 양성 정책에 많은 기여를 할 것으로 기대한다.

연구 결과를 정리하면 우선 인공지능 교육 콘텐츠를 개발하기 위한 교육 프로그램과 교육과정을 설계하고 인공지능의 지식과 기능 그리고 태도의 역량을 신장시키기 위한 학습 콘텐츠의 구성을 5단계의 학습 절차로 진행하도록 설계하였다. 또한 설계 내용을 바탕으로 15개의 주제를 가진 AI교육 콘텐츠를 개발하고 그에 따른 교수학습 방법과 평가 문항을 제시하였다.

설계와 개발에 관한 적합성과 효과성을 검증하기 위해 전문가를 대상으로 하는 내용타당도 검사를 실시하였으며 콘텐츠 설계에 관해서는 전체 문항을 합산하여 CVI값의평균이 0.71 이상으로 나타나 타당성이 높은 것으로 나타났다. 그리고 개발과 관련된 부분에서도 CVI 값의 전체 평균 점수가 0.82를 나타냄으로서 대학 교양 강좌에서 사용하기에 매우 효과적임을 보여주었다.

본 연구의 내용이 코로나-19로 인하여 대학생들을 대상으로 오프라인 학습에 적용을 하지 못하고 전문가의 자문과 의견으로 타당성을 확보한 것은 많은 아쉬움이 있다. 하지만 향후 연구에 학습자를 대상으로 하는 적용에서 그 효과성과 문제점을 발견하여 더 좋은 콘텐츠로 수정 보완할 것으로 기대하며 본 연구가 인공지능 인재의 양성과 국가 AI 정책의 지원 자료로서 많은 도움이 되기를 기대한다.