실 화상 기반의 지능형 G-러닝 가상 학습 플랫폼 개발

Development of An Intelligent G-Learning Virtual Learning Platform Based on Real Video

Abstract

본 논문에서는 기존의 내용 전달 위주의 학습 메타버스 플랫폼이 아닌 실제 수업 활동에서 이루어지는 다양한 학습 상호작용에 기반한 가상 학습 플랫폼을 제안한다. 본 연구에서는 AI와 가상환경을 융합한 학습 환경을 제공하여 실시간 AI와 대화하며 문제를 풀어가는 방식을 활용하고 있다. 또한, 수업의 몰입도를 향상하기 위해 G-러닝 기법을 적용하였다. 본 연구를 통해 개발한 VirtualEdu 플랫폼은 자기주도적 학습, 게임을 통한 흥미 유발, 그리고 PBL 수업 방식을 조합하여 효과적인 학습 경험을 제공하고 있다. 이를 기반으로 학생들의 참여도와 학습 효과를 향상 시키는 새로운 교육 방식을 제안하고 있다. 실험으로는 50명 이상의 학습자가 실시간 화상 학습 활동 기반의 다양한 학습 활동애 대해 성능 실험을 하였고, 결과로서 안정하게 원활한 수업이 진행됨을 얻을 수 있었다.

In this paper, we propose a virtual learning platform based on various interactions that occur during real class activities, rather than the existing content delivery-oriented learning metaverse platform. In this study, we provide a learning environment that combines AI and a virtual environment to solve problems by talking to real-time AI. Also, we applied G-learning techinques to improve class immersion. The Virtual Edu platform developed through this study provides an effective learning experience combining self-directed learning, simulation of interest through games, and PBL teaching method. And we propose a new educational method that improves student participation learning effectiveness. Experiment, we test performance on learninng activity based on real-time video classroom. As a result, it was found that the class progressing stably.

Ⅰ. 서론

현대 교육 시스템은 급변하고 있는 디지털 시대에 맞춰 새로운 접근 방식과 플랫폼이 필요로 되고 있다. 특히 인공지능의 발전으로 인해 AI를 이용한 교육 방식이 주목을 받고 있다. AI를 활용한 교육은 학생들의 자기 주도적 학습과 개별화된 학습 경험을 제공하는데 큰 잠재력을 가지고 있다^[1].

포스트 코로나를 겪으면서 메타버스 플랫폼은 온라인 교육 분야에 많은 관심을 끌고 있는 교육 방식 및 매체가 되었다. 메타버스 플랫폼은 가상 세계를 통해 사용자들이 상호작용하고 소통할 수 있는 환경을 제공하여 만족도와 몰입감을 높여 메타버스 플랫폼의 지속적 참여에 대한 기대감을 높일 수 있다^[2]. 그러나 기존의 메타버스 플랫폼은 개별화된 학습 경험을 제공하기 어렵다는 한계가 있다. 일반적인 강의실 형태는 정형화된 강의실을 제공하고 있어 교수자가 일방적으로 강의 내용을 전달하는 방식이 대부분이다. 교수자와 학습자는 학습 현장에서 이루어지는 다양한 소통을 활용하면서 학습의 질적 효과를 제공해 주고 있다. 그러나 기존의 학습용 메타버스 플랫폼은 제한적인 인터랙션 방법과 기능으로 원활한 온라인에서의 학습 환경을 제시해 주지 못했다. 특히나, 토론식 강의, 문제 중심의 해결을 위한 팀 작업 등 학습자 및 교수자가 오프라인에서 활동하는 방식을 그대로 재현해 줄 수 있는 가상 환경의 메타 버스 플랫폼이 필요하지만 이렇다할 뚜렷한 시스템을 제공해 주고 있지 않다.

G-러닝 시스템은 학습 환경에 게임적 요소를 적용하여 일반 교과 학습에 몰입성을 높이기 위한 기능성 게임이다. 일반적인 학습 형태가 아닌 온라인상에서 게임을 통해 학습을 완성해 나가는 학습 방법이다. 특히나, 게임에 친숙한 학생들에게 긍적적 결과를 보이고 있는 연구 사례가 많이 제시되고 있다^[3]. 학습의 다양한 인터랙션 활동을 제공해주는 방식과 게임적 요소를 적용한 G-러닝 시스템을 접목한 메타버스 플랫폼은 현재 다양한 수업 환경에서 활용할 수 있다.

본 논문에서는 Chat GPT로 학생들의 자기 주도적 학습을 이끌고, G-러닝 시스템으로 흥미와 몰입도를 높이며 이를 접목하여 PBL (Project-Based Learning) 수업 방식을 통한 교육용 메타버스 플랫폼인 VirtualEdu를 개발하였다.

Ⅱ. 관련 연구

1. 가상환경 메타버스의 현황

현재 가상환경 기반의 메타버스 플랫폼은 게임형 메타버스 플랫폼과 사회형 메타버스 플랫폼으로 나뉠 수 있다^[4]. 게임형 메타버스 플랫폼은 게임 안의 세계에서 주어진 과제를 해결한다. 대부분의 경우 즐거움이 주된 목적이며, 훈련과 교육의 목적을 가진 것들도 있다^[5]. 사회형 메타버스는 사용자가 자발적으로 콘텐츠를 제작하여 소비하는 콘텐츠이다. 따라서 더욱 개방적인 사용자의 자유를 제공한다. 사실상 목표 지향적 게임은 늘 사회형 가상 세계 안에서 등장하고, 사회적 경험은 인기 있는 게임 속에서 확장되기 때문에 게임형과 사회형 가상 세계의 구분은 모호해지는 경우가 많다^[6]. 따라서 이 장에서는 게임형 메타버스 플랫폼의 사례와 사회형 메타버스 플랫폼의 사례 중에서도 교육에 대한 사례를 조사한다.

가. 게임형 메타버스 플랫폼 사례

게임형 가상환경 메타버스 플랫폼으로는 대표적으로 로블록스와 마인크래프트가 있다^[7,8]. 로블록스는 사용자가 게임을 만들고 공유할 수 있는 플랫폼으로, 개발자가 아닌 일반 사용자도 쉽게 게임을 제작할 수 있다. 마인크래프트는 플레이어가 가상 세계를 만들고 수정할 수 있는 게임으로, 창의력을 자극하고 협력과 창조적인 문제 해결을 촉진한다. 이를 통해 사용자들은 자유롭게 가상 세계를 탐험하고 상호작용할 수 있다.

나. 교육형 메타버스 플랫폼 사례

교육형 메타버스 플랫폼의 사례로는 제페토와 게더타운이 있다. 제페토는 다양한 학습 환경을 제공하며, 가상공간에서 실제 생활을 시뮬레이션하여 학생들에게 혁신적이고 인터랙티브한 학습 경험을 제공하는 플랫폼이다. 게더타운은 화상채팅과 메타버스를 융합하여 가상 세계 안에서 실제로 수업을 진행하는 플랫폼이다. 두 사례 모두 PBL 학습 방식을 사용하여 학생들의 참여도와 학습 효과를 보이고 있다.

PBL학습이란 학생들이 직접 문제를 해결하고, 문제를 해결하면서 필요한 지식과 기술을 습득하며, 자신의 생각과 행동을 통해 문제를 해결하는 학습 방법이다^[9]. PBL학습을 하기 위해서는 안내자, 자료 제시자의 역할을 해줄 사람이 필요하다^[10]. 하지만 메타버스는 시공간의 제약을 받지 않기에 항상 지도자가 대기할 수 없다. 이에 본 시스템에서는 AI를 활용한 PBL 수업방식의 교육용 메타버스를 제안한다^[11].

다. AI를 활용한 메타버스 사례

AI를 활용한 메타버스 플랫폼으로는 지니버스와 위캔버스가 있다.^[12,13] 지니버스는 사회형 메타버스로 AI를 이용해 메타버스 공간에 현실의 집을 구현할 수 있고, 언어학습을 통한 AI NPC가 존재한다. 위 캔버스의 AI는 학생들의 영어 발음을 평가하고, 영어 학습에 도움을 주는 분류형 AI이다. 이렇게 메타버스에서 AI를 활용한 사례는 많이 있지만, 문제를 제공해주고, 안내자 역할을 해주는 AI는 없기에 PBL 수업을 진행하기에 어려움이 있다. 따라서 최근 다양한 교육 영역에서 활용하고 있는 생성 AI인 ChatGPT를 활용하여 메타버스 플랫폼을 적용하였다^[14].

표 1. 메타버스 플랫폼 비교

Table 1. Comparison Metaverse platform

2. VirtualEdu의 특징

다음은 VirtualEdu의 특징에 대해 논의한다.

가. 상호작용과 협업 기능을 강화하여 학생들이 실시간으로 소통하고 공동 작업할 수 있도록 제공한다. 이는 학생들 간의 협업과 문제 해결 능력을 향상시키는 데 도움이 되며, 실제 선생님과 학생들 간의 상호작용도 원활하게 이루어질 수 있다.

나. 다양한 게임 기능을 통해 학생들이 게임을 통한 공부를 즐겁게 할 수 있다. 게임을 통한 학습은 학생들의 참여도와 흥미를 높이면서 학습 효과를 극대화할 수있는 방법중 하나이다. VirtualEdu는 게임 기능을 통해 학생들이 문제를 풀고 맞추는 게임, 턴제로 문제를 맞추는 게임 등 다양한 게임을 제공한다.

다. 학생들이 AI와 대화를 할 수 있는 인공지능 기능을 통해 개별화된 학습 경험을 제공한다. 학생들은 AI와 대화하며 문제를 제공받고, 질문하고, 답변을 받을 수 있어 자신의 의문점을 해결하고 추가적인 학습 내용을 얻을 수 있다. 이는 학생들의 학습 동기와 자기 주도적인 학습 능력을 향상시키는 데에 기여한다.^[15]

라. 문제 생성 및 공유 기능을 통해 학생들이 자기주도적으로 학습할 수 있는 환경을 제공한다. 학생들은 자신이 원하는 주제나 난이도에 맞는 문제를 생성하고, 다른 학생들과 공유할 수 있어 서로의 학습을 도움받을 수 있다. 이는 학생들의 창의력과 문제 해결 능력을 증진시키는 데 도움이 된다.

Ⅲ. VirtualEdu System

1. VirtualEdu 시스템

그림 1은 전체 VirtualEdu 전체 시스템 다이어그램을 나타내고 있다. 로그인부터 강의실 선택 및 G-러닝 플레이에 이르기까지 다양한 기능을 제공하고 있다. 본 시스템은 DB 및 클라우드 환경과 연결되어 실시간 문제를 업데이트 할 수 있는 장점이 있다. 아고라 시스템을 활용하여 3차원 가상 공간에서 화상 수업이 가능하도록 하였고, 네트워크 트래픽을 최소화하기 위한 최적화를 진행하였다. 또한, 본 시스템의 장점인 가상 공간의 중요 지점에서는 ChatGPT의 도움을 받을 수 있도록 하여 더욱 몰입감과 동적인 교수 학습을 진행할 수 있도록 설계하였다.

그림 1. VitualEdu 시스템 다이어그램

Fig. 1. VirtualEdu System Diagram

가. Login Manager

그림2는 Login 매니저 기능을 보이고 있다. Playfab API를 활용하여 로그인, 회원가입, 캐릭터 생성을 관리하는 매니저로 구현했다. 회원가입에 성공하면 서버에 플레이어가 생성되며, 생성된 플레이어는 관리창에서 확인할 수 있다. 또한 플레이어에 있어야 할 데이터들을 초기화 하는 역할도 하고 있다.

그림 2. 생성된 플레이어 관리창

Fig. 2. Created Player Management Window

나. Photon Manager

그림3은 다중 사용자 참여를 위해 Photon Manager를 사용하여 데이터베이스에서 받아온 나의 캐릭터를 생성하고, 생성된 캐릭터의 이동, 회전, 애니메이션을 동기화 한 기능을 구현한 것이다. 또한 RPC를 활용하여 채팅 기능을 추가하였다.

그림 3. 동기화 및 채팅

Fig. 3. Synchronization & Chatting

다. RoomChange Manager

다중 참여자 기반의 네트워크 서비스인 포톤을 활용한 방 이동 시, 각각의 스크립트에서 포톤을 구현할 경우 가독성을 해치고 유지보수와 확장성이 어려워 진다. 따라서 싱글톤을 활용한 방 관리 매니저를 만들었다(그림4). 또한 씬 이동시 간단한 팁과 함께 로딩창을 구현했다.

그림 4. 로딩 창

Fig. 4. Loading Window

라. Agora Manager

다중 사용자 기반의 화면 공유 시스템은 교수자의 강의 자료를 공유할 수 있다. 그림 5는 이러한 기능을 보여주고 있다. Agora API를 활용하여 음성, 화상, 화면 공유 기능을 만들었다. Agora API는 채널을 사용하여 사용자를 나누는 방식으로 구현되어 있다. 이를 활용하여 방마다 고유한 토큰을 넣어서 나누었고, 토론형 강의실에 경우 추가로 테이블마다 소규모 회의실의 기능을 지원한다.

그림 5. 화면 공유

Fig. 5. Screen Sharing

마. Question Manager

그림6은 다양한 문제 출제 방식을 보이고 있다. (좌)는 JSON 형식으로 데이터베이스에서 문제를 로드, 저장하는 역할을 한다. 또한(우) 인-게임 안에서 객관식, 주관식, 서술형 문제를 생성, 수정, 삭제, 공유하는 기능을 지원하고 있다.

그림 6. (좌)JSON 형식의 문제 (우) 인-게임 문제

Fig. 6. (L) Problem in JSON Format (R) In-Game Problem

바. ChatGPT Manager

ChatGPT를 활용해서 NPC가 자동으로 문제를 생성하고, 펫과 대화하여 학생들이 문제를 해결할 수 있도록 도움을 준다. 이를 통해 학생들은 펫과의 대화를 통해 문제 해결에 필요한 정보와 가이드를 얻을 수 있다.

그림 7. PET을 활용한 ChatGPT 사용

Fig. 7. Using ChatGPT with PET

사. Turn-Based Game Manager

Question Manager에서는 문제를 받아오는 기능을 구현했으며 객체 풀링과 FSM 알고리즘을 활용하여 몬스터 로직, 문제 생성과 정답 확인 기능을 가진 턴제 문제 풀이 로직을 포톤 RPC를 통해 연동하여 관리하도록 구현했다.

그림 8. 턴제 게임 중 문제 풀이

Fig. 8. Solving problem during Turn based game

아. Goldenball Manager

골든벨은 웹 요청을 통해 구글 스프레드시트에서 문제데이터를 불러온다. 이때 포톤 RPC를 사용하여 문제, 입력받은 정답, 점수, 진행 시간 등의 로직을 관리하도록 구현했다.

그림 9. 골든 벨

Fig. 9. Golden-Bell

2. PBL 학습 설계

VirtualEdu 시스템 설계에서 구현된 다양한 기능들을 활용하여 PBL 학습을 가능하게 설계하였다.

가. 문제 제공 방식

턴제게임: 학생들은 자체 생성한 문제나 다른 사용자로부터

공유받은 문제를 턴제 형식의 게임을 통해 학습할 수 있다.

⦁ 골든벨: 학생들은 골든벨 게임을 통해 문제를 제공받아 게임과 경쟁을 통해 학습할 수 있다.

⦁ NPC: ChatGPT의 생성 AI 기술을 활용하여 원하는 주제에알맞는 문제를 제공받을 수 있다.

나. 문제 탐색 방식

펫: 학생들은 문제를 탐색하며 ChatGPT를 활용한 펫에게 도움을 받을 수 있다.

수업 진행: 교수자에 의한 수업을 진행하여 문제를 푸는데 도움을 받을 수 있다.

협동학습: 조별로 회의할 수 있는 기능을 만들어 서로 협동 및 토론하며 문제를 탐색할 수 있다.

다. 문제 해결 방식

발표: 발표에 집중할 수 있도록 카메라를 이동시킨 발표자 모드를 적용시켰으며, 이를 통해, 학생들은 자신들의 문제 해결 과정을 발표하고 공유할 수 있다.

문제 생성: 학생들은 문제를 생성하고 플랫폼 상에서 공유함으로써 서로의 문제를 해결하고 공유할 수 있다. 그림10은 VirtualEdu PBL 학습 프로세스로 문제 제공, 탐색, 해결 과정에 이용되는 기능들을 나타낸다.

그림 10. PBL 학습 프로세스

Fig. 10. PBL Learning Process

3. 상태 변화에 따른 맞춤형 수업 환경 시스템

VirtualEdu 시스템은 학습자의 자유도 높은 행동에 따라 다양한 수업 환경을 제공하고 있어서 맞춤형 학습 환경이 가능하다. 그림 11은 VirtualEdu 시스템의 활동 내용을 상태로 도식화 하였고 상태들간의 전이를 두어 하나의 학습 모델 타입을 만들 수 있는 다이어그램을 보이고 있다.

그림 11. 학습자의 상태 전이에 따른 맞춤형 수업

Fig. 11. Customized class according to the learner’s state transition

본 논문에서는 그림11에서 보이는 상태 전이에 따른 수업 환경을 4가지 타입으로 정형화 했다. 우선 처음에는 학습 능률이 높지만 시간이 지날수록 능률이 떨어지게 되어 게임을 접목한 보상형 일반 집중식 강의이다. 두 번째로는 처음에는 집중이 안되지만 천천히 가상환경에 몰입하는 형태이다. 세 번째는 일반식 강의가 아닌 토론식 강의이며 처음에 집중도 있게 진행하며 나중에 능률이 떨어지는 것을 보완하는 보상형 PBL 개방형 강의 타입이다. 마지막으로 처음에 가상 환경에 몰입하면서 나중에 학습의 능률을 높이는 탐구형 개방형 타입의 학습 방법이 있다.

학습자의 성향에 따라 맞춤형 플랫폼을 제공하고 있어서 어떤 상태에 있든 학습에 몰입할 수 있도록 하였다.

표 2. 스테이트 전이에 따른 4가지 수업 타입

Table 2. 4 Class Type according to the state transition

IⅤ. 실험

실험은 메타버스의 성능과 안정성을 평가하기 위해 포톤 및 아고라 API를 활용하여 유저 수에 따른 FPS 변화량을 조사하였다. 포톤은 네트워크 기반의 패킷 처리량이며, Agora는 실시간 화상 회의 기반의 네트워크 처리를 지원한다. 해당 실험은 포톤 무료 버전의 최대 CCU인 20명을 최고 기준으로 진행했다.

그림 12. 유저 수에 따른 FPS

Fig. 12. FPS according to number of users

실험 결과, 유저가 1명일 때와 20명일 때 평균적으로 10프레임 정도의 차이가 나타났으며, 또한 컴퓨터 사양이 좋지 않을수록 프레임 드랍이 더 크게 나타나는 것을 관찰하였다. 유저 수와 시스템 사양이 메타버스의 성능에 미치는 영향을 고려하여, 플랫폼의 확장성과 안정성을 개선하는 방향성을 생각할 수 있다.

Ⅴ. 결론 및 향후 연구

본 연구에서는 교육용 가상환경 플랫폼인 VirtualEdu의 다양한 콘텐츠 개발과 활용 방안을 탐구하였다. VirtualEdu는 게임형 가상환경 플랫폼과 사회형 가상환경 플랫폼의 특징을 결합하여 학생들이 상호작용하고 협업하며 게임을 통한 학습을 즐기는 환경을 제공한다. VirtualEdu 플랫폼은 학생들에게 자기 주도적 학습을 도모하는 기회를 제공하며, 게임을 통한 학습은 학생들의 참여도와 흥미를 높이며 학습 효과를 극대화할 수 있는 유용한 방법이다. 또한, 학생들이 자기 주도적으로 학습할 수 있는 환경을 조성하기 위해 문제 생성 및 공유 기능을 통해 학생들이 서로의 학습을 도움받을 수 있다.

또한 VirtualEdu 플랫폼은 AI 기술을 효과적으로 활용하여 학생들의 개별화된 학습 경험을 제공한다. 학생들은 AI와의 대화를 통해 문제 해결과 추가적인 학습 내용을 얻을 수 있으며, 이는 학생들의 학습 동기와 자기 주도적인 학습 능력을 향상시키는 데에 큰 도움이 된다.

향후 계획으로는 다음과 같은 방향으로 연구 및 개발을 진행할 예정이다.

첫째, VirtualEdu 플랫폼에서 유저 수에 따른 FPS 변화량은 유저 수 자체보다는 월드 자체의 영향을 받는 것으로 관찰되었다. 따라서 향후 연구에서는 월드의 최적화를 중점적으로 다루며, 다수의 유저가 동시에 접속하여도 안정적인 30프레임의 성능을 유지할 수 있는 최적화 방안을 연구하고 개발할 계획이다.

둘째, VirtualEdu 플랫폼에서의 AI 기능인 Chat GPT의 정확도를 향상시키기 위해 더 나은 프롬프트를 찾을 예정이다. 현재의 연구에서는 ChatGPT의 정확도가 아직 완전히 충족되지 않는 부분이 있다. 따라서 더 나은 프롬프트를 활용하여 학생들과 자연스러운 대화를 진행하고, 정확하고 효과적인 답변을 제공할 수 있도록 ChatGPT API의 최신 버전이 향상되었을 때 마다 AI 기능을 강화하고 개인화된 학습 경험을 제공할 계획이다.

셋째, 모바일 플랫폼에 대한 연구와 크로스 플랫폼 개발을 진행한다. 현대 학생들은 모바일 기기를 더 많이 활용하고 있으므로 모바일 플랫폼에서의 최적화와 기능 제공이 중요하다. 따라서 VirtualEdu 플랫폼을 모바일 환경에 최적화하고, 다양한 플랫폼 간의 호환성을 연구하여 크로스 플랫폼 사용을 가능하게 할 것이다.