DOI QR코드

DOI QR Code

Implementation of Metaverse Based Realistic Education Platform

  • Sukyong, Jung (Dept. of Artificial Intelligence Software, Dongyang Mirae University) ;
  • HyungSoo, Park (Dept. of Computer Software Engineering, Dongyang Mirae University) ;
  • HwanSoo, Kang (Dept. of Artificial Intelligence Software, Dongyang Mirae University) ;
  • Jinhyung, Cho (Dept. of Computer Information Engineering, Dongyang Mirae University) ;
  • Larry S, Kim (Devolopmet Team Leader, YeshCompany Ltd.)
  • Received : 2023.01.02
  • Accepted : 2023.02.13
  • Published : 2023.02.28

Abstract

Currently, due to Covid-19, non-face-to-face activities are underway in various fields, and non-face-to-face education is also necessary in the education field. In this paper, we develop and utilize a metaverse-based realistic education platform that combines the latest realistic 3D technology and XR interactive technology to enhance students' understanding of the latest technology and strengthen their educational capabilities. To this end, we understand the main technologies of metaverse in terms of education, investigate contents and application cases of education using metaverse, and compare them with the proposed realistic educational platform. In the future, non-face-to-face education is expected to account for an important portion, and more effective learning is expected through the metaverse-based realistic educational platform developed in this paper when instructor lectures the MZ generation in a virtual world called metaverse.

현재 코비드19로 인해 다양한 분야에서 비대면을 통한 활동들이 진행되면서 교육 분야에서도 비대면 교육이 필요한 실정이다. 본 논문에서는 최신 실감 3D 기술 및 XR 인터랙티브 기술을 접목한 메타버스 기반 실감 교육용 플랫폼을 개발 활용하여 학생들의 최신 기술에 대한 이해도를 높이고 교육 역량을 강화하려고 한다. 이를 위해 교육 측면에서의 메타버스에 대한 주요 기술을 이해하고 메타버스를 활용한 콘텐츠 개발 사례들과 교육용 메타버스 활용 사례들을 조사하며 본 연구에서 개발하려고 하는 실감 교육용 플랫폼과 비교 평가한다. 향후, 비대면 교육이 중요한 비중을 차지할 것으로 보이며 교수자가 메타버스라는 가상세계에서 MZ세대에게 강의를 진행할 때 본 논문에서 개발된 메타버스 기반 실감 교육형 플랫폼을 통해 보다 효과적인 학습이 이루어질 것으로 기대한다.

Keywords

I. Introduction

4차 산업혁명의 핵심 기술 중인 가상현실 VR(Virtual Reality), 증강현실 AR(Augmented Reality), 확장현실 XR(Extended Reality) 기술이 5G 통신 기술과 접목되면서 다양한 분야에서 메타버스(Metaverse)라는 가상세계(Virtual Worlds)를 통해 경제, 사회, 문화 활동이 이루어지고 있다[1,2]. 온라인 가상공간과 현실의 융합공간으로서 메타버스는 경제, 사회적 측면에서 인프라-플랫폼-콘텐츠-지식재산권 IP(Intellectual Property)과 긴밀한 관계 속에서 진화되어 가고 있다[3]. 메타버스는 기존의 게임 서비스나 소통 서비스를 넘어서 그 적용 영역이 확대되어 모든 산업과 사회에 걸쳐 사회적 트렌드로 급부상하게 되었다. 최근에는 메타버스 구현을 위해 3D 가상세계 기술과 XR 인터랙티브 기술이 활용되고 있으며, 제조, 건설, 공공부문, 커뮤니케이션, 미디어, 엔터테인먼트, 교육 등 다양한 분야에 확산되고 있다[4].

본 논문에서는 메타버스 기반으로 구현되는 다양한 분야들 중에서 교육 분야에 초점을 맞추고자 한다. 기존의 교육 분야의 연구 논문들을 살펴보면 최근들어 메타버스가 상당한 비중을 차지하고 있고 많은 연구자들이 메타버스가 교육에 어떤 영향을 미치는지 발표하고 있다[5-16].

[6]에서는 메타버스를 활용한 교육이 비대면 시대에 교육의 효과를 높일 수 있는 대안이 될 수 있다고 하였고 특히 언어 교육에 효율적임을 보였다. 메타버스 플랫폼이 가상공간에서의 교육 생태계 성장에 큰 도움이 될 수 있으며[7], 이러한 메타버스를 활용한 교육을 활성화하기 위해 정부와 기업에서는 메타버스 교육 플랫폼과 수업 환경을 구축하고 이에 적합한 교육 과정과 콘텐츠를 개발 보급해야 한다[8].

최근 온라인 학습 방식이 다양하게 시도되어지고 있는 데 플립러닝 FL(Flipped Learning) 방식, 블렌디드 러닝 BL(Blended Learning) 방식에 있어서 메타버스 기반의 교육 플랫폼을 적용하여 효과성을 검증한 결과, 학습 몰입도와 협력적 의사소통에 있어서 능력이 향상됨을 확인하였다[9,10]. 게임 기반 학습을 위한 프레임워크[11]와 팀 프로젝트를 수행하는데 사용하는 스크럼 프레임워크[12]에도 메타버스 기반의 교육 플랫폼을 적용할 수 있을 것이다[13]. 시공간 제약에 의한 불편함을 줄이고 교육의 효과를 높이기 위해 메타버스를 활용하여 양방향 코딩 교육[14], 외국어 언어 교육[15]과 예체능 교육[16]을 시도하였다. 메타버스에서 중요한 요소 중에 하나가 아바타라고 할 수 있다. 음성, 동작, 감정 등 다양한 멀티모달 입력을 기반으로 사용자와 아바타간 상호작용 동작이 잘 이루어져야 하고 주변 환경에 반응하고 아바타간 통신이 잘 동작해야 한다[17].

기존 연구 논문들을 고찰한 결과, 특정한 학습 방식이나 특정한 교육에 대해서만 만족하는 메타버스 기반 교육 플랫폼이 아닌 전반적인 교육에 만족할 수 있는 체계적인 메타버스 기반 교육 플랫폼이 요구되어진다. 본 논문의 II 장에서는 국내외에서 사용되고 있는 메타버스의 기술동향 및 시장 전망을 살펴보고 본 논문에서 개발하고자 하는 메타버스 기반 실감 교육용 플랫폼을 개발의 필요성과 시스템 구성도를 소개하고 III 장에서는 제안된 플랫폼에 대해 상세히 소개하고 플랫폼 구성에 필요한 DB와 주요 기능 및 모듈을 제안한다. 또한, 제안된 플랫폼의 적용 결과를 설명하고 시스템의 특징 및 장점, 그리고 기존 메타버스와의 비교 분석 결과를 제시한다. 향후 제안된 플랫폼이 교육 업계에 적용되어 비대면 온라인 교육에 좋은 영향을 끼칠 것으로 기대하면서 IV 장에서 결론을 맺는다.

II. Preliminaries

1. Technology Trends and Market

현재 메타버스는 가상기술을 토대로 시장규모가 크게 증가할 것이다. 스트래티지 애널리틱스(SA)는 2025년 기준 현재의 6배 이상인 2,800억 달러 규모로 전망했고 프라이스 워터하우스 쿠퍼스(PwC)에서는 확장현실 XR(Extended Reality)로 인해 파급 효과가 4,746억달러에 이를 것으로 전망했다[1].

메타버스의 세계는 증강현실 AR(Augmented Reality), 라이프 로깅(Life Logging), 거울세계(Mirror Worlds), 가상세계(Virtual Worlds) 4가지로 구분한다[2,3]. 메타버스의 4가지 분류체계는 각기 독립적으로 발전하다가 최근 융·복합되는 형태로 발전하고 있다. 특히, 메타버스 가상 세계는 최근 3D VR·XR 기술로 인해 다양한 분야로 적용되어 혁신 동력 창출 공간으로서 기대를 모으고 있다. 이에 본 논문에서는 최신 실감 3D 기술 및 XR 인터랙티브 기술을 접목한 메타버스 기반 실감 교육용 플랫폼을 개발하고자 한다.

2. Introduction of Metaverse Platform for Realistic Education

본 논문에서 제안한 메타버스 플랫폼은 사용자 PC, 매니저 PC, 스크린 공유 서버, 포톤 서버, 웹 서버, API WAS 서버, 매니저 WAS 서버, 그리고 DB 서버로 구성된다. 매니저는 메타버스를 운영하는 관리자이다. 매니저는 메타버스에 필요한 스페이스 공간을 생성 및 삭제하는 관리의 역할을 수행한다. 사용자는 하나의 아바타와 매칭이 되어 메타버스 내에 로그인하여 스페이스 공간 내에서 학습 활동을 하게 된다.

웹서버는 플랫폼 외부에서 웹 서비스 요청을 해당 서버에 중계해 주는 역할을 하며 개발된 패키지 반영은 없고 순수 웹 서버로만 구성된다. 플랫폼 내부와 외부를 분리해 주며 L4 스위치를 이용한 액티브/액티브 다중화 방식으로 구현된다. 사용자 PC와 매니저 PC는 HTML 브라우저를 사용하며 웹 서버는 아파치 툴에 의해 작동된다. 포톤 서버도 웹 서버처럼 개발된 패키지 반영은 없고 메타버스 내 주위 환경이 변경되었을 때 아바타간 동기화 처리를 수행한다. 매니저 WAS 서버는 관리자가 사용하는 웹 화면을 제공하며 클라이언트에서 제공되는 정보를 기반으로 포톤 서버와 방 정보를 공유하고 동기화를 유지한다. API WAS 서버는 클라이언트에 제공하는 DB I/F를 위한 API를 제공한다. API 규격은 REST API로서 JSON 포맷을 사용한다. 스크린 서버는 컨퍼런스나 강의실 공간에서 발표자가 화면을 공유할 때 해당 스페이스에 참여한 모든 아바타가 발표자의 화면을 볼 수 있도록 해 준다. DB서버는 메타버스 플랫폼 운영에 필요한 정보를 저장하고 관리해 준다. API WAS 서버, 매니저 WAS 서버와 DB 서버는 리눅스 CentOS 7.x를 사용한다. DBMS는 MariaDB를, SQL은 MySql을 사용한다. 교육용 메타버스 플랫폼을 운영하기 위해서는 다양한 테이블 정보가 필요하다. 이에 대해서는 III장에서 자세히 제시한다.

네트워크는 3티어로 구성하여 웹 서버, WAS 서버와 DB 서버를 분리하고 클라이언트 요청을 신속하게 처리하기 위해 API WAS를 별도로 분리하여 구성하였다. Fig. 1은 본 논문의 메타버스 플랫폼의 시스템 구성도이다.

CPTSCQ_2023_v28n2_77_f0001.png 이미지

Fig. 1. Proposed Metaverse Platform Architecture

III. The Proposed Metaverse-based Platform

II장에서 제시된 시스템의 구조에 따라 III장에서는 메타버스 플랫폼을 설계 및 개발하며, 주요 DB 테이블들, 메인 화면, 사용자와 매니저를 위한 기능들을 제안한다.

1. Design & Implementation

메타버스 플랫폼에 필요한 개발 환경을 제시하며 주요 DB 테이블을 구성하고 다양한 기능들을 설계하고 구현한다.

1.1 Development Environments

개발 환경은 클라이언트와 서버로 나누어진다. 클라이언트는 윈도우 환경 하에서 개발하고 서버는 클라우드 서버, 포톤 서버, DB 서버로 구성된다. 클라이언트에서 사용되는 소프트웨어는 유니티, 비쥬얼 스튜디오, 3D Max, 포토 샵이 사용되며 포톤 서버와 WAS용으로 애저 클라우드 서버를 사용하고 소프트웨어로는 Node.js, MariaDB, 아파치 톰캣, 자바를 사용한다. 클라이언트와 서버의 개발 환경은 Table 1과 같다.

Table 1. Development Environments

CPTSCQ_2023_v28n2_77_t0001.png 이미지

1.2 Main DB Tables

메타버스 플랫폼을 운영하기 위한 테이블은 다양하게 있지만, 주요 기능에 필요한 2개의 테이블을 제시한다. 첫번재 테이블은 스페이스 공간을 관리하는 테이블이다. 이 테이블은 관리자에 의해 생성 및 삭제되며 모델 타입에 따라 6가지 스페이스 공간을 관리하게 된다. 스페이스 테이블은 16개의 속성으로 구성되며 포톤 서버와 매니저 WAS 서버에서 접근하게 된다. 매니저 PC에서 스페이스를 생성 및 삭제할 때 반드시 이 두 서버 간에 동기화가 이루어져야 한다. Table 2는 스페이스 정보를 표현한 것이다.

Table 2. Space DB table

CPTSCQ_2023_v28n2_77_t0002.png 이미지

스페이스 테이블에서 conference_id 속성과 space_id 속성이 프라이머리 인덱스 키이다. 하나의 컨퍼런스는 여러 개의 스페이스로 구성될 수 있다. 스페이스 공간은 6가지의 모델 타입들이 있다. 이에 대해서는 1.4절 스페이스에서 자세히 설명한다.

두 번째 DB 테이블은 10개의 속성으로 구성된 사용자 정보를 관리하는 테이블이다. 사용자 정보는 가입과 탈퇴 시 변경되고 관리자에 의해 생성 및 삭제될 수 있다. 사용자가 메타버스에 로그인 또는 로그아웃할 때에도 가입자의 접속 상태와 로그인 최근 시간과 로그아웃 시간이 변경될 수 있다. Table 3은 사용자의 정보를 표현한 것이다.

Table 3. User DB table

CPTSCQ_2023_v28n2_77_t0003.png 이미지

1.3 Avatar

사용자 대신 가상공간을 들어가 행동하는 개체를 ‘아바타’라 한다. 아바타는 계정당 하나만 생성이 가능하며, 언제든 외형을 변경할 수 있다. 사용자를 대신하기에 아바타를 조작하는 방식으로 가상공간을 이용할 수 있다. 아바타의 특징으로 아바타는 제공되는 프리셋의 조합으로 생성된다. 제공하는 프리셋 안에서는 자유롭게 조합하고 원하는 색상으로 변경할 수 있다. 개인이 프리셋을 추가하거나 편집할 수 없으며, 시스템 업데이트를 통해 추가하도록 한다. 사용자는 아바타 프리셋에서 제공하지 않는 키나 얼굴을 임의로 변경할 수 없다. 아바타를 변경하면서 프리뷰 화면을 통해 실시간으로 적용되는 모습을 확인할 수가 있다. 아바타 생성 및 편집 기능을 통해 성별 및 피부색 선택, 헤어 디자인과 상하의 디자인 및 색상 선택이 가능하다. Fig. 2는 아바타 생성 및 편집을 할 수 있는 메뉴를 표현한 것이다.

CPTSCQ_2023_v28n2_77_f0002.png 이미지

Fig. 2. Avatar Creation & Edition

1.4 Space

메타버스 내 독립적으로 운영되는 공간의 단위를 ‘스페이스’라 한다. 단위 별로 입장 정보, 채팅 로그, 음성 공유 등의 기능을 독립적으로 사용할 수 있다. 스페이스는 커뮤니티, 행정실, 자료실, 컨퍼런스 홀, 강의실, 회의실 6가지 종류가 있다. 커뮤니티는 사용자간 커뮤니케이션을 위해 사용되는 공간이고, 행정실은 학과 관계자와 학생 간의 커뮤니케이션을 위한 공간이다. 자료실은 개인별로 학습에 필요한 자료를 시청하고 다운받는 공간이고, 컨퍼런스 홀은 대규모 행사나 공개 강의 등의 이벤트에 사용되는 공간이다. 강의실은 학과 강의를 위한 공간이며, 회의실은 학과 강의 중 팀을 이루어서 행동을 할 때에 사용되는 공간이다. 각 스페이스는 종류별로 최대 인원수, 생성 및 접근 제한, 기능들이 있다. 예를 들어, 강의실은 최대 인원은 40명으로 제한되고 생성은 교수자에 의해 생성 가능하며 접근 시 비밀번호를 요구할 수 있다. 강의실 기능으로는 아바타 편집, 인터랙션, 이모티콘, 전체 채팅, 음성 채팅, 자료 업로드 & 다운로드, 회의실에 들어 갈 수 있는 포털이 제공된다. 각 종류에 따른 스페이스 특징들은 Table 4와같다.

Table 4. Space Types & Features

CPTSCQ_2023_v28n2_77_t0004.png 이미지

1.5 Communication

메타버스 내 아바타 간 또는 관리자와 아바타 간 통신 기능을 지원한다. 이 기능에는 텍스트 채팅, 음성 채팅, 이모티콘, 아바타 모션 등이 있다. Fig. 3은 아바타 통신 기능을 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0003.png 이미지

Fig. 3. Avatar Communication

텍스트 채팅(Fig. 3-①)에는 공간에 접속한 모든 사용자가 공유하는 전체 채팅 기능과 관리자에게 일방적으로 메시지를 보내는 관리자 채팅 기능이 있다. 음성 채팅(Fig. 3-②)은 사용자의 실제 음성을 주고 받는 채팅이며 공간에 접속한 모든 사용자에게 음성을 공유하는 발표 기능과 음성을 제외한 주변 소리는 들리지 않도록 제어하는 기능을 지원한다. 아바타는 자신의 감정이나 상태를 이모티콘(Fig. 3-③)이나 모션(Fig. 3-④)을 통해 표현할 수 있다.

2. User Functions

사용자가 메타버스 내에서 사용할 수 있는 기능들로서 메인 화면 구성, 카메라 뷰, 아바타 조작, 발표 조작, 수업 듣기, 화면 녹화, 스페이스 퇴장 등이 있다.

2.1 Main Screen Configuration

메인 화면 구성은 사용자가 스페이스 관련하여 필요한 환경 정보를 설정하는 것이다. 스페이스 플랫폼, 생성과 입장에 필요한 조건, 과제 업로드에 대한 정보, 그 외 오디오 정보(이어폰/마이크 소리 볼륨) 등을 정의한다. 공간 구성은 다른 사용자와의 연결 없이 개별 클라이언트에서 진행하게 된다. 교수자는 강의실, 컨퍼런스, 학습실(커뮤니티), 미팅룸, 행정실을 생성할 수 있고 학생은 학습실(커뮤니티), 행정실을 생성할 수 있다. 스페이스 생성 시, 필수 요소를 모두 입력해야 진행을 할 수 있다. 스페이스 생성을 위한 필수 요수는 이름, 설명, 6가지 타입, 타입에서 사용 가능한 공간, 공개 여부, 프리뷰 이미지 등이다. Fig. 4는 스페이스를 구성하기 위한 메뉴를 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0004.png 이미지

Fig. 4. Space Creation

웹 서버는 사용자로부터 컨퍼런스 정보를 입력받아 포톤 서버에게 CreateSpace API를 사용하여 컨퍼런스 스페이스 생성을 요청한다. 포톤 서버는 공간에 필요한 정보를 설정하고 웹서버에게 응답을 보낸다. 스페이스 삭제 절차도 생성 절차와 유사하게 처리된다.

생성된 스페이스가 존재하는 경우, 사용자는 해당 공간에 입장할 수 있다. 입장 가능한 스페이스가 아닌 경우, 입장 불가 팝업이 생성된다. 공개 스페이스의 경우, 입장 인원에 여유가 있다면 즉시 입장할 수 있다. 비공개 스페이스의 경우, 입장 인원에 여유가 있다면 입장 비밀번호를 입력하고 입장할 수 있다. 스페이스 타입들 중에 컨퍼런스 타입으로 공간을 생성하고 삭제하는 절차는 Fig. 5와 같다.

CPTSCQ_2023_v28n2_77_f0005.png 이미지

Fig. 5. Conference Hall Space Creation & Deletion

2.2 Camera View

카메라 뷰는 자신의 아바타를 바라보는 3인칭 시점과 아바타의 시점인 1인칭 시점을 가진다. Fig. 6은 아바타를 조작하기 위한 카메라 뷰를 나타낸 것이다. 기본 화면은 아바타를 3인칭으로 바라보는 3인칭 시점 뷰를 사용한다. 마우스 휠 버튼을 이용하여 시점을 변경할 수 있다.

CPTSCQ_2023_v28n2_77_f0006.png 이미지

Fig. 6. Camera View

기본 화면인 3인칭 뷰에 의한 카메라는 마우스를 좌우로 드래그 하여 시점을 회전하면 아바타를 중심으로 회전하게 되고 상하로 드래그 하여 시점을 회전하면 아바타를 중심으로 회전하게 된다. 상하 회전의 경우, 가로축을 기준으로 아래 위로 각 75˚까지 회전이 가능하다. 아바타의 높낮이 위치가 변화하면 시점도 함께 위치가 변화될 수 있도록 한다. Fig. 7은 3인칭 뷰에 의한 카메라 조작 방식을 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0007.png 이미지

Fig. 7 . Third-Person View Camera Manipulation

2.3 Avatar Manipulation

아바타는 마우스와 키보드를 이용하여 아바타를 조작한다. 최초 아바타는 위치 이동이 없는 선 상태로 제작된다. 다른 애니메이션으로 전환 시 자연스럽게 전환될 수 있도록 고려하여 제작하였다. 키보드를 통해 보고 있는 화면에서 앞뒤 좌우 어느 방향으로 아바타를 진행시킬 것인지 조작할 수 있고 선 상태와 않은 상태로 변경할 수 있다. 아바타가 움직이는 이동은 걷는 상태를 기본으로 한다. 카메라 시점의 방향과는 상관없이 항상 움직이는 방향의 정면을 바라보고 이동하게 된다. 시점의 방향을 기준으로 좌우 90˚(총180˚)내의 방향으로 이동 시에는 앞을 향해 이동한다. 시점의 방향을 기준으로 좌우 90˚(총 180˚)를 제외한 방향으로 이동 시에는 뒤로 이동한다. Fig. 8은 키보드의 방향키를 이용하여 아바타를 조작을 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0008.png 이미지

Fig. 8. Avatar View Direction of Movement

2.4 Presentation Manipulation

발표가 필요한 스페이스에서 발표 조작을 할 수 있다. 발표자 권한을 가진 계정의 아바타가 위치로 이동하면 발표 조작을 시작할 수 있는 UI 버튼이 생성된다. 발표자 위치에서 벗어나면 발표를 시작할 수 있는 버튼이 다시 사라진다. 발표자 위치는 하나의 맵에 하나만 존재한다. 발표 권한이 있는 계정은 권한이 없는 계정에게 발표 권한을 부여하거나 회수 할 수 있다.

2명 이상의 권한 사용자가 발표자 위치에 있는 경우, 둘다 시작 UI 버튼을 볼 수 있다. 먼저 발표 시작 버튼을 누른 사용자만 발표를 진행할 수 있다. 발표자는 자료를 업로드하고 세 종류의 발표 자료 업로드 파일(이미지, 영상), 유튜브 영상, 화면공유 중 하나를 선택할 수 있다. 발표 진행 중에 원활한 발표 환경을 위해 기능을 제한할 수 있다. 발표를 시작하면 발표자는 해당 위치에서 이동을 할 수 없는 상태가 된다. 발표를 시작하면 발표자와 사회자를 제외한 모든 사용자의 마이크가 꺼진 상태가 된다. 발표 중에 공유 중인 자료는 언제든 변경할 수 있다. 발표 상태에서 항상 ‘질문 상태’가 되어 언제든 질문자를 신청 받을 수 있다. 질문을 신청한 사용자 중에 한 명을 선택하면 해당 사용자는 마이크를 사용할 수 있게 된다. 질문을 받는 중에도 발표자와 사회자는 마이크를 사용할 수 있다. 발표 조작에서 중요한 기능 중에 하나가 발표 자료를 화면으로 공유하는 것이라 할 수 있다. Fig. 9는 화면 공유 시작과 종료 절차를 나타낸 것이다. 발표자가 웹서버에 GetScreenShare API를 요청하고 응답을 받는다. 화면 공유될 URL 정보를 포톤 서버와 송신한다. 발표자는 화면 쉐어 서버에게 화면 공유가 시작되었음을 알리고 웹서버, 포톤서버, 다른 사용자는 화면 공유를 시작하게 된다. 발표가 완료되어 발표자가 브라우저를 종료하거나 화면 공유를 종료하게 되면 발표자는 화면 쉐어 서버, 웹서버, 포톤서버, 다른 사용자에게 화면 공유가 종료되었음을 알려준다.

CPTSCQ_2023_v28n2_77_f0009.png 이미지

Fig. 9. Screen Share Start & End

2.5 Lectures Listening

사용자가 수업 듣기 기능을 수행하면 입장한 강의실 공간에서 자료를 다운로드 받을 수 있고 접속 중인 모든 사용자가 권한에 제한없이 전체화면 기능을 사용할 수 있으며 화면 공유는 강의실과 컨퍼런스 홀에서만 사용할 수 있다.

전체 화면 중에는 아바타 조작을 할 수 없고 화면에 ‘종료’ 버튼만 출력된다. Fig. 10은 강의실 공간을 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0010.png 이미지

Fig. 10. Lecture Room Space

수업 듣기 중에 카메라의 시점을 고정 카메라 뷰에서 아바타 카메라 뷰 시점으로 전환할 수 있다. 발표자가 질문 시작을 하면 모든 사용자에게 질문자 UI가 팝업되고 문자 채팅을 통해 모든 사용자는 질문을 할 수 있고 질문자로 선정된 사용자는 음성으로 질문을 할 수 있다.

2.6 Screen Recording

화면 녹화은 사용자가 보고 있는 화면을 녹화할 수 있는 기능이다. 내부 카메라가 아닌 화면을 녹화하는 방식을 사용하기에 카메라 전환 등의 화면도 녹화된다. 녹화가 된 파일명은 날짜와 시간을 사용한다(YEAR-MM-DD-hh-mm-ss). 개인별 기능이기에 녹화 영상은 공유되지 않는다. 저장된 파일은 스페이스 목록 확인 화면에서 ‘저장위치 열기’ 버튼을 누르면 폴더를 열어 확인할 수 있다.

2.7 Space Exit

스페이스에 입장한 상태에서 [ESC] 키를 클릭하면 메뉴 팝업이 출력된다. 강제 클라이언트 종료나 서버의 접속이 끊어지는 경우에도 자동으로 퇴장하게 된다. 퇴장한 계정은 스페이스 선택 화면인 메인 화면으로 돌아간다. 퇴장한 계정의 아바타는 퇴장하는 것과 동시에 스페이스에서 사라진다.

3. Deployment and Result

메타버스 기반 교육용 플랫폼은 현재 DMU 대학교에 설치되어 시범 운용 중에 있으며 안정화 작업 및 추가 기능을 검토하고 있다. PC에서 설치 파일을 실행하여 유니티 실행 파일이 설치한다. 실행 파일 DUMLauncher를 실행시키면 로그인 화면이 팝업되고 로그인 후 아바타 생성 후 메인 화면에서 원하는 스페이스로 입장할 수 있다.

3.1 Avatar Creation Result

사용자가 등록하고 플랫폼을 사용하기 위해서는 회원가입을 하고 아바타 생성이 되어야 한다. 1.3절의 Fig. 2는 메타버스 웹 사이트에 로그인하고 아바타를 생성한 화면을 나타낸 것이다.

3.2 Space Creation & Entrance Result

매니저가 컨퍼런스 홀 스페이스를 개설하고 4명의 참가자가 참여하여 Test1이 발표자가 되어 발표를 시작하도록 하였다. 발표 중에 참가자 전원은 음성 소거 상태가 되고 발표자는 발표 자료를 업로드 UI를 통해 업로드할 수 있고 참가자는 다운로드 UI를 통해 다운로드할 수 있다.

Fig. 11은 컨퍼런스 스페이스에 발표자와 참여자 4명이 참여하고 발표를 시작한 화면을 나타낸 것이고, Fig. 12는 행정실의 모습을 화면으로 나타낸 것이다.

CPTSCQ_2023_v28n2_77_f0011.png 이미지

Fig. 11. Conference Hall

CPTSCQ_2023_v28n2_77_f0012.png 이미지

Fig. 12. Administrative Office

3.3 Test Results

전산 실습실 학생용 PC 32대, 강사용 PC 1대, 교수 연구실 PC 2대, 학부 사무실용 PC 3대, 외부 원격지 산학협력업체의 PC 2대 총 40대 PC를 활용하여 교육용 플랫폼을 테스트하였다. 테스트 시나리오는 다음과 같다.

1단계: 강의실에 40명 입실, 강의 진행, 문자 채팅, 음성 채팅, 자료 업로드/다운로드, 발표 시작, 화면 공유, 화면 녹화 기능 확인

2단계: 강의실에서 10명이 미팅룸으로 이동, 음성 채팅, 문자 채팅 기능 확인

3단계: 미팅룸에 있는 5명 강의실로 복귀

4단계: 강의실에서 15명이 컨퍼런스룸으로 이동, 문자 채팅, 음성채팅, 자료 업로드/다운로드, 발표 시작, 화면 공유 기능 확인

5단계: 컨퍼런스 룸에서 5명이 학습실(커뮤니티)로 이동, 문자채팅, 음성채팅 기능 확인

6단계: 강의실에서 2명, 미팅룸에서 1명, 컨퍼런스 룸에서 1명, 학습실에서 1명 총 5명이 행정실로 이동, 문자채팅, 음성채팅 기능 확인

7단계: 40명 모두 컨퍼런스 룸으로 이동

테스트 시나리오는 3시간 동안 진행하였고 모든 공간에서 각각의 기능들이 잘 동작하고 몇 가지 이슈사항들이 있음을 확인하였다. 음성 채팅과 발표 진행 시 목소리가 끊기는 현상과 노이즈로 인해 음성을 알아들을 수 없는 상태가 발생하였다. 이는 웹캠 마이크를 사용해서 나타난 현상으로 전용 마이크와 헤드폰 전용 마이크를 사용하여 해소할 수 있었다. 아바타가 간헐적으로 해당 공간에서 갑자기 사라지는 현상이 발생했는데, 이는 무선 와이파이 사용에 의한 네트워크 불안으로 발생한 것으로 파악했는데 이를 보완하기 위해 해당 아바타가 비정상적으로 빠져 나올 때 접속 중인 룸에 즉시 재접속할 수 있는 기능이 추가되어야 한다. 2단계에서 강의실에서 10명이 동시에 미팅룸으로 이동할 때 1~2명이 포털로 입장이 되지 않는 경우가 발생했는데 이에 대한 안정화 작업도 필요하다. 대학의 전공 과목 40명을 기준으로 이 테스트를 진행하였고 약간의 이슈 사항들이 있었지만, 메타버스 교육용 플랫폼을 적용하여 수업을 진행하는 것이 가능하다고 판단할 수 있었다.

3.4 Comparison of Metaverse Platforms

아바타를 통해 현실 세계의 경제적, 사회적 활용을 유사하게 유지하는 국내외의 주요한 메타버스들이 있다. [18]에서는 주요 메타버스 플랫폼을 비교 자료를 확인해 볼 수 있다. 비교 분석한 항목은 특징, 스펙, 주요 기능, 활용 분야 등이다. 이를 기반으로 국내외적으로 많이 알려진 국내 2개 회사와 해외 2개 회사를 선정하여 기능 항목들을 본 논문에서 제안한 메타버스와 비교해 보았다.

본 논문에서 개발한 메타버스(DMU Metaverse)가 다른 플랫폼보다 하나의 공간에서 수용할 수 있는 최대 사용자 수가 게더타운의 프리미엄 사용자를 제외하고 가장 높은 것으로 확인할 수 있다. PC 지원은 Z와 DMU에서 가능함을 알 수 있고 다른 사용들의 음성을 제어할 수 있는 기능은 I와 DMU 에서만 지원 가능하다. 모바일과 웹에서 지원되지 않는 사항에 대해서는 추후 추가적으로 연구 개발해야 할 사항이다. DMU 에서만 지원할 수 있는 기능으로 특정 아바타를 지원할 수 있다는 것이다. 이 기능은 특정 인물과 닮은 아바타를 서비스 공급 기업에서 제작하여 즉시 플랫폼에 적용할 수 있는 기능을 의미한다. Table 5는 메타버스 간 기능 및 특징들을 비교한 것이다.

Table 5. Comparison of Metaverse Platforms

CPTSCQ_2023_v28n2_77_t0005.png 이미지

3.5 Features and Benefits

3.4절에서 주요 메타버스 플랫폼과의 비교를 통해 알 수 있듯이 DMU 메타버스가 스펙과 기능에 있어서 우수하다는 것을 알 수 있다. 우선, 기존의 메타버스 플랫폼들은 일반적으로 많은 사람들이 보편적이며 광범위한 용도로 사용할 수 있도록 구현되었으나 DMU 메타버스는 교육용으로 대학 교육 현장을 모델링하여 최적화된 플랫폼으로 개발되었다는 것이다.

스페이스 공간을 교육 현장에서 필요한 기능들을 수용할 수 있는 공간으로 생성할 수 있고 이 공간에서 강의와 세미나, 학교 행정을 지원할 수 있다. 강의와 세미나 진행 시 화면을 공유하고 녹화할 수 있도록 기능을 제공하고 자료를 자유롭게 업로드와 다운로드할 수 있도록 하고 자료 공유시 업로드 파일, 유튜브 동영상, 화면 내용을 공유할 수 있도록 하여 FL/BL 수업 방식을 효과적으로 지원할 수 있다.

컨퍼런스 진행 시, 행사의 관계자, VIP 등을 닮은 3D 아바타를 제작하고 이를 적용하여 다른 메타버스에서는 지원할 수 없는 기능으로 현실감 있고 생동감 있는 컨퍼런스가 진행할 수 있다.

IV. Conclusions

최근 온라인 가상공간과 현실의 융합공간으로서 메타버스가 다양한 분야에서 활용되고 있다. ASF(Acceleration Studies Foundation)에서 메타버스를 증강현실(AR), 라이프로깅, 거울세계, 가상세계의 4가지로 구분하였고 이러한 메타버스는 독립적으로 발전해 오다가 최근에는 융⋅복합되는 형태로 진화되고 있다[3]. 본 논문에서 대학 내 가상세계를 모델링하고 최신 실감 3D 기술 및 XR 인터랙티브 기술을 접목한 메타버스 기반 교육용 플랫폼을 개발하여 대학에 적용하였다. 본 논문에서 제안한 플랫폼이 교육 과정에 적합하고 최적화된 플랫폼이 되도록 기존 메타버스 플랫폼들을 서로 비교하고 분석하여 개발 진행하였다.

교육용 플랫폼에 다양한 사용자 기능들이 제공되었는데 카메라 뷰, 아바타 조작, 발표 조작, 수업 듣기, 화면 녹화, 스페이스 입장/퇴장 기능들이 제공되었고 교육용 스페이스 공간으로 커뮤니티, 행정실, 자료실, 컨퍼런스, 강의실, 회의실 등으로 다양한 공간을 개설할 수 있도록 구현하였다. 아바타 간 통신 수단으로 문자 채팅, 음성 채팅, 이모티콘, 아바타 모션 등을 제공하였다.

메타버스 내에서는 사용자의 역할을 하는 아바타 간 상호 작용이 매우 중요하게 될 것이다. 따라서 아바타간 개인정보보호, 사이버 폭력, 유해 콘텐츠, 저작권 침해 등 사용자 보호를 위한 세부적인 기능들이 필요할 것이다. 본 논문에서 개발된 메타버스가 여러 교육 분야에서 사용되어 효과적인 플랫폼으로 자리매김 하기를 기대한다.

향후 메타버스 내 사용자 보호를 위한 세부적인 기능에 대한 추가 개발 연구가 필요할 것이다. 현재 많은 대학에서 사용되고 있는 온라인 교육 플랫폼 학습관리시스템 LMS(Learning Management System)와의 연동도 진행되어야 할 것이다.

ACKNOWLEDGEMENT

This work was supported by DMU Research Grant.

References

  1. Jung-hwan Kook, "Metaverse Latest technology trends and market prospects," http://www.kisen21.org, 2021
  2. Sangkyun Kim, "METAVERSE," PlanBDesign, 2020.
  3. Jeong Hyun Yun, Ga Eun Kim, "The Outlook and Innovation Strategy for the Metaverse Virtual World Ecosystem," STEPI Insight, No. 284, pp.2-40, 2021.
  4. Hye Jin kim, "XR Technology Trends for Metaverse Implementation," www.codil.or.kr›filebank, 2021.
  5. Pericles 'asher' Rospigliosi, "Metaverse or Simulacra? Roblox, Minecraft, Meta and the turn to virtual reality for education, socialisation and work," https://doi.org/10.1080/10494820.2022.2022899, 2022
  6. Eun-Jee Song , "A Study on the Effects and Application Cases of Education Using Metaverse in the Non-Face-To-Face Era," J. Pract. Eng. Educ. 14(2), 361-366, 2022, https://doi.org/10.14702/JPEE.2022.361
  7. Sungkyun Lee, "Possibility of Education Ecosystem Growth in Metaverse-based Virtual Space," Spring Annual Conference of KSGIS, pp. 241-244, 2022
  8. Sang Jun Park, "A Study on the Methods of Metaverse Educaton in Future Society," Journal of Future Convergence Education, Vol. 2. No. 2, 61-81 November 2021
  9. Hyunjoo Ko, Jaecheon Jeon, and Inhwan Yoo, "Metaverse platform-based flipped learning framework development and application," Journal of The Korean Association of Information Education, Vol. 26, No. 2, pp. 129-140, April 2022, https://doi.org/10.14352/jkaie.2022.26.2.129
  10. Jungmyoung Son, Sihoon Lee, and Jeonghye Han, "The Effectiveness of Collaborative Learning in SW Education based on Metaverse Platform," Journal of The Korean Association of Information Education Vol. 26, No. 1, pp. 011-022, Feb. 2022, http://dx.doi.org/10.14352/jkaie.2022.26.1.11
  11. Tatiana Rincon and Shinchun Kang, "Inquiring Educational Games: A Framework for designing and Developing CS Games," The Journal of Korean Association of Computer Education, Vol.24, No.1, pp.81~87, 2021, https://doi.org/10.32431/kace.2021.24.1.009
  12. Suhee Jo, Sohee Park, and Gihwon Kwon, "Student-Friendly Scrum Framework for Undergraduate Education," Journal of KIIT, Vol. 20, No. 11, pp. 199-206, Nov. 2022, http://dx.doi.org/10.14801/jkiit.2022.20.11.199
  13. Hae-Chan Na, Yu-Jin Lee, Su Young Kim, and Yoon Sang Kim, "A Study on Metaverse Education Platform: cases analysis and suggestion," Journal of Digital Contents Society, Vol. 23, No. 5, pp. 827-836, May. 2022, http://dx.doi.org/10.9728/dcs.2022.23.5.827
  14. Seung Ho Lee, "Utilizing Metaverse for Bidirectional Coding Education," Journal of the Korea Institute of Information and Communication Engineering, Vol. 26, No. 2, pp. 288~293, Feb. 2022, http://doi.org/10.6109/jkiice.2022.26.2.288
  15. Kyong-hyon Pyo, "Exploring University Students' Perceptions of Metaverse-Based Classroom in Foreign Language Pedagogy Course," Journal of the Korea Association of Foreign Languages Education, Vol. 29, No. 3, pp. 163-186, 2022, http://dx.doi.org/10.15334/FLE.2022.29.3.163
  16. Jinwoong Cho and Myung Go, "A study on the metaverse platform design for the use of arts and sports education contents in a non-face-to-face environment," Summer Annual Conference of IEIE, pp.1821~1823, 2021
  17. Jin-Ho Chung and Dongsik Jo, "Automatic Adaptation Based Metaverse Virtual Human Interaction," KIPS Trans. Softw. and Data Eng., Vol.11, No.2, pp.101~106, Feb. 2022, https://doi.org/10.3745/KTSDE.2022.11.2.101
  18. Tekville, "Metaverse Platform for Class Utilization, Full-scale Comparison," https://www.teacherville.co.kr/efuefu/contents/17462.edu, 2022