A Study on the VR-based Drone Immersive Content Development and Experience Effect

VR기반 드론 실감형 콘텐츠 개발 및 체험효과에 관한 연구

Abstract

Practice through virtual reality can increase the educational effect regardless of time and place, and it is an educational method that is being pursued even in the situation of COVID-19. On the other hand, for VR-based education, related technology development and content development must be made, and experiential methods (flipped learning, blended learning, hybrid learning) must be provided in the educational process. The development scenario was developed with the contents of drone qualification test (ultra-light unmanned multicopter) and drone practice and the possibility of non-face-to-face self-directed learning (flipped learning, blended learning, hybrid learning). It is expected that the quality of vocational education related to drones and the effect of high education will be improved through the contents, and it is thought that it will be possible to suggest a direction for the development of various vocational education contents in non-face-to-face education.

1. 서론

엔터테이먼트에서의 주로 쓰이던 가상현실(VR:Virtual Realit)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어, 그것을 사용하는 사람이 마치 실제와 같이 상호작용을 하는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 4 차 산업혁명을 이끌 핵심 기술로 주목받고 있으 며, 일상적으로 경험하기 힘든 환경을 직접 체험하지 않고서도 실제 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 다양한 분야에서 활용 되고 있다.[1] 또한 관련 프로그램(시나리오)의 체험을 통해 사람들의 행동과 인식의 다양한 변화와 효과를 보이며 게임, 교육, 의료, 산업 등 응용분야에서 아주 다양하게 사용된다. 인간 참여자와 실제-가상 작업공간이 하드웨어로 상호 연결되어 현실감을 준다는 점에서 시사하는 영향력은 시간이 흐를수록 확대 되고 있다.

최근 COVID-19로 인해 비대면 교육이 장기화됨에 따라 대학 등을 비롯한 교육기관 및 공공기관에서 원격교육이 확대되고 있다. 현실적으로 전체의 교육과정 중 실습과목이 주를 이루는 전문대 학생들은 많은 시간을 실습을 통해 기능 및 숙련도, 현장감을 익히는데 그 시간이 비대면 교육으로 인해 점점 축소되고 있으며, 어려움을 호소하고 있다. 본 논문에서는 VR기반의 드론실감형 콘텐츠 개발하고 가상체험을 통한 효과분석을 통해 COVID-19로 어려워진 직업교육의 해결책을 도모해 보고자 한다.

2. VR의 기술 동향 및 수준

가상적인 환경에서 일어나는 일을 참여자가 주로 시각적으로 느끼도록 하며, 보조적으로 청각, 촉각 등을 사용하여 현실감을 더욱 줄 수 있다.

현재 가상현실을 가능하게 해주는 헤드셋 기기들은 많이 개발되어 있다. 오큘러스 VR, HTC VIVE, 삼성 기어 VR, 소니 모피어스, 구글 카드보드 등 기술이 급속도로 발전함에 따라 성능, 가격에서 대중적으로 많이 보급되고 있는 추세이다.

시각 디스플레이 기기는 초기 Personal Display 형태로 시작하여 머리에 완전히 뒤집어쓰는 Head Mount Display(HMD)의 형태로 발전하고 최근에는 180도 시야각이 확보되는 완전 몰입형 Display 형태로 발전하고 있다.

HMD의 발전은 해상도 부분에서 특히 두드러지는데, 720P의 저해상도에서 현재는 2160×1200의 고해상도의 기기가 출시되고 있다. 대표적인PC용 모델로는 오큘러스 리프트, HTC VIVE가 있다. 현재는 모바일 기반의 HMD 장비가 출시되고 있으며, 선이 없는 것으로 인한 편의성이 극대화되고 가격의 저렴함으로 인한 경쟁력이 생기고 있다.

VR 하드웨어 기술의 발전은 VR과 파생되어 AR 및 센서, 컨트롤러 등 다양하게 이루어지고있으며, 향후 VR 사용자에게 실감나는 콘텐츠를 제공할 수 있다고 본다.

3. VR콘텐츠의 개발범위 및 절차

콘텐츠 개발에 사용된 기기는 시각 디스플레이 중심의 기기인 모바일 전용 Oculus Quest를 사용하였으며, 트래킹은 기본적으로 제공되는 인사이드 트래킹으로 내장 센서가 움직임을 VR에 반영하고 룸스케일 트래킹을 제공하는 방식이다.

개발에 사용되는 Oculus Quest의 HMD 사양과 Controller 사양은 Table 1과 Table 2와 같다.

Fig. 1은 Controller의 구조 및 명칭을 나타내고 있으며, 드론 콘텐츠 개발을 위한 Controller의 key mapping은 Table 3과 같이 설정하였다.

Table 1. HMD specifications

Table 2. Controller specifications

Table 3. Controller Key mapping

Fig. 1 Oculus quest controller

체험자로 하여금 실제와 유사한 환경을 경험할 수 있도록 콘텐츠를 개발하였으며, VR을 이용한 드론 교육과 실무에서 드론을 사용하는 방법 예시 그리고 게임적인 요소가 추가된 콘텐츠를 직접 체험할 수 있는 콘텐츠를 개발하하였으며, 개발 절차는 Fig. 2와 같으며, 각 단계별 수행 세부내용은 Table 4와 같다.

Table 4. Details of each process

Fig. 2 VR production process

4. VR콘텐츠 시나리오

콘텐츠 시나리오는 드론자격시험(초경량무인멀티콥터) 및 드론 실무를 기반하여 구성하였으며, 총 3가지의 대분류 및 7가지의 소분류로 Table 5와 같이 구분하여 구성하였다.[4]

Fig. 3은 드론 실감형 콘텐츠의 메인화면이며, 드론의 구조와 조종기 사용법, 드론 기초비행, 드론 실무의 콘텐츠 구성을 보여주고 있으며, 체험자는 트리거 버튼을 사용하여 선택 후 체험할 수 있다.

Table 5. Scenario configuration

Fig. 3 Drone realistic content main screen

Fig. 4와 Fig. 5는 드론의 구조 및 드론의 기본조작 단계를 보여주고 있으며, 드론 부속의 명칭과 용도, 컨트롤러의 조작에 따른 드론의 방향조절 및 전환을 체험할 수 있다.

Fig. 4 Drone structure

Fig. 5 Basic operation of drones

Fig. 6∼8은 드론 기초 비행의 단계 중 입문단계를 중 일부를 보여주고 있으며, 입문단계에서는 텍스트와 나레이션의 도움을 제공받으며 비행 전 점검, 이륙 전 점검, 이륙비행, 공중정지 비행(호 버링), 직진 및 후진 수평비행, 삼각 비행, 원주비행, 비상조작, 정상 접근 및 착륙, 측풍접근 및 착 륙, 비행 후 점검과정을 통해 실제 드론 자격시험의 모든 과정을 체험할 수 있다.

Fig. 6 Drone basic flight text and narration provided

Fig. 7 Pre-flight inspection of drone basic flight

Fig. 8 Drone basic flight emergency operation

숙련단계는 입문단계와 시나리오는 동일하지만, 드론자격시험과 동일한 환경을 제공하기 위해 텍스트와 나레이션을 제공하지 않으며, 단계를 완료하면 체험자가 성공한 부분과 실패한 부분을 Fig. 9와 같이 제공한다.

Fig. 9 After completion of the proficiency stage, test results are provided

집중단계는 드론비행에서 가장 난이도가 높아어려운 삼각비행과 원주비행을 집중적으로 연습할수 있도록 Fig. 10과 같이 구성하였다.

Fig. 10 Concentration stage (triangle flight, circumferential flight)

드론실무에서는 농약살포 및 드론 레이싱의 시나리오로 Fig. 11과 같으며, 농약살포의 콘텐츠 Fig. 12에서는 드론이 농약을 살포하고, 농경지의색이 2단계로 변한 후 Fig. 13처럼 처음 자리로 돌아와야 미션이 완료되며, Fig. 14의 드론 레이싱의 경우 현실 드론 레이싱 경기장과 동일하게 환경을 구축하여, Fig. 15와 같이 4인까지 멀티플레이가 가능하도록 구성하였다. 레이싱의 경우 다소 몰입도가 높으며, 개인적으로 약간의 차이는 있지만, 적응이 될 때까지 약간의 어지러움이 발생할 수 있다.

Fig. 11 Drone practice (pesticide spraying, drone racing)

Fig. 12 Drone practice (spraying pesticides)

Fig. 13 Drone practice (complete spraying pesticides)

Fig. 14 Drone practice (drone racing)

Fig. 15 Drone practice (drone racing completed)

5. 3D모델링 기법

드론 실감형 콘텐츠에 들어가는 모델링은 모바일 기반의 VR 플랫폼에 최적화하기위해 Fig. 16 과 같은 기법으로 3D 모델링 Polygon구축(로우 폴리곤에서 미들 폴리곤 중간 정도)하여 제작하였으며, 이를 통해 모바일 기기의 성능 향상할 수 있도록 적용하였다.

Fig. 16 Modeling texturing techniques

Texture는 모바일 콘텐츠임을 감안하여 Diffuse Map으로 작업하였으며, 재질은 Diffuse Map및 AO(Ambient Occlusino)Map과 실사 이미지를 이용하여 사실적인 재질을 Fig. 17과 같은 기법으로 표현하였다.

Fig. 17 Texture expression

6. 레벨 디자인(Unity) 및 사운드 작업

콘텐츠 제작을 위한 자료를 바탕으로 VR 콘텐츠와 3D 콘텐츠로 나누어 메인룸, 연습용 레벨 2 종, 실무용 레벨 2종 총 5개의 레벨을 Fig. 18처럼 제작하였으며, Vegas 프로그램을 이용하여 사운드 및 믹싱 제작을 통해 사운드 가공 작업을 Fig. 19와 같이 실시하고, Unity 엔진에서 사운드의 특성과 범위 등 공간감을 줄수 있게 Fig. 20과 같이 구현하였다.[3]

Fig. 18 Level Design (Unity)

Fig. 19 Working with Sound (Vegas)

Fig. 20 Sound placement

7. VR콘텐츠 체험환경

사용자가 플레이 내 공간에서 자유롭게 이동하며, 체험을 할 수 있도록 룸 스케일 모드로 한정하였다. 체험공간은 약 3×3m 이상의 체험공간이 6개소 확보된 VR 체험실을 Fig. 21처럼 활용하였으며, 최적화 HMD 헤드셋과 컨트롤러를 사용하여 Fig. 22처럼 사회적 거리두리가 가능한 공간에서 체험을 실시하였다.

Fig. 21 VR experience space

Fig. 22 VR experience

8. VR 콘텐츠 운영 및 사용자 데이터 수집

자격취득과 연계된 드론 실감형 VR 개발콘텐츠를 기준으로 실습교과와 연계하여 수업에 적용하였으며, 가이드 동영상(학습방법)을 언제든 시청할수 있도록 플랫폼에 Fig. 23과 같이 탑재하고, Fig. 24처럼 제공하여 자기주도적인 학습(플립드러닝, 블렌디드러닝)을 할 수 있도록 환경을 조성하였다.

Fig. 23 Built-in guided video platform

Fig. 24 Guide video provided

콘텐츠의 사용횟수, 연습시간 등 체험자 데이터수집을 위하여 개인정보 수집이용 동의서를 콘텐츠 실행 시 Fig. 25처럼 수집하며, 비동의 시에는 콘텐츠의 이용이 제한되도록 구성하였다.

Fig. 25 User data collection

9. VR콘텐츠 효과분석

개발한 콘텐츠의 효과를 파악하기 위해 인하공업전문대학 VR체험실 이용 체험자 중 1,660명을 대상으로 체험자 만족도 조사를 실시하였으며, 학생들은 실제 체험 전ㆍ후 드론실감형 콘텐츠를 체험함으로써 COVID-19의 환경 속에서도 교육과정에 쉽게 몰입하고, VR기반의 직업교육에서의 내용을 이해하였다. 이와 같은 내용을 정량적으로 파악하기 위해 Table 6과 같이 설문조사를 실시하였다.

Table 6. Satisfaction survey questions

VR기반의 드론실감형 콘텐츠 교육에 대한 6가지 문항은 시대부합성, 구성의 적절성, 직무능력 강화성, 교육의 질향상, 시설 및 환경의 적절성의항목의 만족도를 파악할 수 있도록 구성하였으며, 결과는 Table 7과 같다.

Table 7. Survey results

만족도 조사결과를 리커스 척도로 환산한 결과 92.6점의 높은 만족도 결과를 나타냈으며, 만족도결과를 통해 VR기반의 교육이 직업교육에 도움이 된다는 것을 파악할 수 있었다. 하지만 VR의 특성상 구축환경에 따라 어지러움이 발생할 수 있으며, 체험 시 HMD의 무게감으로 인해 안면에 불편감(통증 등)이 발생할 수 있어 적절한 교육(체험)시간을 고려한 개발이 필요함을 알 수 있었다.

10. 결론

이 연구에서는 드론 자격 시험과 드론실무의 직업교육 분야를 통해 자격취득 및 직업교육과 연관된 VR콘텐츠 개발하고 실제 교과에 적용함으로써 비대면 환경에서의 자기주도 학습(플립드 러닝, 블렌디드 러닝) 및 하이브리드 학습의 가능성을 검토하였다.

직업교육 및 자격취득의 경우 자기주도적 사전 학습, 반복학습 및 집중학습이 필요하며, 이를 위해 가상체험을 통해 실제와 유사한 학습을 할 수 있는 지속적인 프로그램이 필요하며, 학습자들의 용이한 참여를 위해 VR은 물론, 모바일에서도 참여할 수 있는 모바일 버전의 동시 개발도 함께 진행되어야 할 것이다.

위험요소를 수반한 실습의 경우, 실제 실습에 참여하기 전, 가상체험 필수이수제(체험시간과 횟수)를 도입하여, 숙련도를 높여 안전사고를 예방할 수 있는 필요성이 재기된다.

특히, 비대면 실습교육에서의 콘텐츠-플랫폼-네트워크-디바이스의 교육환경에 기반한 필요적 요소가 다분히 존재함을 확인하였다.[2]

본 콘텐츠를 통해 드론과 관련된 직업교육의 질적 향상과 높은 교육의 효과를 기대하며, 더욱 비대면 교육에서의 다양한 직업교육 콘텐츠 개발에 대한 방향을 제시할 수 있을 것으로 사료된다.

후기

본 논문은 한국연구재단 혁신지원사업의 재원을 받아 수행된 결과임.