Implementation of Unity's Catastrophic Situation Driving Training Simulator for the Disabled

Abstract

장애인의 운전 교육 이수 과정은 어려움과 불편한 부분들이 많다. 운전 교육 내용 부분에서도 실제 운전 주행 중 예측할 수 없는 다양한 돌발상황들이 발생한다. 현재 시행하고 있는 운전 교육 과정에서도 돌발상황에 대한 교육들이 이루어지고 있으나, 다양한 돌발상황에 대처하는 교육은 미비하다. 이에 본 논문에서는 유니티 기반의 장애인 운전 교육 시뮬레이터를 제안한다. 유니티를 이용하여 다양한 돌발상황에 대한 시나리오를 구성하여 시뮬레이터를 제작한다. 피실험자들을 통하여 모의주행을 실시하여, 평가항목에 따른 기존의 돌발상황에 대한 대처 점수를 평가한다. 기존의 운전 교육 시뮬레이터에 비해 제안 시스템의 돌발상황에 대한 대처 능력의 평가점수가 높게 나온 것으로 확인되었다. 제안 시스템을 활용하면 돌발상황에 대한 대처 능력 향상과 실제감 높은 운전 체험을 통하여 삶의 질을 높이는 것을 기대할 수 있다.

There are many difficulties and inconveniences in the process of completing driving education for the disabled. Even in the content of driving education, various unpredictable unexpected situations occur during actual driving. Although education on emergency situations is being conducted in the current driving education course, education to cope with various unexpected situations is insufficient. Therefore, in this paper, we propose a Unity-based driving education simulator for the disabled. Create a simulator by composing scenarios for various unexpected situations using Unity. A simulation is conducted through the test subjects, and the coping score for the existing unexpected situation is evaluated according to the evaluation items. It was confirmed that the evaluation score of the ability to cope with unexpected situations of the proposed system was higher than that of the existing driving education simulator. If the proposed system is used, it can be expected to improve the ability to cope with unexpected situations and improve the quality of life through realistic driving experience.

I. Introduction

오늘날 장애인들을 대상으로 하는 교육들은 여러 분야에 걸쳐 많은 발전을 이루고 있다. 그중 인간의 삶에 있어 운전에 대한 부분은 필수적인 요소이다[1-3]. 장애가 있는 사람들은 장애를 가지지 않은 사람보다 활동 범위가 작다. 인간의 이동성 확보는 생활환경에 안정성을 올려주는 사회적 제반 장치의 역할을 한다[4]. 이동에 제약되는 부분이 생기면 취업, 정보획득, 교육, 문화생활 등에 어려운 부분이 발생하며[5], 노동권, 삶의 기본권, 경제적 자립 등의 생존권과 삶의 질을 감소시킨다[6]. 이처럼 이동에 직접적인 운전은 중요한 부분이다. 운전을 통해서 활동 범위를 넓히면 삶의 질을 높이는데 그 효과를 기대할 수 있다. 중증장애인용 운전 시뮬레이터 개발 및 적용[7], 운전 보조 장치, 특수차량 개발 및 적용[8-11]등의 장애인들의 운전 교육을 위한 다양한 선행연구가 이루어지고 있으나, 실질적인 운전 교육에는 많은 어려움이 있다. 기존의 운전 시뮬레이터의 내용만으로는 장애가 있는 사람들은 장애를 가지지 않은 사람보다 활동 범위가 작다. 운전 중에 발생하는 돌발상황에 대한 대처 행동 요령에 대한 교육이 부족한 상황이다. 기존의 운전 교육을 통해 운전면허를 취득한 비장애인들도 운전 중에 발생하는 돌발적인 상황에 대한 대처에는 교육이 미비한 상태이다. 운전 중에 발생하는 사고는 대부분 돌발상황에서 많이 발생하기 때문에 이러한 돌발상황에 대한 훈련, 그리고 상황이 발생했을 때 대처해야 하는 행동 요령에 대한 숙지에 대한 교육이 필요하다. 비장애인, 장애인 구분 없이 돌발상황에 대한 대처 행동 요령은 중요하다. 이에 본 논문에서는 유니티를 이용하여 돌발상황에 대한 시나리오별 프로그램을 구성하고 3D 시뮬레이터로 구현한다. 구현된 프로그램과 기존의 운전 교육 시뮬레이터를 피실험자들을 통하여 두 그룹으로 나눈 뒤, 주행을 통하여 각각의 평가를 통해 효율성을 확인한다. 본 논문에서 구현하는 유니티를 활용한 돌발상황에 대한 운전 교육 시뮬레이터를 활용하면 보다 나은 장애인 운전 교육의 효율성 향상과 장애인들의 삶의 질 향상을 높이는데 그 기대를 할 수 있다. 유니티를 활용하여 시뮬레이터를 통한 운전 교육 프로그램을 운전 교육을 원하는 장애인들에게 제공하였을 때, 실질적인 교육의 효과가 있는지를 분석하였다. 이를 통하여 장애인 운전 교육에 활발한 시뮬레이터의 활용 방안을 모색하고자 한다. 유니티의 활용으로 인해 장애인들의 교육 환경과 교육 범위는 앞으로 많이 확장되고 발전될 것을 기대할 수 있다.

II. Preliminaries

1. Related works

1.1 Unity

유니티(Unity)는 2D, 3D 비디오 게임 및 3D 애니메이션, 건축디자인 시각화, 가상현실 등 다양한 반응형 콘텐츠 제작 개발 환경을 제공하는 통합 저작 도구이다[12]. 유니티의 특징은 다음과 같이 볼 수 있다. 25개 이상의 다양한 플랫폼에서의 실행이 가능하다. 이는 데스크톱, 모바일, AR(Augmented Reality), VR(Virtual Reality), TV 등 여러 플랫폼에서 적용 및 실행이 가능하기 때문에 다양한 콘텐츠 제작이 가능한 강점이 있다. 스크립트를 추가하여 다양한 기능을 구현할 수 있으며, 스크립트는 Java Script, C# 등 다양한 프로그래밍 언어로 개발할 수 있다. 접근성과 범용성을 바탕으로 다양한 분야에서 유니티의 활용범위는 확대되고 있다. 단순한 오락 및 게임뿐만 아니라 체험, 시뮬레이션, 교육 분야에서도 다양한 분야에서 활용되고 있다. 특히 교육 부분에서 활발한 연구들이 진행되고 있으며, 장애인들을 위한 교육 관련 연구들이 진행되고 있다[13-15]. 기능성 게임을 이용하여 직업학교의 학습장애 학생들을 대상으로 실제와 같은 상황들을 연출하고, 훈련 및 학습을 시킨 결과 고객 응대 및 의사소통 능력이 향상되는 결과를 보여준 연구[16] 및 교육의 효과를 확인할 수 있는 연구들이 활발하게 진행되고 있으며, 유니티 기술의 응용 및 활용을 통한 다양한 분야의 연구들을 기대할 수 있다.

1.2 Simulator

영상을 만들어내고 그 영상들을 연속적으로 바꿔 화면에 출력하여 사용자에게 제공함으로써, 움직이는 것처럼 사용자에게 보이게 하는 컴퓨터의 기능을 이용한 장치이다. 이를 실제 운전을 하는 것처럼 구현해 놓은 것이 주행 시뮬레이터이다. 주행시뮬레이터는 실제 운전을 통해 발생하는 사고 위험과 안전에 대한 부분을 확보해주며, 통제가 가능한 환경에서 실제 도로에서 다양하게 발생하는 교통 상황을 재현하여 원하는 운전 경험을 사용자에게 제공할 수 있다. 이는 비용과 안전 측면에서 매우 유용하며, 운전자 교육을 수행할 때, 운전에 대한 직접적인 경험을 안전하게 경험할 수 있도록 해준다는 측면에서 그 장점이 부각되고 있다[17]. 차량 주행시뮬레이터는 대부분 시나리오를 구성하기 위한 유연성을 제공하지만, 시스템, 모듈 부분에서 반복되거나 항상 비슷한 시나리오들이 구성되어 있다[18]. 이러한 부분을 보완하기 위해, 본 논문에서는 여러 가지 다양한 환경과 기존의 교육 시나리오에 다양한 돌발 상황에 대한 시나리오를 추가하여 내용을 구성하고, 시뮬레이터를 구현하였다. 고비용의 장비를 사용하는 다른 시뮬레이터에 비해 비용, 공간의 제약 부분에 자율성이 높으며 신뢰성, 고비용 그리고 고정되어있는 검증 시나리오의 단점 부분을 보완할 수 있다[19]. 시뮬레이터의 활용범위는 갈수록 확대되고 있으며, 다양한 분야에 응용 및 적용되고 있다.

III. The Proposed System

1. System Configuration

다음의 Fig. 1은 본 논문에서 제안하는 시스템의 전체적인 구성도를 나타낸 것이다.

Fig. 1. Proposed System Configuration

먼저, 시뮬레이터를 구성하는 컴퓨터 프로세싱 부분에서는 컨트롤러로부터 입력되는 동작을 인식하는 모션 부분과 저장된 시나리오 및 운전 시뮬레이터의 시나리오 내용, 시뮬레이터 동작 내용이 저장되는 데이터베이스로 구성되어 있다. 모션 인식 부분에서는 사용자의 컨트롤러를 통해 입력되는 모션 및 주행 기능 부분을 인식하고, 시뮬레이터 주행 중 소리, 지도, 돌발상황과 같은 데이터들은 데이터베이스를 통하여 내용들을 출력하여 사용자에게 제공한다. 운전 중 소리에 대한 부분은 매우 중요한 요소이며, 실제감 있는 몰입감을 높이기 위하여 자동차의 시동음 및 배기음을 기본 베이스로 출력하고, 주변 상황에 맞는 다양한 음원들을 추가하여 구성하였다. 시뮬레이터를 사용하는 사용자들의 시각, 청각과 같은 정보들을 컨트롤러 및 입출력 장치와 상호작용을 하도록 구성되어 있다. 본 논문에서 제안 시스템에서 사용되는 하드웨어 구성은 다음과 같다. 운전에 관련된 동작에 관련된 모든 조작 부분들은 모바일 핸드폰과 PC 마우스를 통하여 시뮬레이터 조작이 가능하다. 모바일 핸드폰의 기본적으로 제공되는 기능인 모션센서를 활용하여 시뮬레이터의 컨트롤러로 결정하였다. 실제감을 높이고 사용자에게 효과적으로 알림을 전달하기 위해 시뮬레이터 주행 중 지형물과 충돌이 있을 때, 컨트롤러에 진동이 울리도록 설정하였다. 출력장치로는 PC 모니터 또는 TV로 연동 및 사용할 수 있도록 구성하였으며 본 논문에서 제안하는 시뮬레이터는 장소에 구애받지 않고, 자유로운 체험 및 휴대 및 편리성에 초점을 두고 구성하였다. 본 논문에서 제안하는 시스템의 하드웨어 사양은 하드웨어 부분과 소프트웨어 부분으로 크게 두 가지로 볼 수 있다. 자세한 내용은 다음과 같다. 하드웨어 부분으로는 시뮬레이터의 동작에 대한 조작을 위한 컨트롤러 부분으로 운영체제를 안드로이드를 기반으로 한 모바일 기기를 사용하였다. 본 논문에서 사용한 모델은 Samsung Galaxy S20+ 5G 모델을 사용하였다. 소프트웨어 부분에서는 운영체제 환경으로는 Window 10 Home 64bit i7-7700HQ를 사용하였다. 시뮬레이터 구현을 위한 개발툴은 유니티 2021.2.18.f1 버전을 사용하였다. 컨트롤러인 모바일 기기와 시뮬레이터의 연동을 위해 유니티 개발환경에서 안드로이드 빌드를 통하여 기기 연동을 구현하였고, 시뮬레이터는 PC에서 구동하기 위해 윈도우 버전으로 빌드를 하여 시뮬레이터를 구현하였다.

2. Scenario of Catastrophic Situation

다음의 Table. 1은 제안 시스템에서 구현한 시뮬레이터의 돌발상황 시나리오 중 일부분을 표로 나타낸 것이다.

Table 1. Scenario of Catastrophic Situation

본 논문에서 구현하는 시뮬레이터는 유니티에서 제공하는 오픈소스를 적극적으로 활용하였으며, 자동차 내부 구조 및 주변 환경 행인 등, 실제 운전 중에 접할 수 있는 다양한 조건 및 배경에 대해 실제감을 높이기 위해 콘텐츠들을 추가하였다. 유니티에서 활발하게 운영되는 Asset Store의 자료들을 본 논문에서 제안하고자 하는 시뮬레이터의 내용들을 충분히 표현하기 위해 시나리오에서 표현하기에 알맞은 아이템들을 적극적으로 활용하였다. 기존의 운전 시뮬레이터의 시나리오를 기반으로 기본적인 주차, 기본적인 조작 기능 등을 기반으로 내용을 구성하였으며, 이외에도 돌발적인 상황 및 흔하게 발생하지 않는 상황들을 추가하여 구성하였다. 주행 중 차량 내부에서 들리는 네비게이션 소리를 추가하여 운전자가 실제로 운전하는 느낌을 높여주었다. 도로에서 도보 중인 행인들과 각종 다양한 움직임을 동작하는 시민들의 숫자를 조절하여 실제 도로 및 거리의 모습을 구현하였다. 주행 중 차도로 갑자기 출현하는 무단횡단 행인을 추가하였다. 이 밖에도 교통체증, 날씨 조절, 급발진 및 시동 꺼짐 현상 등 실제 운전 중에 경험할 수 있는 다양한 상황들로 시나리오를 구성하고 이를 스크립트를 통하여 내용을 추가하였다. 기본적인 운전 정보 및 주행 코스에 돌발상황 및 안내 메시지 등을 출력되도록 구성하였다. 다음의 Fig. 2는 돌발상황이 발생할 때 시나리오에 있는 돌발상황 중 임의의 돌발상황을 선택하여 화면에 출력하는 알고리즘의 한 부분을 나타낸 것이다.

Fig. 2. Algorithms for Catastrophic situation

주행 중 돌발상황을 발생시키기 위해 각각의 돌발상황에 태그를 지정하고, 이 태그 정보들은 각각의 지도 정보에 포함된다. 각 지도는 상위 단계의 지역 정보에 포함된다. 해당 지역에 포함되어있는 돌발상황 태그 정보들을 먼저 조회하고, 태그 정보 범위 안의 숫자들로 무작위로 생성되는 임의의 숫자를 구하는 함수 기능을 사용하여 무작위로 하나의 돌발상황을 선택한다. 선택된 돌발상황은 시뮬레이터를 연결한 출력장치를 통하여 화면상에 출력되어 사용자에게 제공한다. 불규칙하게 무작위로 출력되는 돌발 상황들을 연습하여 운전에 대한 다양한 경험 및 상황에 맞는 대처법을 인지 및 연습할 수 있도록 구성하였다.

IV. Experiments

1. General Characteristics of Participants

운전면허를 취득한 지 1년 이상이 지난 운전 능력이 검증된 그룹 5명, 운전면허를 소지하고 있지 않은 그룹 5명, 장애인 그룹 5명으로 3개의 그룹을 구성하였다. 운전면허증을 소지한 2명, 소지하지 않은 3명, 장애인 2명으로 A그룹을 구성하고, 운전면허를 소지한 3명, 소지하지 않은 2명, 장애인 3명으로 B그룹을 구성하고 테스트를 진행하였다.

2. Simulated Driving

실험은 5일간 실시하며 1일 2회 지정된 주행 코스를 완주하였다. 모든 주행 과정은 저장되며 주행 영상을 재확인할 수 있어 평가 시에 신뢰성을 높였다. 먼저 A그룹은 기존에 존재하는 드라이브 및 운전면허 시뮬레이터의 교육 데이터를 가지고 주행을 시행하였다. 본 논문에서 구현한 시뮬레이터의 시나리오 내용은 운전 교육용으로 개발된 운전 연습 시뮬레이션 게임인 CITY CAR DRIVING (Version 1.5.9)의 콘텐츠 내용을 참고하여 기존의 운전 교육 시나리오를 구현하였다. 다음의 Fig. 3은 CITY CAR DRIVING (Version 1.5.9)의 내용을 기반으로 구현한 야간 도로 주행의 화면이다.

Fig. 3. Conventional driving simulator driving screen

A그룹이 주행하는데 사용한 시뮬레이터이다. 기본적인 주행과 주차를 익히고 사용법과 알림 메시지를 통하여 시뮬레이터를 이용하는 사용자에게 이해하기 쉬운 설명을 팝업 알림창을 통해 사용자에게 제공한다. B그룹은 본 논문에서 제안하는 돌발상황들이 탑재된 시뮬레이터를 사용하여 주행을 연습하였다. 다음의 Fig. 4는 본 논문에서 제안하는 돌발상황 시나리오가 탑재된 시뮬레이터의 도로 주행 장면이다.

Fig. 4. Scene of Catastrophic Situation

앞의 Fig. 4는 돌발상황 시나리오 중 하나로 무단횡단하는 행인의 갑작스러운 도로 침입에 대한 돌발상황을 나타낸 장면으로써, 상황이 발생하였을 때, 상황에 따른 대처 방법과 알림에 대한 메시지를 화면에 출력하여 사용자에게 상황에 대한 설명과 대처 방법에 대한 정보를 제공한다. 이러한 돌발상황들에 대비하여 반복적인 연습을 진행할 수 있다. 다른 돌발상황에 대한 시나리오들도 돌발상황마다 상황의 중간중간에 대처 방법과 행동 요령에 대한 설명을 팝업 알림창을 통해 사용자에게 정보를 제공한다. 제공되는 정보들을 통해 사용자는 상황에 대한 인지 및 대처 행동에 대한 학습을 할 수 있다.

3. Result of Simulated Driving

각각의 그룹별로 모의 운전을 진행한 후, 그룹에 속한 참여자들을 대상으로 돌발상황에 대한 대처 능력을 평가하기 위하여 가상 운전 시뮬레이터에 H 자동차 운전 전문 학원에서 실시하고 있는 운전 프로그램의 도로를 유니티로 구현하고 각종 돌발상황의 내용들을 추가하였다. 구현된 시뮬레이터를 통하여 주행 채점표를 기준으로 채점표를 구성하고, 추가적인 돌발상황에 대한 채점내용을 채점표에 추가하여 평가를 진행하였다. 다음의 Table. 2는 A, B그룹의 채점 결과표이다.

Table 2. Evaluation Result

기존의 운전면허 시험 채점 기준의 점수는 A그룹 B그룹 두 그룹 모두 각각 운전면허 합격점수 기준인 80점 이상을 받은 것으로 확인되었다. 그중에서도 운전면허소지자가 A그룹 B그룹 각각 86.8, 88.2점으로 가장 높게 나왔고 다음으로는 운전 교육 경험이 있는 장애인 참여자가 81.5, 83.4로 두 번째를 나타냈으며, 운전면허 미소지자들이 73.4, 75.9로 가장 낮게 나왔다. A그룹과 B그룹의 돌발상황에 대한 반응에 대한 부분에서는 B그룹의 점수가 82.5점으로 A그룹의 점수보다 높게 나온 것을 확인할 수 있다. 장애인 참여자들은 운전 교육 경험이 있어 운전면허 미소지자 그룹보다 점수가 조금 더 높게 나온 것으로 보인다. 이는 훈련과 연습을 반복하면 점수가 향상될 수 있다는 것을 나타낸다.

V. Conclusions

본 논문에서는 거동이 불편한 중증장애인들도 실제감 높은 운전 연습 및 운전에 대한 체험을 통하여 운전에 대한 경험과 나아가 돌발상황에 대처할 수 있는 능력을 높일 수 있는 운전 교육 시뮬레이터를 제안하였다. 본 연구의 결과로 돌발상황에 대한 상황을 시뮬레이터로 훈련한 후, 테스트 운전을 진행한 결과 돌발상황 시나리오로 훈련한 그룹이 돌발상황에 대한 대처 및 반응 점수가 높게 나온 것으로 나타났다. 기존의 연구들을 살펴보면 거동이 불편한 장애인들을 위한 하드웨어에 관련된 연구들이 진행되었었고, 신체적인 결함에 도움이 되고자 하는 연구들이 많이 진행되어왔다. 본 논문에서는 거동이 불편하여 운전 교육 장소까지의 이동이 불편한 장애인들의 교육 시뮬레이터와 돌발상황에 대한 인지 및 상황 대처 능력을 높이는 시뮬레이터를 제안하였다. 모의 테스트 결과에서 보는 바와 같이 상황 인지 및 대처 능력에 대한 능력이 기존의 운전 시뮬레이터로 훈련한 그룹에 비해 점수가 높게 나온 것을 확인하였다. 또한 시뮬레이터를 이용하여 돌발상황들에 대한 반복적인 상황을 접하고, 반복적인 훈련을 통하여 돌발적인 상황들에 대한 반응 및 대응 능력이 향상될 것으로 예상된다. 향후, 하드웨어적인 부분의 컨트롤러에 실제감을 높인 다양한 신체적 결함에 포용적으로 적용할 수 있는 다양한 컨트롤러를 통한 운전 시뮬레이터 연계에 관한 연구가 계속되어야 할 것이다.