A Study on XR Handball Sports for Individuals with Developmental Disabilities

Abstract

This study proposes a novel approach to enhancing the social inclusion and participation of individuals with developmental disabilities. Utilizing cutting-edge virtual reality (VR) technology, we designed and developed a metaverse simulator that enables individuals with developmental disabilities to safely and conveniently experience indoor handicapped handball sports. This simulator provides an environment where individuals with disabilities can experience and practice handball matches. For the modeling and animation of handball players, we employed advanced modeling and motion capture technologies to accurately replicate the movements required in handball matches. Additionally, we ported various training programs, including basic drills, penalty throws, and target games, onto XR (Extended Reality) devices. Through this research, we have explored the development of immersive assistive tools that enable individuals with developmental disabilities to more easily participate in activities that may be challenging in real-life scenarios. This is anticipated to broaden the scope of social participation for individuals with developmental disabilities and enhance their overall quality of life.

본 연구에서는 발달 장애가 있는 개인이 사회적 참여를 유도하고 사회활동에 참여하는 방법을 제안했다. 이를 위해 가상 현실 기술을 활용해 발달장애인이 안전하고 편리하게 실내에서 장애인 핸드볼 스포츠 경험을 할 수 있는 메타버스 시뮬레이터를 설계 및 개발했다. 이 시뮬레이터는 발달 장애가 있는 사람이 핸드볼 경기를 연습하고 경험할 수 있는 환경을 제공한다. 이를 위해 핸드볼 선수 캐릭터 모델링과 핸드볼 동작 제작을 위해 3D모델링과 모션캡쳐 기술을 적용했다. 이를 통해 핸드볼 경기에서 사용되는 동작을 메타버스 공간에 재현했다. 메타버스 기술 중 하나인 XR(Extended Reality)을 적용해 기초훈련(기본동작), 페널티쓰루, 타깃 게임을 제작했다. 본 연구를 통해 발달 장애가 있는 개인이 현실에서는 어려운 활동에도 더 쉽게 참여할 수 있도록 하는 체감형 보조 도구로 활용할 수 있다. 이로써, 발달장애인이 사회적 참여의 폭이 넓어지고, 발달장애인 삶의 질이 향상될 것으로 기대된다.

I. Introduction

현재 XR 기술은 빠르게 발전하고 있으며, 다양한 분야에서 적용되고 있다[1]. 특히, 발달장애인을 포함한 다양한 사용자들이 현실 세계에서 경험하기 어려운 환경과 활동을 가상으로 체험할 기회를 제공하고 있으며, IT, Computer쪽으로 발전이 이루어지고 있다[2]. Fig. 1은 분야별 메타버스 현황 통계이다[3].

Fig. 1. The Top Sectors investing in the metaverse

메타버스 XR 기술은 발달장애인에게 사회적 발달 기회를 제공함으로써 그들의 삶의 질을 향상하게 시킬 수 있다[4]. 메타버스 기술은 가상 세계의 한 형태로, 현실과 가상의 경계를 넘어 다양한 경험을 제공한다. 발달장애인을 포함한 다양한 사용자들에게 메타버스는 현실에서는 경험하기 어려운 사회적 활동 및 상호작용의 기회를 제공함으로써 사회적 포용과 참여를 촉진할 수 있다[5-6]. 이를 통해 발달장애인은 자신의 운동 능력을 향상시키고, 사회적 상호작용을 강화하여 더 큰 자신감을 가질 수 있다. 따라서, XR 기술을 통한 메타버스 경험은 발달장애인의 사회적 발달에 새로운 기회를 제공하는 중요한 수단으로 간주한다. Fig. 2는 기술 인프라가 메타버스에 미치는 영향을 나타낸다[7-8].

Fig. 2. The impact of technology infrastructure on the metaverse

논문의 구성은 2절에서 관련 연구를 3절에서는 Unity를 활용한 VR 게임을 생성하는 과정과 방법에 대하여 4절에서는 설치 및 실행을 5절에서는 결론을 맺는다. 본 논문은 발달장애인들을 위한 XR 핸드볼 게임을 제작해 장애인들의 사회적 참여를 유도한다.

II. Preliminaries

2.1 Developmental Disabilities

발달 장애(Developmental Disabilities)는 개인의 사회적, 언어적, 인지적, 또는 신체적 발달에서 일어나는 장애를 말한다[9-10]. 이러한 장애는 일반적으로 개인이 일상생활에서 일정한 기능을 수행하는 데 어려움을 겪게 한다. 발달장애의 원인은 다양하며, 생애 초기에 발견될 확률이 높다[11].

Fig. 3와 같이 발달장애인의 특정 행동에 대한 이해와 그에 따른 행동 치료가 중요하다. 행동 관리 전문가와의 협력을 통해 원하는 행동을 장려하고 원치 않는 행동을 줄이는 방법을 습득할 수 있다. Table 1은 발달장애인 핸드볼 스포츠 경기와 기본 동작 연습이다. 기초훈련, 활동프로그램 및 협동게임 모델로 구성된다.

Fig. 3. Types of Developmental Disabilities

Table 1. Developmentally disabled Sports

발달장애인이 가상현실(VR)을 이용한 운동을 즐길 수 있도록 돕기 위한 연구는 여러 분야에서 진행되고 있으며, 주로 재활, 교육, 신체 활동 증진을 목표하고 있다. VR을 이용한 재활 치료는 발달장애인이 즐겁게 운동할 수 있도록 도와준다. VR 재활 프로그램은 현실에서의 운동보다 더 흥미롭고 동기부여를 줄 수 있으며, 이는 지속적인 참여를 유도할 수 있다. 예를 들어, 게임 형태로 구성된 VR 재활 운동은 사용자의 몰입감을 높이고 반복적인 운동 수행을 촉진해 사회참여의 자신감을 극대화한다. 또한, 발달장애인을 위한 교육적 VR 프로그램도 개발되고 있고, 이러한 프로그램은 운동 능력뿐만 아니라 인지 능력도 함께 향상시키는 것을 목표하고 있다. 예를 들어, 특정 동작을 배우는 과정에서 VR 환경을 통해 더 직관적이고 이해하기 쉬운 방식으로 교육을 진행할 수 있다.

2.2 XR(Extended Reality) SDK for unity

Unity는 게임 개발 및 시뮬레이션을 위한 통합 개발 환경(IDE)으로, 2D 및 3D 그래픽을 사용하는 다양한 플랫폼에서 게임 및 콘텐츠를 제작할 수 있는 도구이다. Fig. 4는 세계적으로 가장 많이 사용하는 3D 그래픽 제어용 게임 엔진과 특징이다[13].

Fig. 4. Game Engine Comparison

그중 Unity는 PC, 모바일 기기, 태블릿, 콘솔 등 다양한 플랫폼에서 게임을 개발하고 배포할 수 있고, 쉬운 학습 곡선, 유연한 스크립팅 언어 등 여러 가지 강점을 가진 게임엔진이다. 본 연구에서 사용하는 확장현실 XR SDK는 Unity 게임 엔진에 기본적으로 탑재되어 있고, 증강 현실(AR) 가상 현실(VR) 및 혼합 현실(MR) 개발에 최적화된 개발 키트인 SDK를 제공한다[14-15].

본 연구에서는 Unity 엔진을 사용해 XR 애플리케이션을 설계하고 개발했다. 또한, 실감형 장애인 핸드볼 스포츠 체험하기 위한 하드웨어 도구로 Oculus Rift, HTC Vive, Playstation VR, Microsoft HoloLens, Google Cardboard가 있으며, 이러한 하드웨어 장치에 최적화된 게임 엔진이라고 할 수 있다. Fig. 5는 Unity XR Tech Stack으로 XR 서브 시스템을 통해서 다양한 하드웨어와 소프트웨어를 연결하는 인터페이슬 제공한다. 게임 산업에서는 현실감 있는 게임 경험을 제공하기 위해 VR 기술이 활발히 사용되고 있다. 의료 분야에서는 환자의 진단과 치료, 수술 등에 VR 기술을 활용하여 실제 상황을 모사하고 교육 및 훈련에 활용되고 있다. 또한, 교육 분야에서는 가상 강의 환경을 구축하여 학습자들이 현실에서는 체험하기 어려운 환경이나 상황을 가상으로 체험하고 학습할 수 있도록 하는 등의 노력이 이루어지고 있다. 이러한 방향성은 VR 기술이 더욱 현실적이고 유용한 경험을 제공하기 위해 계속해서 발전하고 있다. 본 연구에서는 HMD중 저렴하면 고성능을 제공하는 Oculus Quest를 사용했다. Fig. 6은 최근 출시된 Oculus Quest 2와 3을 비교한 것이다. 2023년도 출시한 Oculus Quest 3는 성능이 높아지면서 무게가 가벼워졌다는 특징이 있다.

Fig. 5. Unity XR Tech Stack

Fig. 6. Oculus Quest 2 and 3 Specification

III. The Proposed Scheme

3.1 XR Porting of Unity

유니티 게임 저작도구에서 XR 기능 사용하기 위해서는 환경설정으로 SDK 설치가 필요하다. Unity는 XR 제작에 엔진으로써 작동하며, XR 뿐만 아니라 2D, 3D 등 다양한 플랫폼 서비스 제작이 가능하다. Fig. 7, 8은 XR 게임 개발을 위한 기초 설정으로 3D Core 플랫폼 설정과 Unity Asset에서 XR Interaction Toolkit, XR Plugin Management를 설치와 XR Plugin Management의 지원장치 Oculus를 설정하는 과정이다.

Fig. 7. XR Porting Process

Fig. 8. Install XR Interaction Toolkit

또한, 프로젝트 설정에서 XR Plug-in Management -> Oculus 설정과 Hierachy에서 XR -> Device-based -> XR Origin(VR)을 설정한다. 이렇게 하게 되면 Unity 내에서 Oculus 기기를 활용한 실행이 가능하게 된다. Fig. 9는 해당 설명을 적용하는 과정이다.

Fig. 9. Oculus Application for unity

3.2 Rigging of characters of Blender

본 절에서는 장애인 핸드볼 캐릭터에 대한 뼈(Bone)를 심는 과정으로 캐릭터를 제작하고 모션을 적용하는 과정이다. Fig. 10은 모델링 도구인 blender 툴과 게임 엔진 제작 도구인 유니티와 연결 요소를 설명한 것이다. 주로 모델링 작업은 Blender 도구를 통해 작업을 진행하고 움직임 및 행동에 대한 애니메이션은 유니티 도구를 사용한다.

Fig. 10. Motion Application Process

핸드볼 캐릭터 제작을 위해서는 3D 모델링 도구인 블랜터를 통해 제작했다. 또한, 제작된 캐릭터는 Blender 툴로 캐릭터에 Rigging을 했다. 모델링 된 핸드볼 캐릭터에 리깅을 이한 본(Bone)인 Armature를 추가한 것으로 신체의 전 부분에 대한 리깅을 진행했다. Table2는 Rigging 과정이다.

Table 2. Rigging Characters Using Blender

Rigging이 완료되면, 해당 캐릭터를 fbx로 export해 Unity로 import 한다. Table 3은 유니티에 리깅된 캐릭터를 추가하는 과정이다.

Table 3. Import Rigged Characters to Unity

3.3 Work for Unity

핸드볼 캐릭터를 가져온 후, 핸드볼 연습 동작 애니메이션을 추가할 수 있다. 마우스 클릭를 통한 부분 동작확인, 관람자가 일정 거리 안에 들어가면 운동 동작을 수행하는 기능, 핸드볼 공과 캐릭터가 충돌할 때 엑션 등 여러 가지 모션 애니메이션을 추가했다. 또한, 수동으로 하나씩 움직이는 IK 방식이 아닌 사람이 직접 캐릭터의 에니메이션을 캡쳐하는 방식인 MOCAP 방식이 있다. 본 연구에서는 IK 방식과 MOCAP 방식 두 방식을 사용해서 제작했다. IK방식의 수동 조작은 세밀한 작업에 사용되었으면 전체적인 동작에는 MOCAP 장비를 사용해 제작했다. Fig. 11은 장애인 핸드볼 경기전 준비운동을 진행하는 모션을 적용한 것이다.

Fig. 11. Basic movements for people with disabilities

본 연구에서는 장애인 핸드볼 스포츠에 대한 XR 체험을 목적으로 하고 있다. 카메라 시점을 캐릭터 기준으로 두고, 3D 플랫폼으로 제작해 Unity에서 지원하는 XR Interaction 기능을 연결을 통해서 HMD 컨트롤러와 인터페이스를 통해 오브젝트 간의 상호 작용한다. 기초연습과 같은 모션을 제작할 때는 Motion Capture를 활용한 애니메이션과 키 프레임을 찍는 IK방식의 모션 작업 방식으로 두 가지가 있다. 애니메이션을 제작하기 위해서는 Rigging(뼈대 작업)이 되어있는 캐릭터가 있어야 한다. Rigging 된 캐릭터에 프레임마다 뼈를 이동하거나 회전하여 캐릭터의 움직임을 제어한다(IK 방식). 왼쪽 Table 4은 Mocap 를 활용한 무릎 짧게 눌러주기 동작 애니메이션이고, 오른쪽은 IK 방식의 키 프레임을 직접 설정하는 어깨 스트레칭 애니메이션이다. Table 3은 Motion Capture와 IK 두 방식의 UI/UX이다.

Table 3. Mocap and IK Animation

Table 4. Animation Seconds and Frames

Table 5는 준비운동 자세의 이름 및 애니메이션 동작 시간을 초 및 프레임으로 나타낸 것이다.

Table 5. Target, Pass through and WarmUp

본 연구에서는 멀티 접속을 통한 다자간 메타버스 공간에서 상대방의 체조를 볼 수 있도록 구현했다. 사용된 멀티접속 서버는 포톤유니티 서버(PUN:Phyton UNity Server)를 이용해서 동기화를 진행했다. 포톤 유니티 서버는 RPC 기능을 제공하고 있으며 적용된 기능은 타깃 맞추기, 패스쓰루 연습, 준비운동 체험이 있다. Table5는 제작된 멀티 접속 장애인 핸드볼 체험 요소이다.

본 장애인 핸드볼 체험 서비스는 멀티 접속을 통해서 2인 이상이 동시접속으로 진행한다. 이를 위해서는 접속되는 사용자마다 아이디와 접속에 사용되는 캐릭터를 설정해야 한다. 이를 위해서 가상공간에서 아이디를 입력하는 UI와 캐릭터를 선정하는 인터페이스를 제작했다. Table6은 멀티유저를 위한 인터페이스이다.

Table 6. User Interface for Multiuser

사용자가 접속되면 핸드볼 공을 잡고 던지는 기능이 대부분이다. 공을 HMD 헨들러에서 잡기위해서는 잡는 공의 Collider 영역을 만들어주고, 공을 던졌을 경우 실제 환경같은 중력을 적용한 효과를 만들련 유니티에서 제공한 Rigidbody 컨포넌트를 추가해줘야 한다. 그럼 12는 핸드볼 공 오브젝트에 닿았을 때 잡는 방법을 정의한 것이다. 공을 던지는 방법은 컨트롤러가 가리키고 있는 방향을 따라 Raycast(가상의 주사선)따라 공이 날라간다. 공을 던지고 놓으면 컨트롤러의 Tigger 버튼을 놓으면 핸드볼 공이 직진을 하는 원리이다. 결론적으로 공에 만들어진 Collider와 물리 엔진 역할을 하는 Rigidbody 기능이 동시에 동작해 공이 직선운동을 하게 된다. 또한, 공의 속도는 헨들러의 속도(자이로센서)에 따른 속도가 좌우된다.

Fig. 12. Implementation of ball speed control

다음은 과녁에 대한 기술 구현 방법으로 Fig. 15와 같다. 핸드볼 슈팅 연습의 경우 과녁을 제작하고 공이 나라오면 충돌하는 방식으로 위치를 파악하고 골인 여부를 판단해 점수를 합산하도록 구현했다. 역시 과녁의 경우 이벤트와 Collider 설정을 통해 고인 여부를 판단했다. 또한, 3초 뒤에 공이 다시 스폰(Spawon)되도록 구현했다. Fig.13은 타깃연습 UI/UX이다.

Fig. 13. Rigidbody and Hitting Target

Fig. 14는 준비운동 인터페이스 제작으로 전면에 배치된 버튼을 누르면 준비운동 애니메이션이 동작한다. 기초연앞의 캐릭터가 Table지판의 애니메이션 동작이다.

Fig. 14. Warming up for Hanball Sports

본 기능은 한 번에 클릭시 한 개의 동작만 발생하도록 Has Exit Time 기능을 추가 구현했다. Has Exit Time은 애니메이션이 끝나기 전까지 다른 애니메이션이 실행되지 않는다. 이러한 기능은 애니메이션 스테이트 머신 그래프을 통해서 동작하고 우선하는 동작이 마무리되어야 다음 동작을 수행하는 기능을 포함하도록 했다. Fig. 15는 애니메이터와 해당 애니메이션의 정보를 나타낸 inspector 설정이다.

Fig. 15. Animator and Has Exit Time

멀티 접속을 통한 다자간 장애인 핸드볼 경기에서 자주 발생하는 패널티쓰루(Penalty Throw)는 수비팀 선수가 6m 라인 안에서 공격팀 선수에게 반칙을 할 경우, 골키퍼가 규칙을 어길 경우나 수비팀 선수가 공을 의도적으로 골대 밖으로 던지면 발생한다. Fig. 16은 패널티 쓰루를 구현한 것으로 핸드볼에서 골 인정의 기준 맞추어 골문 앞에 Plane 형태의 Collider 설정하고 Collider 영역을 지나갔을 경우 골인으로 인정하도록 제작했다.

Fig. 16. Goal Line for Penalty Throw

다시 말해, 골이 들어갔을 때 스코어를 올라가는 방식은 다음과 같다. 골대 라인에 보이지 않는 게임 오브젝트를 설치하고, 공 오브젝트가 해당 게임 오브젝트를 통과했을 때, 스코어가 올라가는 로직이다. 게임 오브젝트가 공 오브젝트만을 인식하는 방법은 Tag를 사용하여, 공 오브젝트의 Tag를 Ball로 지정하고, 게임 오브젝트가 Tag가 Ball인 오브젝트와 닿았을 때만 스코어가 올라가게 함수를 지정한다. 또한, 비슷한 매커니즘으로 Ball 태그를 가진 공 오브젝트가 Handball 태그를 가진 오브젝트와 충돌하면 3초 뒤에 원래 공 위치로 공이 리스폰 한다. Fig. 17는 공 오브젝트가 골라인을 넘었을 때 점수 스코어가 올라가는 텍스트와 함께 골 Table시가 나타나도록 구현했다. 스코어 5점을 채우게 되면, Win이라는 텍스트가 나타나며 스코어가 초기화된다.

Fig. 17. Get Scores for Penalty Throw

마지막으로 HMD 장치에 포팅하기위해서 안드로이드 기반의 오큘러스 퀘스트에 맞도록 apk로 추출하고, apk 파일을 Oculus Quest에 설치해 시험운영을 진행했다. 과정은 HMD 플랫폼인 Android를 선택한 후, Build를 하면 된다. apk 파일을 정상적으로 추출했다. Table 7은 장애인 핸드볼 경기를 현장에 가지 않고 가정이나 사무실에서 체험할 수 있는 실감형 XR 콘텐츠를 제작한 것이다.

Table 7. XR Handball Sports ImplementI

V. Conclusions

발달 장애가 있는 개인들이 운동을 즐기기 위해 직면하는 장벽을 극복하기 위해 Unity 게임 엔진과 메타버스 XR 기술을 결합한 연구이다. 이를 통해 핸드볼을 포함한 다양한 운동을 체험할 수 있는 환경을 구축했다. Unity를 이용한 게임 환경에서는 공 던지기, 체조, Penalty Throw 등의 운동을 실감형으로 경험할 수 있도록 구현했다. 더불어, 멀티미디어 동시접속 서버를 활용하여 다수의 참여자들이 함께 운동을 즐길 수 있는 환경을 제공했다. 이러한 연구는은 메타버스 시장의 성장과 함께 XR 기술을 통해 다양한 사용자들이 가상 현실을 체험하는 기회를 제공할 것이다. 특히 발달 장애를 가진 개인들도 XR 기술을 활용하여 운동을 즐기고 사회적으로 참여기회를 얻게 되었다. 이는 삶의 질을 향상시키는 중요한 요소로 작용할 것으로 기대된다. 또한, 앞으로의 연구 방향으로는 가상의 아바타와 실제 경기를 플레이하는 핸드볼 경기를 구현하는 것이 제안되었다. 이를 통해 운동 능력 향상뿐만 아니라 사회적 상호작용과 자아 실현의 기회를 제공할 수 있을 것으로 기대된다.