Unity AR Foundation 기반 디바이스 트레킹을 활용한 Markerless 증강 현실 슈팅 게임의 설계 및 구현

Design and Implementation of a Markerless Augmented Reality Shooting Game Using Device Tracking Based on Unity AR Foundation

Abstract

This study developed a Markerless Augmented Reality (AR) game based on Unity AR Foundation. The game is designed to provide an immersive gaming experience by utilizing device tracking technology through an iPhone. Players adjust the target object at the center of the screen and shoot by tapping, earning points as they progress through the game. A key feature of the game is its dynamic tracking system, which reflects the position and movement of the targets in real time, allowing players to experience natural interactions based on their real-world location. By integrating AR Kit and AR Core, the game enables stable tracking and realistic placement of virtual objects in various environments. After completion of the development, the game was ultimately deployed on iPhones for actual user testing. This paper analyzes the game design process, the implemented features, and the results of user testing in detail, and based on these results, it proposes future research directions and improvements for AR game development. This study explores the potential for the advancement of Markerless AR games and holds significance as a practical application of AR technology.

Ⅰ. 서론

증강 현실(AR, Augmented Reality)은 현실 세계와 가상 세계를 결합하여 사용자에게 새로운 경험을 제공하는 혁신적인 기술로, 최근 몇 년간 게임 산업에서 급속히 성장하고 있다. AR 기술은 사용자에게 물리적 환경과 상호작용할 수 있는 가상 오브젝트를 제공함으로써 몰입감과 참여감을 극대화하며, 이러한 특성은 게임 플레이의 경험을 한층 향상시키는 데 기여한다. 특히 Markerless AR 기술은 물리적인 마커(marker) 없이도 현실 세계의 다양한 요소를 인식하고 상호작용할 수 있는 가능성을 제시하며, 게임 디자인의 자유도를 높이고 사용자 경험을 더욱 풍부하게 한다[1]. 본 연구의 목적은 Unity의 AR Foundation을 이용하여 Markerless AR 게임을 개발하고, 디바이스 트레킹(device tracking) 기술을 통해 사용자에게 몰입감 있는 AR 경험을 제공하는 것이다. 디바이스 트레킹은 사용자의 위치와 방향을 실시간으로 추적하여 가상 오브젝트를 현실 세계에 자연스럽게 배치할 수 있도록 하여, 플레이어가 자신의 환경 속에서 게임을 경험할 수 있도록 한다. 이러한 접근법은 단순한 게임을 넘어, 현실과 가상의 경계를 허물고 새로운 형태의 상호작용을 창출하는 데 기여할 것으로 기대된다. 이러한 AR 게임은 기술적 진보뿐만 아니라, 사회적 상호작용과 커뮤니케이션 방식에도 영향을 미칠 수 있다[2]. 사용자들은 AR 게임을 통해 서로 연결되고, 협력하며, 경쟁하는 경험을 하게 되며, 이는 게임의 재미와 몰입감을 더욱 증가시킨다[3]. 본 연구는 이러한 AR 게임의 가능성을 탐구하고, 실제 구현 방안을 제시함으로써, 향후 AR 기술이 게임 산업뿐만 아니라 다양한 분야에서 어떻게 활용될 수 있을지를 제시하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 AR 게임 개발 동향과 디바이스 트레킹 기술 등 관련 연구에 대해 살펴보고, 3장에서는 디바이스 트레킹 기반 AR 슈팅 게임의 설계에 대하여 기술한다. 4장에서는 Unity의 AR Foundation을 활용한 AR 슈팅 게임에 대한 구현에 대해 기술하고 테스트를 수행한다. 마지막 5장에서는 본 논문의 결론 및 향후 과제에 대해 기술한다.

Ⅱ. 관련 연구

최근 AR 기술의 발전은 Markerless AR 게임의 필요성을 더욱 증가시키고 있다. Markerless AR은 물리적 마커 없이도 현실 세계를 인식하고 가상 오브젝트를 배치할 수 있는 기술로, 이는 사용자에게 보다 유연하고 몰입감 있는 경험을 제공한다[4]. 특히, Unity의 AR Foundation을 통해 AR Kit 및 AR Core와 같은 플랫폼이 통합되어 다양한 게임 개발에 대한 가능성을 열어주고 있다. 기존 연구에서는 AR Kit과 AR Core의 활용 사례를 통해, Markerless AR 게임이 어떻게 게임 디자인의 혁신을 가져오는지를 다루었다[5]. AR Kit은 애플 기기에서의 고정밀 위치 추적 기능을 제공하며, AR Core는 안드로이드 환경에서의 안정적인 트래킹을 지원하여 다채로운 사용자 경험을 가능하게 한다. 이러한 기술들은 개발자들이 현실 세계와 상호작용하는 게임을 제작하는 데 있어 필수적인 도구로 자리매김하고 있다. 최근의 연구들은 디바이스 트레킹 기술이 게임의 몰입감을 어떻게 증대시키는지를 집중적으로 다루고 있다[6]. 사용자들이 자신의 물리적 공간에서 가상 오브젝트와 상호작용할 때, 그 경험은 단순한 엔터테인먼트를 넘어 감정적이고 사회적인 요소를 포함하게 된다. 이러한 연구들은 AR 게임이 단순히 개인의 재미를 넘어 사회적 상호작용과 공동체 형성에 기여할 수 있는 가능성을 제시하고 있다[7-10].

기존의 Markless AR 게임의 사례로는 포켓몬 GO[11], 더 워킹 데드: Our World[12], 마인크래프트 Earth[13] 등이 있다. 포켓몬 GO 게임은 위치 기반 서비스를 활용하여 사용자가 특정 장소에 도달해야만 게임이 진행되며, 이는 게임의 몰입감을 제한할 수 있다. 더 워킹 데드: Our World 게임은 AR 기술을 통해 사용자가 자신의 환경에서 좀비와 상호작용하도록 설계되었지만, 이 게임은 여전히 고정된 위치에서의 상호작용에 의존하는 경향이 있다. 마인크래프트 Earth 게임은 사용자가 자신의 물리적 공간에서 블록을 배치하고 건축하는 경험을 제공하지만, 특정 위치에서의 활동이 요구된다.

이러한 기존 게임들과의 차별성을 위해 본 연구에서는 디바이스 트레킹 기술을 통해 플레이어의 위치와 관계없이 적 오브젝트가 랜덤하게 생성되고 플레이어가 이를 추적하고 공격하는 동적인 게임 플레이를 구현한다. 이는 기존 게임들이 고정된 위치에서의 상호작용에 의존하는 것과 달리 플레이어가 현실 세계를 자유롭게 움직이며 증강 게임을 진행할 수 있는 환경을 제공한다. 또한 AR Foundation을 활용하여 AR Kit과 AR Core의 기능을 통합함으로써 보다 정밀하고 안정된 트래킹을 구현함으로써 가상 오브젝트가 플레이어의 시야에 항상 위치하도록 조정하였다. 또한 디바이스 트레킹의 정확성을 높이기 위해 AR Foundation의 기능을 적극 활용하여 가상의 오브젝트가 현실 세계에 자연스럽게 융합되도록 하였다. 이러한 특징으로 인해 본 연구가 기존 게임들과는 다른 방향성을 갖는다고 할 수 있다.

Ⅲ. 디바이스 트레킹을 활용한 AR 슈팅 게임 설계

본 AR 슈팅 게임은 디바이스 트레킹을 사용하여 XR 환경에서 플레이어가 적을 추적하고 공격하는 구조로 설계하였다. 게임의 주요 핵심 요소로는 적 스폰너(spawner), 플레이어(player), UI 요소가 포함된다. 적 스폰너 오브젝트는 XR Origin의 Main Camera 내에 기본 3D 오브젝트로 추가하고 위치를 (0, -1, 30)으로 설정한다. 이 오브젝트의 Mesh Renderer 컴포넌트는 비활성화하고, Box Collider의 Is Trigger 옵션을 비 활성화하여 적이 스폰될 수 있는 영역을 정의하였다. 플레이어 또한 XR Origin 내의 Main Camera 아래에 기본 3D 오브젝트로 추가하고 위치를 (0, 0, 0)으로 설정한다. 플레이어는 Rigidbody 컴포넌트를 추가하고 Is Kinematic과 Use Gravity 옵션을 비활성화하여 물리적 상호작용을 조정한다. 또한 Mesh Renderer를 비활성화하고 Tag을 Playr로 설정하여 게임 내에서 플레이어를 식별할 수 있도록 한다.

플레이어의 주요 목표는 화면에 나타나는 적 오브젝트를 디바이스 트레킹을 통해 적 오브젝트가 화면의 중앙에 있는 조준점(aiming point)에 위치하도록 조준하고 슈팅하여 최대한 많은 점수를 획득하는 것이다. 적 오브젝트는 다채로운 속성과 행동 패턴을 가지며, 플레이어는 적의 움직임을 분석하고 적절한 타이밍에 슈팅해야 한다. 이를 위해 플레이어의 위치와 관계없이 주변에 적들이 랜덤하게 생성되어 플레이어를 향해 이동한다. 플레이어는 화면의 슈팅 버튼을 눌러 적들을 향해 레이(ray)를 발사하게 되며, 적을 파괴할 때마다 총 점수에 1점을 추가한다.

사용자 인터페이스(UI)는 <그림 1>과 같이 사용자 경험(UX)을 위해 두 개의 버튼(Start, Shoot)을 생성하여 화면 하단에 배치하고, 점수와 체력(생명)을 표시하기 위한 UI 텍스트를 생성하여 화면의 상단 좌우에 배치하였다.

<그림 1> UI 설계

Start 버튼 클릭시 게임이 시작되고 Shoot 버튼이 활성화되도록 이벤트를 설정하였다. 점수는 실시간으로 업데이트되며, 플레이어가 적을 처치할 때마다 시각적 피드백(예: 효과음, 그래픽 효과 등)을 제공하여 성취감을 느끼게 하였다. 이 애플리케이션을 위해 iPhone 12 Pro Max 화면에 맞게 UI를 구성하였다. 이를 위해 게임 뷰의 Free Aspect 드롭다운 메뉴에서 iPhone 12 Pro Max 2778x1284 Portrait을 선택하였다.

본 게임에서는 다양한 조명 조건과 환경에서 가상의 적 오브젝트가 어떻게 반응하는지를 테스트하여 최적의 설정을 찾고, 게임의 가상 오브젝트가 실제 환경에 잘 통합되도록 하기 위해 텍스처와 색상을 조정하였다. 또한 플레이어가 적 오브젝트를 실제로 인식하고 상호작용할 수 있도록 오브젝트의 크기와 위치를 현실 세계의 물리적 특성에 맞추어 조정하였다. 디바이스 트레킹의 정확성을 높이기 위해 AR Foundation 기능을 활용하여 플레이어의 움직임에 따라 적 오브젝트의 위치를 적절히 조정하여 항상 플레이어의 시야에 적이 위치하도록 하였다. 이러한 기능은 Unity의 AR Session을 통해 실행한다. AR Session이 카메라와 함께 시작되면, XR Origin은 3D 공간에서 가상의 원점을 생성하여 카메라가 디바이스의 움직임에 따라 회전하고 이동하게 해준다.

Ⅳ. 구현 및 테스트

본 게임은 Unity 에디터 버전 2022.3.44f1에서 AR Foundation 5.1.5 패키지와 Apple ARKit XR Plugin 5.1.5를 사용하여 Visual Studio 2022 for Mac에서 구현되었다. AR Foundation을 통해 iOS와 Android 플랫폼 모두에서 원활한 플레이가 가능하도록 하였으며, 각각의 플랫폼에서 최적화된 성능을 발휘하도록 세심하게 조정하였다. 주요 기능 구현은 다음과 같다.

⦁ 디바이스 트레킹: AR Foundation의 고급 트래킹 기능을 활용하여 사용자의 위치와 방향을 실시간으로 추적하고, 이를 기반으로 적 오브젝트의 위치를 동적으로 조정하였다. 기본적인 디바이스 트레킹을 구현하기 위해 새로운 씬(scene)을 생성하고, 씬에 XR Origin과 AR Session을 추가하였다.

⦁ 슈팅 메커니즘: 플레이어가 화면을 터치하면 슈팅이 이루어지도록 설정하였으며, 레이캐스트와 물리 엔진을 사용하여 적 오브젝트와의 충돌을 효과적으로 처리하였다. 이때 총알의 속도와 발사 각도를 조정할 수 있는 기능을 추가하여 플레이어가 전략적으로 슈팅을 할 수 있도록 하였다. 본 AR 게임에서 사용할 적 오브젝트는 Skechfab 사이트에서 무료로 제공하는 3D 모델 중에서 Grobbo Alien Hatching[14]을 사용하였다.

⦁ 점수 시스템: 적을 처치할 때마다 점수가 증가하도록 하였으며, 각 적의 난이도와 유형에 따라 점수의 가치를 다르게 설정하였다. 게임 종료 후에는 최종 점수를 표시하여 사용자에게 피드백을 제공하고, 이를 바탕으로 게임을 반복적으로 플레이할 수 있는 동기를 부여하였다.

<그림 2>는 본 게임의 핵심 클래스인 Enemy 클래스에 대한 클래스 구조를 보인 것이다. Enemy 클래스는 적의 속성과 행동을 정의한다. 이 클래스는 speed 변수를 통해 적의 이동 속도를 설정하고, SetPlayer 메서드를 통해 플레이어의 위치와 게임 매니저를 참조할 수 있도록 하였다. Update 메서드에서는 플레이어를 향해 적이 회전하고, 플레이어 쪽으로 이동하는 로직을 구현하였다. 또한 적이 플레이어와 충돌할 경우 GetDamage 메서드를 호출하여 플레이어의 체력을 감소시키고, 적을 파괴하는 기능을 구현하였다.

<그림 2> Emeny 클래스

<그림 3>은 본 게임의 전체적인 흐름을 관리하는 GameManager 클래스의 구조를 보인 것이다. Game Manager 클래스는 게임의 상태를 관리하는 핵심 클래스이다. 이 클래스는 spawnBoundBox, enemyPrefab, shootPoint, player와 같은 변수를 Unity Inspector 윈도우를 통해 할당하여 게임의 주요 요소를 연결한다.

<그림 3> GameManager 클래스

GameManger는 점수(score)와 체력(health)을 추적하며, 게임 시작 시 초기화하는 StartGame 메서드를 통해 게임을 시작한다. 이 메서드는 게임의 초기 상태를 설정하고, 필요한 오브젝트를 준비하는 역할을 한다. 또한 SpawnEnemy 코루틴을 통해 지속적으로 랜덤하게 적을 생성하며, 생성된 적은 플레이어를 추적하도록 설정되어 있다. 이를 통해 게임의 긴장감을 유지하고 플레이어에게 도전 과제를 제공한다. 플레이어가 적을 공격할 때는 ShootLasers 메서드를 사용해 레이캐스트를 통해 적을 탐지하고, 적을 명중시킬 경우 점수를 증가시킨다. 이 과정에서 점수 시스템이 활성화되어 플레이어의 성과를 기록한다. 체력이 감소할 경우에는 게임 오버를 수행하여 플레이어가 더 이상 게임을 진행할 수 없도록 한다. 이러한 일들을 통해 GameManager는 게임의 흐름과 플레이어의 경험을 조절하는 중요한 역할을 수행한다.

<그림 4>는 AudioManager의 클래스 구조를 나타낸 것이다. AudioManager 클래스는 게임 내 오디오 관리를 담당하는 클래스로 싱글턴 패턴(Singleton Pattern)을 사용하여 전역적으로 접근할 수 있는 인스턴스를 제공하도록 하였다. 이 클래스는 다양한 오디오 소스와 관련된 속성을 포함하고 있으며, 게임의 배경 음악, 효과음 등을 제어하는 기능을 제공한다. AudioManager 클래스는 foregroundAudioSource와 여러 개의 AudioClip 변수를 사용하여 다양한 사운드 효과를 저장하고, Unity Inspector를 통해 이들을 할당할 수 있다. Awake 메서드는 싱글턴 패턴을 구현하여 AudioManager의 인스턴스를 관리하고 게임 오브젝트가 로드될 때 파괴되지 않도록 설정한다. PlaySFX 메서드는 문자열 인자를 받아 해당 사운드 효과를 재생하는 기능을 제공하며, 각 사운드 효과는 PlayOneShot 메서드를 통해 한 번만 재생된다. 이를 통해 게임의 다양한 상황에서 적절한 오디오 피드백을 제공하여 플레이어의 몰입감을 높일 수 있다.

<그림 4> AudioManager 클래스

AR 게임의 테스트를 위해 iPhone 12 Pro Max에 배포한 후 테스트를 진행하였다. 테스트 결과 디바이스 트레킹을 통해 플레이어는 적을 효과적으로 추적하고 공격할 수 있는 환경을 얻을 수 있음을 확인하였다. <그림 5>는 iPhone 12 Pro Max에서 AR 게임을 실내 복도에서 실행한 결과를 캡처한 것이고, <그림 6>은 플레이어의 위치와 상관없이 게임을 즐길 수 있음을 보이기 위해 실외에서 실행한 결과를 캡처한 것이다.

<그림 5> 실내 복도에서 실행한 결과

<그림 6> 실외 캠퍼스에서 실행한 결과

게임 시작 시 화면 하단에 배치된 Start 버튼을 클릭하여 게임을 시작하고, 이후 Shoot 버튼이 활성화되어 플레이어는 적을 향해 레이를 발사할 수 있다. 적 스폰너는 설정된 위치에서 랜덤하게 적을 생성하며, 이들은 플레이어를 향해 이동하여 긴장감을 조성하였다. 플레이어는 화면 중앙의 조준점에 적을 맞추고 적절한 타이밍에 슈팅하여 점수를 획득하며, 적을 처치할 때마다 점수가 실시간으로 업데이트되었다. UI 요소는 화면의 상단 좌우에 점수와 체력을 표시하여 시각적 피드백으로 효과음과 그래픽 효과가 제공되어 플레이어에게 성취감을 줄 수 있다. 테스트 결과 전반적으로 게임은 매끄럽게 작동하였고 디바이스 트레킹의 정확성으로 인해 플레이어는 몰입감 있게 게임을 즐길 수 있었다. 이러한 요소들은 사용자 경험을 향상시키며, AR 환경에서의 슈팅 게임의 재미를 극대화하는데 기여할 수 있음을 확인하였다.

Ⅴ. 결론

본 논문에서는 Unity의 AR Foundation을 활용하여 디바이스 트레킹 기반의 Markerless AR 게임을 개발한 과정을 기술하였다. 개발된 AR 게임은 디바이스 트레킹 기술을 통해 사용자에게 몰입감 있는 경험을 제공하고 플레이어가 현실 세계와 상호작용하며 게임을 즐길 수 있도록 설계하였다. 사용자 테스트를 통해 AR 환경에서의 상호작용이 플레이어에게 현실감 있는 경험을 제공함을 확인하였다. 본 연구 결과는 디바이스 트레킹을 활용한 AR 게임 개발에 있어 중요한 기초 자료로 활용될 수 있으며, Markerless AR 기술의 가능성을 보여주는 하나의 사례이다. 디바이스 트레킹의 정확성과 안정성을 기반으로 한 게임 설계는 향후 AR 기술이 발전함에 따라 다양한 형태로 확장될 수 있을 것이다. 향후 연구에서는 인공지능 기술을 활용하여 적의 행동 패턴을 다양화하고 플레이어의 전략적 사고를 자극할 수 있는 요소를 구현할 계획이다. 마지막으로, 사용자 경험을 더욱 향상시키기 위한 추가적인 기능 개발을 계획하고 있다.