Development of App Contents for Information Realistic Experience based on AR

증강현실 기반의 인포메이션 실감체험을 위한 앱 콘텐츠 개발

Abstract

Virtual reality (VR) and augmented reality (AR) technologies can interact intuitively using virtual 3D images. Information signs on buildings that are frequently used by the public play a very important role in conveying information. However, the current information sign has different understanding and interpretation, and it is difficult to communicate quickly and intuitively for interaction. The purpose of this study is to increase the efficiency of information signing through information provision using mobile augmented reality. The InfoAR app not only guides you to the destination of the building, but also acts as a marker for the logo image. The logo image created based on the feature points recognizes the information of the destination. It is converted to AR through a mobile app, allowing users to easily find their destination by obtaining specific information. In addition, it presents interactions that can enlarge, reduce, move, and rotate information about virtual objects augmented through a function called AR. In the future, if user convenience and usability of the interface are added, research is conducted, and the level of completion is improved, such as using VR contents and promotions and business cards, it is expected that highly useful contents will be produced.

1. 서론

최근 기술 변화와 기기의 인터페이스 형태에 따라 다양한 유형의 모바일 어플리케이션 및 콘텐츠가 제작, 발표되고 있다. 특히, VR(Virtual Reality, 가상현실)과 AR(Augmented Reality, 증강현실) 기술은 가상의 3D 이미지를 사용하여 사용자와 직관적으로 상호작용하는 특징을 가진다. AR은 VR에 비해 사용자가 가상의 세계와 현실의 세계를 연결시켜 볼 수 있다는 측면에서 몰입감과 현실감을 제공하여 참여성 향상과 직감적일 수 있다.

관공서, 의료기관 등 대중이 많이 이용하는 건물의 인포메이션사인은 방문객이 방문했을 때 최초 접점에서 정보를 전달하는 매우 중요한 역할을 한다. 하지만 현재 인포메이션사인은 방문객마다 이해와 해석이 각각 다르게 나타나며 상호작용을 위한 빠른 전달과 직관적인 이해가 어렵다[1].

본 연구에서는 모바일 증강현실을 이용한 정보제공을 통해 인포메이션사인의 효율성을 높이는 것을 목적으로 한다. 2D정보와 3D정보를 혼합하여 AR(증강현실) 기술을 적용한 어플리케이션을 개발함으로써 기존 인포메이션의 비효율적인 부분을 해소하고 증강현실에서 효율적인 정보를 표현하는데 목적을 두었다. 증강현실 기술에 맞게 정보를 어떻게 체계화하고, 표현할지에 대한 인포메이션 디자인적인 접근방법이 필요하였다. 특히, 증강현실의 특징은 실제 관찰하고 있는 사물이나 장소에 대한 부가 정보나 의미를 함께 제공하는 것, 현실세계 기반 위에 가상의 사물이나 정보를 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보를 보강해서 제공할 수 있다는 강점이 있기 때문에 콘텐츠 측면에서는 정보의 분류, 체계화가 중요하고, 증강현실에서는 정보를 어떻게 시각화할지에 대한 인포메이션 디자인과 디바이스에 맞는 인터페이스와 인터랙션 디자인이 중요하다고 판단하였다.

본 논문의 구성은 다음과 같다.

제1장은 연구 배경 및 목적을 제시하고, 제2장은 본 연구에서의 이론적 배경이 되는 인포메이션과 증강현실의 정의 및 역할에 대해 살펴본다. 제3장에서는 시스템 구현을 앱 구성, 마커제작방법, 3D모델링, UI 구현, 뷰포리아 순으로 보여준다. 제4장은 앱의 사용자 경험을 통한 적용 상태를 살펴보고 사용자 테스트 진행에 대해 보여준다. 제5장은 결론과 함께 향후 연구 방향을 제시한다.

2. 이론적 배경

인포메이션 그래픽스는 매우 다양한 분야의 개념이 결합되어 있다. 인포메이션 그래픽스는 넓게는 커뮤니케이션 기술, 인터페이스 디자인, 인터랙션 디자인, 그래픽 디자인을 포함하며, 인포메이션 그래픽스 디자인에 의해 정보는 더욱 매력적이고, 이해하기 쉽고, 매체에 적합한 정보로 만들어지게 된다[2]. 인포메이션 그래픽스를 구현하면 사용자는 원하는 정보를 쉽게 탐색할 수 있으며, 탐색한 정보를 쉽게 이해하고, 이해한 정보를 용도에 맞게 사용할 수 있게 된다. 따라서, 인포메이션 그래픽스를 단순히 정보를 주고받기 위한 커뮤니케이션 설계과정으로 보는 것이 아니라 사용자 니즈를 설계하는 과정으로 이해하는 것이 바람직하다[3].

관공서, 의료기관 등 대중이 많이 이용하는 건물의 인포메이션사인은 방문객이 방문했을 때 최초 접점에서 정보를 전달하는 매우 중요한 역할을 한다. 하지만 현재 인포메이션사인은 방문객마다 이해와 해석이 각각 다르게 나타나며 상호작용을 위한 빠른 전달과 직관적인 이해가 어렵다[1].

디지털 기술이 보편화되고 공공서비스에 관심이 높아지면서 디지털콘텐츠를 활용한 키오스크가 배치되면서 인포메이션 기능을 대신하는 경우도 있다. 하지만 비용과 장소에 제약을 받는다.

본 연구에서는 모바일 증강현실을 이용한 정보제공을 통해 인포메이션사인의 효율성을 높이는 것을 목적으로 한다.

증강현실과 관련한 연구는 AR toolkit 라이브러리가 등장한 이후로 급속도로 발전되고 있다[4,5]. 특히 스마트폰 등장 이후 모바일에서의 증강현실 기술 개발이 활발히 이루어지고 있다. 증강현실은 가상현실과 달리 현실세계에 가상의 객체를 이음새 없이 실시간으로 정합하여 보여줌으로써 사용자가 현실세계에서 가상의 객체를 통하여 여러 가지 부가적인 정보를 얻을 수 있는 기술이다[6,7].

이러한 증강현실 관련 연구는 실세계에 대한 카메라의 위치 정보를 추정하는 방식에 따라 마커기반(marker-based)과 마커 없이 특징점에 기반을 둔 마커리스 기반(markerless-based)연구로 크게 나뉜다[8,9]. 특히, 마커 기반의 연구는 최근 들어 마커를 대신할 만한 특정 형태의 객체를 사용하여 증강현실 기술을 개발하는데 초점을 맞추고 있다[10, 11, 12, 13].

T. Kan의 연구[14]는 PC 상에서 QR코드를 마커로 사용하여 증강현실을 구현하는 연구를 수행하였다. QR코드를 마커로 사용하기 위해서 QR코드의 위치 검출패턴을 인식하고 이를 기준으로 QR코드 전체의 테두리를 구하여 이를 마커로 사용하였다. 근래에 특정 형태의 객체를 이용한 증강현실 기술이 종종 개발되고 있지만, 마커를 사용하지 않는 특징점 기반의 증강현실 기술 또한 활발히 연구되고 있다. G.Simon의 연구는 3차원상의 장면구조가 평면이라는 가정 하에 특징점 매칭을 통해 얻은 장면 간의 호모그래피를 이용하여 카메라의 자세를 추정하여 증강현실을 구현한다[15]. S.Taylor의 연구는 특징점 매칭을 통하여 증강현실을 구현하기 위해 빠른 속도의 특징점 매칭 방법을 제안하고 이를 통해 카메라 자세 추정을 수행하고 있다[16]. 이외에도 PTC의 Vuforia, Metaio의 Mobile AR 등이 마커없이 특징점에 기반을 둔 모바일 기반의 AR 라이브러리를 개발 및 제공하고 있다[17,18]. 이와 같이 특징점에 기반을 둔 증강현실 연구가 활발히 진행되고 있다.

본 논문에서는 제안하는 시스템은 직관적인 전달력을 가진 증강현실 기술을 인포메이션의 개념을 도입하고자 하였다. 인포AR 앱은 의도한 대로 건물 내 목적지를 안내하는 것은 물론 로고이미지가 마커를 대용하는 역할을 수행한다. 특징점에 기반하여 제작한 로고이미지로 목적지의 정보를 인지하고 모바일 앱을 통해 AR로 전환되어 사용자가 일정 장소에서 구체적인 인포메이션 정보를 얻어 목적지를 쉽게 찾아갈 수 있도록 한다. 또한, AR이라는 기능을 통해 증강된 가상의 객체에 대한 인포메이션을 확대, 축소, 이동, 회전이 가능한 상호작용을 제시한다.

3. 시스템 설계 및 구현

3.1 앱 구성

사용자에게 제시되는 정보의 시각적 디자인도 중요하지만 제약된 화면 내에서 얼마나 많은 정보를 일시적으로 보여줄 것인지, 작은 화면에서 정보를 다중 레이어를 통해 공간에 확장하는 방법을 연구해야 한다.

인포메이션 앱의 구조는 Fig. 1과 같이 설계하였다.

Fig. 1. Structure of Information App.

건물 입구에서 건물 전체 층별 안내를 보여주고 층을 선택하면 해당 층을 안내하도록 한다. 이때 해당 층의 안내는 리스트 형식으로 되고 목적지를 선택하면 3D 평면도에 표시된다. 방문객이 해당 층을 인지하고 방문한 경우를 고려하여 층별 로고이미지를 두어 모바일 인식 후 각 층별 안내 페이지로 이동할 수 있도록 하였다.

3.2 로고이미지 제작

AR과 연결해주는 로고이미지는 층 전체 안내와 각 층별 안내를 위한 2가지 종류로 제안하였다. 건물 인포메이션의 경우 건물 1층 로비에서 건물 전체를 안내해주고 해당 층에서 층별 안내를 하기 위한 로고이미지가 필요하다. Fig. 2는 건물 전체를 인식하는 로고이미지이다.

Fig. 2. Logo Image.

QR코드와 같이 가장자리를 뚜렷하게 하면 인식률이 높을 것이라는 예상과는 달리 별 차이가 없었고, 인식률과 함께 로고이미지는 인포메이션의 역할도 중요하다고 판단되어 로고 형태의 C안으로 수정되었다.

Fig. 3은 건물 전체를 인식하는 로고이미지와 해당 층을 인식하는 로고이미지이다.

Fig. 3. Logo Image Complement.

초반 작업이 A이고 수정본이 B이다. 초반 작업에서 건물 전체와 해당 층이 이미지가 유사하여 타겟 인식에서 충돌이 일어나 해당 층 인식에 문제가 있었다. 이미지의 위치나 형태가 유사하다고 인식되었음을 확인하고 UI를 고려하면서 해당 층 로고이미지를 B와 같이 수정하여 제작하였다.

3.3 3D모델링

해당 층 안내 리스트에서 목적지를 클릭했을 때 목적지가 표시되도록 구현하였다. 이때 일반 도면보다는 입체적인 3D모델링으로 구현하여 보다 직관적으로 이해할 수 있도록 하였다. 앱을 사용할 때 모든 건물과 층에 비콘을 설치해야 하므로 위치추적 장치가 필요한 네비게이션 기능은 포함하지 않고 목적지를 선택하면 3D 평면도에 표시되도록 인포메이션 앱의 역할에만 집중하였다. 처음 도입 부분 외에 건물 전체의 3D모델링 또한 AR적인 흥미는 있을 수 있으나 복잡한 컴퓨터그래픽스로 인해 오히려 인포메이션 역할이 약해질 수 있어 간결한 UI를 사용하여 전체 층을 안내하였다. Fig. 4는 기존 평면도와 3D모델링으로 구현한 평면도 이미지이다.

Fig. 4. 3D Modelling.

3.4 UI 구현

증강현실의 사용자 인터페이스 디자인에 있어서 다음 레벨의 정보를 위해 입력받아야 할 요소(메뉴 버튼, 확인 창 등)가 있는데 이 정보를 각 증강현실 구현 특징에 맞게 효과적으로 보여주고 입력받을 수 있는 인터페이스 디자인이 되어야 한다. 또한, 사용자에게 알려야 할 정보를 표시하는 방법을 정해야 하고 정보가 디스플레이의 어느 위치에 어떻게 표현할 것인지 결정해야 한다.

Fig. 5는 인포AR앱 아이콘과 앱 실행 시 화면 이미지이다. 버튼은 비활성화와 활성화 상태로 제작하고 폰트 지정하여 유니티3D 작업상에서 삽입하여 수정을 쉽게 하도록 하였다. 층별 세부리스트 활성화시(목적지 선택)에는 흰글씨체로 변경된다.

Fig. 5. UI Design.

3.5 뷰포리아

마커는 현실 세계에서 카메라가 특정 객체를 인식하기 위한 식별자 역할을 하며 단순한 이미지, 3D오브젝트, 텍스트 등이 마커가 될 수 있다. 뷰포리아는 마커를 사용하는 방식으로 동작하며 로고이미지의 명암 대비를 기반으로 인식하는 알고리즘을 가지고 있다. 본 논문에서는 로고이미지를 마커의 기능을 수행하도록 하여 장소의 아이덴티티도 전달하고자 하였다. Fig. 6은 타겟의 이미지 특징점을 나타낸 것이다. 이 이미지 특징점의 개수가 많을수록 인식률이 높다고 할 수 있다. 앞에서 언급한 로고이미지의 충돌도 이미지 특징점 인식률에서 생긴 것으로 층별 로고이미지를 보완 수정하였다. Fig. 6은 로고이미지 수정 전후의 이미지 특징점을 비교한 것이다.

Fig. 6. App Implementation.

Fig. 7은 로고이미지를 인식하고 실행시켰을 때의 화면 이미지이다. 건물 전체 로고이미지 인식 후 해당층 클릭 시 세부안내 표시화면, 해당층에서 로고이미지를 인식 시 표시화면, 목적지 틀릭시 3D 평면도에 표시되는 화면이다.

Fig. 7. Image Feature Point.

4. 실험 결과 및 고찰

본 논문에서는 증강현실 엔진에 인터페이스를 결합하여 인포메이션이 가지고 있어야 하는 정보전달 요소를 제공하여 건물 내에서의 인포메이션을 제공하고자 하였다. 정보전달 미디어로서의 증강현실은 상황에 맞는 적절한 정보를 적절한 방식으로 제공하지 못하면 사용자에게 외면받게 될 것이다. 본 인포AR앱의 사용자 경험 평가를 통해 증강현실에서의 정보 표현이 효율적으로 적용되었는지를 사용자 테스트를 진행하였다.

설문은 호남대학교 창조관(8호관-ICT공과대학 건물)에서 제시한 목적지를 앱을 활용하여 찾아오도록 하고 이에 대한 설문지를 작성하도록 하였으며 총 20명을 대상으로 진행하였다.

목적지를 찾아오는 과정에서 어려운 점이 없었는지에 관한 질문에 ‘대체로 없었다.’ 18명(90%), ‘보통이다’ 2명(10%)으로 나타났다. 이는 앱의 활용도에 대한 긍정적인 평가를 얻을 수 있었고, 인터뷰 과정에서 대부분이 기존의 인포메이션은 정확하지 않거나 없는 경우가 있어 주변 사람에게 물어보거나 정확한 위치를 확인해야 하는 번거로움이 있었다는 경험을 밝혔다.

두 번째로 원하는 정보를 단계별로 찾을 수 있었는가에 관한 질문에 ‘대체로 그렇다.’ 17명(85%), ‘보통이다’ 3명(15%)으로 나타났다. 이는 UI와 화면 구조에 관한 질문으로 대체로 긍정적인 평가를 얻을 수 있었다. 우선은 페이지가 간결한 구조로 되어 사용성에 어려움은 없었고 3단계 정도에서 목적지를 찾을 수 있고 목적지를 클릭하면 3D 평면도 상에 표시되는 부분이 좋았다는 평가였다.

세 번째로 터치스크린 및 조작에 익숙한 인터페이스인가에 대한 질문에 ‘대체로 그렇다.’ 15명(75%), ‘보통이다’ 5명(25%)으로 나타났다. 이는 인터페이스의 일관성, 직관성에 관한 질문으로 전반적으로 직관성이 높았음을 알 수 있으나 화면에서 안내할 내용이 많거나 층별 안내 콘텐츠가 많을 경우 인터페이스의 보완이 필요함을 알 수 있었다.

마지막으로 만족도와 재사용성에 관한 질문에 ‘대체로 그렇다.’ 18명(90%), ‘보통이다’ 2명(10%)으로 나타났다. 프로토타입으로 제작한 것을 고려하면 앱의 목적성에 있어서는 긍정적인 결과를 얻었다고 볼 수 있다.

5. 결론

본 연구에서는 모바일 증강현실을 이용한 정보제공을 통해 인포메이션사인의 효율성을 높이는 것을 목적으로 하여 건물의 인포메이션을 증강현실 콘텐츠에 적용시켜 사용할 수 있는 앱을 제안하였다. 증강현실 엔진에 인터페이스를 결합하여 인포메이션이 가지고 있어야 하는 정보전달 요소를 제공하여 건물 내에서의 인포메이션을 제공하고자 하였다. 증강현실 기술은 실제세계에 가상의 객체를 결합시켜 보여주는 기술이기 때문에 정보의 시각화 측면에서 최대한 자연스럽게 실제와 가상이 어우러져야 한다. 또한, 정보를 레이아웃 하는데 있어서 제약된 화면 내에 얼마나 많은 정보를 일시적으로 보여줄 것과 사용자의 시점 변화와 마커의 각도 변화 등에 따라 주석 등의 텍스트와 기타 바(bar)등이 원근과 각도가 변할 경우에도 왜곡되지 않도록 해야 한다.

기존 인포메이션 디자인은 시각적인 요소를 고려하여 다양한 장소에 활용되고 있다. 하지만 인포메이션사인의 경우 내용이 수시로 변경되고 매번 교체하는 작업이 번거로워지면서 인포메이션 원래의 역할을 하지 못하거나 키오스크 형태로 변경되기도 한다. 인포AR 앱은 구조가 변경될 때마다 인포메이션을 교체할 필요가 없고 고가의 키오스크를 구입하지 않고 방문자에게 편의를 제공할 수 있다. 앞으로 인터페이스 사용성에 관한 연구를 보완하여 진행하고 VR콘텐츠를 추가하여 비즈니스 카드 등에 활용하는 등 완성도를 높이면 활용도 높은 콘텐츠가 제작될 것으로 기대한다.

사용자 평가 결과에서 알 수 있듯이 본 논문에서 제안하는 인포AR 앱은 의도한 대로 건물 내 목적지를 찾기 쉬운 것은 물론 마커가 상징적인 로고이미지를 대용하는 역할을 할 수 있다는 장점이 있다.

최근에 기존의 증강현실 저작 도구들이 다양한 상호작용 방법들을 접목하는 연구들이 꾸준히 계속되고 있다. 이러한 연구를 통해 앞으로는 기존의 전통적인 디자인 요소에 상호작용이 가능한 증강현실 콘텐츠들이 제공될 것이다. 추후 연구에서는 인터페이스에 대해 사용자의 편의성과 사용성을 위한 연구가 추가적으로 요구되며 사용자가 직접 수정이 쉽도록 저작도구로서의 개발 연구가 필요하다. 본 논문에서 제안하는 인포AR 앱을 통해 기존의 인포메이션의 문제점을 해결할 수 있는 증강현실 기술을 접목할 기회를 제공할 것이다.