DOI QR코드

DOI QR Code

Seamless Viewing Control by User Movement Between Pyramid Sections in Desktop 3D Hologram Pyramid

데스크톱 3D 홀로그램 피라미드에서 피라미드 단면 사이 사용자 이동에 따른 끊김 없는(seamless viewing control) 뷰 생성

  • 황선주 (이화여자대학교 융합콘텐츠학과) ;
  • 남양희 (이화여자대학교 융합콘텐츠학과)
  • Received : 2020.10.19
  • Accepted : 2020.12.06
  • Published : 2021.03.28

Abstract

The hologram pyramid is an application of floating holograms, allowing the observer to see three-dimensional holograms from various angles without wearing wearable devices. Due to the low cost and ease of manufacturing, it has been used in a wide variety of fields as diverse as education, prototyping, showcase, and etc. But, when the observer looks at the hologram from the place where each side of the hologram pyramid is connected, the hologram looks cut and distorted. Also, the observer can see the only hologram of angles viewed head-on from each side. In this paper, we propose a method of generating a hologram image corresponding to the observer's gaze angle by tracking the observer's position and conducting reverse distortion. It provide a hologram of the angle viewed by the observer without cutting and distortion. In addition, the existing method and the proposed method were applied and compared in the hologram pyramid.

홀로그램 피라미드는 플로팅 홀로그램의 응용으로, 착용형 장비 없이 다각도에서 3D 홀로그램을 감상할 수 있게 하는 장치이다. 저렴하고 제작이 간단하다는 장점으로 교육, 프로토타이핑, 쇼케이스 등 다양한 분야에서 사용되고 있다. 그 중에서도 데스크톱형 홀로그램은 기존의 홀로그램 피라미드의 크기를 키워 더욱 선명하고 크게 홀로그램을 감상할 수 있게 하였다. 하지만 다각도에서 홀로그램 피라미드를 감상할 수 있음에도 불구하고, 피라미드의 각각의 면이 이어지는 곳에서 홀로그램을 감상할 경우, 홀로그램이 끊기거나 왜곡되는 현상이 있다. 뿐만 아니라, 기존 홀로그램 피라미드에 투사되는 영상은 단순히 각각의 면에 홀로그램을 90도씩 회전시킨 4개의 뷰를 투사하도록 제작되어 있기 때문에, 사용자가 다양한 각도에서 홀로그램을 감상하더라도 4개의 각도에서 바라본 뷰 밖에 보지 못한다. 본 논문에서는 이러한 문제를 해결하기 위해 사용자의 위치를 추적하여 사용자의 시선 각도에 해당하는 홀로그램 영상을 생성 후, 역으로 왜곡하여 투영된 홀로그램이 왜곡되지 않는 방법을 제안하고, 기존의 홀로그램 피라미드 영상을 사용한 결과와 새롭게 제안한 방법을 적용한 결과를 비교 하였다.

Keywords

Ⅰ. 서론

홀로그램은 빛을 광학적으로 기록하여 원근감과 깊이감을 주는 3차원 영상으로, 합성된 영상을 실재감 있게 관찰할 수 있는 수단이다. 실제 홀로그래픽 장치는 레이저 빔과 특수 물질 플레이트를 이용한 고가의 제품으로 제작된다. 따라서 대부분의 전시나 공연에서는 진정한 의미의 홀로그램이 아닌 유사 홀로그램 기술을 사용하고 있다. 유사 홀로그램의 한 종류인 플로팅 홀로그램은 1860년대 빅토리아 극장에서 사용되었던 페퍼의 유령(Pepper's Ghost) 공연기술이 그 시초이며, 밝은 영상을 기울어진 투명막류에 투사하여 반사된 빛을 사용자가 보게 한다. 반사된 빛은 마치 사물이 공중에 떠 있는 것처럼 보이기 때문에 플로팅(Floating) 방식이라고 한다.

플로팅 홀로그램은 고급형 홀로그래픽 기술에 의한 장치와 마찬가지로 입체 안경 등의 착용 없이 3차원 영상을 보게 하고, 제작이 용이하며 가격이 저렴한 장점이 있다. 특히 프로젝터 대신 스마트폰 디스플레이의 빛과 영상을 이용하는 손바닥 크기의 유사 홀로그램 장치들은 초저가로 제작되어 일부 시판 중이며, 이 외에도 다양한 크기와 종류의 유사 홀로그램 장치가 제작되고 있다. 그 중 하나인 홀로그램 피라미드는 빠른 프로토 타이핑이나, 과학이나 유적 탐구 등의 교육, 전시, 3차원 디자인 등 다양한 잠재적 용도[1-3]를 가지고 있으며, 사용자를 인식하는 센서를 추가하여 사용자의 상호작용하는 3D 콘텐츠를 제공하기도 한다[4][5]. 하지만 단순 흥미용을 넘어선 실질적인 응용에는 제약이 많다.

데스크톱형 홀로그램 피라미드는 플로팅 홀로그램을 응용한 것이다. 디스플레이에서 나온 이미지가 피라미드 모양의 반사면을 통해 피라미드 내부에 떠있는 것처럼 보이게 하였으며, 기존의 스마트폰형 홀로그램 피라미드에서 디스플레이와 피라미드의 크기를 키워 사용자가 피라미드의 각 면에서 홀로그램을 더욱 크고 감상하기 편하게 하였다. 홀로그램 피라미드에 투사하는 이미지 혹은 영상은 주로 3D 모델을 0도, 90도, 180도, 270도에서 바라보았을 때 보이는 이미지를 각각의 피라미드 면에 투사되도록 배치하여 제작한다. 이러한 방법으로 사용자는 홀로그램 피라미드를 통해 3D 모델을 4가지 각도에서 감상할 수 있다. 이와 같은 방법은 사용자가 피라미드 안의 홀로그램을 다각도에서 관찰하기 위해 피라미드의 한 면에서 다른 한 면으로 이동하는 경우, 사용자의 시선 각도에 따라 홀로그램 왜곡 현상과 피라미드가 연결된 각 면에서는 홀로그램이 끊어져 보이는 현상이 나타난다. 그 뿐만 아니라 제작된 홀로그램 이미지는 0도, 90도, 180도, 270도에서 바라보는 각각의 면에 보이게 이미지를 배치하여 만들었기 때문에 사용자가 홀로그램을 다양한 각도에서 관찰하더라도 0도, 90도, 180도, 270도에서 바라보는 홀로그램 모습만을 보여준다.

이에 본 논문에서는 32인치 모니터를 디스플레이로 하는 데스크톱형 4면 홀로그램 피라미드 환경에서 사용자의 위치를 트래킹하여 홀로그램 영상이 홀로그램 피라미드에 투영되었을 때, 사용자의 시선 각도에 따른 왜곡과 끊김 없는 홀로그램 영상을 생성하는 방법을 제안하였다. 이를 위해, 기존의 영상을 사용자의 위치에 따라 콘텐츠를 제공하게 바꾸고, 영상을 역으로 왜곡하여 홀로그램 피라미드에 투사된 홀로그램의 왜곡과 끊김 현상을 개선한다. 이에 사용자는 추가적인 착용 장비 없이 다각도에서 끊기지 않는 홀로그램을 감상할 수 있을 것이다.

본 연구의 Ⅱ장에서는 홀로그램 피라미드에 사용되는 홀로그램 영상 생성에 대한 방법과 360도 홀로그램들에 대해 기술하고, Ⅲ장에서는 사용자를 트래킹하여 사용자의 시선 방향에 맞는 끊김과 왜곡 없는 홀로그램 피라미드용 영상을 생성하는 방법에 대해 기술한다. Ⅳ 장에서 실제 구현 결과와 기존의 방식을 비교한 후, 마지막으로 V장에서 결론으로 논문을 맺는다.

Ⅱ. 관련 연구

1. 홀로그램 피라미드와 홀로그램 영상 생성

홀로그램 피라미드는 페퍼의 유령 기법을 여러 면에 적용하여 마치 투명한 피라미드 안에 3D 오브젝트가 들어가 있는 것과 같은 착시를 가지게 하여 홀로그램을 감상할 수 있도록 하는 장치이다. 홀로그램 피라미드의 각 면은 유리 혹은 투명 반사면으로 45도 각도로 이루어져 있으며, 피라미드 상단 혹은 하단에 장치된 디스플레이를 이용하여 홀로그램 콘텐츠를 투사한다. 홀로그램 피라미드는 3면 형, 4면형 등 다양하게 제작 가능하며, 투사하는 영상 역시 정지된 이미지뿐만 아니라 움직이는 영상 혹은 애니메이션 효과를 가진 영상 등으로 다양하게 제작된다.

그림 1. 홀로그램 피라미드의 원리

홀로그램 피라미드에 디스플레이 할 홀로그램 영상을 만들기 위해서는 게임 엔진을 주로 사용한다. 게임 엔진을 이용하여 3D 오브젝트를 각각의 면에서 바라보았을 때의 뷰를 피라미드의 각 면에 투사 되도록 홀로그램 영상을 제작하면 다양한 3D 오브젝트를 쉽게 홀로그램 피라미드에 투사할 수 있다. 카메라가 중앙에 있는 오브젝트를 바라보고 있기 때문에 오브젝트를 좌우 이동시키거나 회전시키는 등의 다양한 환경에도 끊김 없이 영상을 제공할 수 있다[6][7].

홀로그램 피라미드에 투사하기 위해 주로 사용되는 영상은 [그림 2]와 같이 제작되어 [그림 3]과 같이 피라미드의 각 면에 투사된다. 보통 3D 모델의 0도, 90도, 180도, 270도에서 바라본 모습을 사용하여 피라미드의 각 면에서 홀로그램을 관찰할 수 있도록 한다.

그림 2. (왼쪽) 게임 엔진을 이용하여 홀로그램 영상을 만들기 위한 카메라 배치, (오른쪽) 각각의 카메라를 피라미드의 각 면에 투사되도록 배치한 이미지.

빗금은 실제 이미지에 포함되지 않으며, 피라미드의 각 면에 보이는 영역을 표시하였다.

그림 3. 홀로그램 피라미드의 각 면에 대응되는 홀로그램 영상

2. 360도 플로팅 홀로그램

사용자가 특별한 장비 착용 없이 홀로그램을 360도에서 끊김 없이 감상하기 위해서 다음의 연구들이 선행 되어왔다. 고가의 홀로그램 장비를 사용할 경우, 홀로그램을 360도에서 감상할 수 있지만, 저가의 비용을 가지고 홀로그램을 360도 감상할 수 있도록 하기 위한 연구에서는 주로 사용자의 위치에 따라 그에 맞는 이미지를 보여주는 방법을 사용한다[8-10].

Andrew Jones 등의 연구[8]에서는 사용자의 머리를 추적하여 사용자의 위치에 따라 홀로그램 영상이 제공될 수 있도록 거울형 홀로그램을 회전시켜 360도에서 감상할 수 있도록 하였다. Xuan Luo 등의 연구[9]에서는 홀로그램 피라미드를 원뿔 모양으로 제작하고, 태블릿 PC를 디스플레이로 사용하여 홀로그램 피라미드에서 면이 두 개 보일 때 홀로그램이 끊기는 문제를 해결하였다. 원뿔형에서 홀로그램을 반사시키면, 왜곡이 생기기 때문에 원뿔형에 보일 모습을 계산하여 홀로그램 영상을 사전에 왜곡시켜 투사시켰다. 하지만 원뿔형 홀로그램에 반사되는 홀로그램은 0도, 90도, 180도, 270도 등 여러 각도에서의 모습을 제공하는 피라미드형 홀로그램과는 달리 한 각도에서의 홀로그램만 제공하기 때문에 360도에서 홀로그램을 감상할 수 있도록 회전판 위에 태블릿 PC를 설치하고 원뿔형 홀로그램을 회전시킬 수 있도록 하였다. 자이로 센서를 이용하여 태블릿 PC가 회전된 각도만큼 회전된 홀로그램 영상을 제공해 사용자가 회전판을 돌리면서 360도에서 홀로그램을 감상할 수 있도록 하였다.

위의 연구들은 주로 홀로그램 장치를 회전시키는 방법으로 360도에서 홀로그램을 볼 수 있도록 하였다. 본 연구는 홀로그램 피라미드 환경에서 사용자를 추적하여 피라미드를 움직이지 않고도 360도에서 끊김과 왜곡 없이 홀로그램을 볼 수 있는 방법을 제공한다.

Ⅲ. 사용자의 위치에 따른 홀로그램 영상 생성

홀로그램 피라미드에서 사용자의 위치 이동에도 끊김과 왜곡이 없으면서, 사용자의 위치에 따른 시선각도에서 홀로그램을 바라본 뷰를 제공하기 위해 사용자의 위치를 추적하고, 그에 따라 보여야 할 홀로그램 영상을 역으로 왜곡하는 방식을 사용하였다. 사용자의 위치에 따라 사용자가 바라보는 홀로그램 피라미드의 콘텐츠가 바뀌어야 하며, 피라미드 면의 면적, 각도가 바뀌기 때문에, 사용자의 머리 위치 추적, 사용자의 머리 위치에 따른 뷰와 그에 따른 왜곡을 보정하기 위한 이미지 보정 알고리즘을 사용하였다. 이때, 본 연구에서는 사용자의 시선 방향을 사용자의 머리 위치로 정의하였다.

1. 사용자의 머리 추적

기존의 홀로그램 피라미드용 영상은 좌표계를 [그림 4]와 같이 설정하였을 때, 각각 x축과 z축에서 피라미드를 홀로그램 바라볼 때의 홀로그램 영상만을 제공하였다. 하지만 사용자는 그 외의 곳에서도 홀로그램 피라미드를 관찰하기 때문에, 사용자의 위치와 시선 각도에 따른 홀로그램 영상을 제공하여야 한다.

그림 4. 본 논문에서 사용되는 홀로그램 피라미드와 좌표계. 이 좌표계의 원점은 홀로그램 피라미드의 중앙에 위치하며, y축은 피라미드와 홀로그램의 중심축, z축은 사용자의 시선 방향 𝜃의 기준이다.

본 연구에서는 사용자의 머리 위치를 사용자의 시선 각도로 정의하고, 사용자의 시선 각도 𝜃를 계산하기 위해 [그림 5]와 같이 홀로그램 피라미드의 z축 위에 깊이 카메라를 설치하였다. 설치된 깊이 카메라를 이용하여 사용자의 머리의 좌표를 추적하고, 추적된 좌표 (Hx, Hy, Hz)를 이용하여 사용자의 시선 각도 𝜃를 계산한다.

그림 5. 사용자의 머리 위치를 추적하기 위해 홀로그램 피라미드의 z축과 동일한 선상에 깊이 카메라를 설치하였다.

2. 사용자의 머리 위치에 따른 뷰

실제 현실에서 사용자가 특정한 물체를 처음보다 𝜃만큼 이동하여 물체를 바라본다면, 사용자는 처음에 보이는 물체의 모습에서부터 𝜃만큼 회전된 모습을 바라보게 된다. 이를 홀로그램에도 적용하기 위해 사용자가 항상 피라미드의 정중앙에 있는 홀로그램을 바라본다고 가정하고, 홀로그램 피라미드에 보여야 할 뷰는 z축과 사용자의 시선 각도 𝜃를 고려하여 -𝜃만큼 회전된 3D 물체의 뷰를 제공한다. 또한 홀로그램 피라미드를 바라볼 때, 사용자가 볼 수 있는 면은 최대 2개의 연속된 면이 다. 이에 사용자에게 보이지 않는 쪽의 면은 영상을 투사하지 않도록 한다. 사용자에게 보이지 않는 쪽의 면은 홀로그램 영상을 투사하더라도 사용자가 볼 수 없으며, 반사가 매우 잘 되는 환경에서는 오히려 영상이 반사되어 홀로그램 경험을 해치기도 하기 때문에 사용자의 시선 각도 𝜃에서 보이지 않는 면은 영상을 제공하지 않도록 한다.

최종적으로 [그림 6]의 오른쪽 그림과 같이 사용자와 피라미드의 z축과의 시선 각도가 𝜃일 때 홀로그램 영상은 3D 모델을 -𝜃만큼 y축 회전시키고, 𝜃에서 보이는 면만 영상을 제공하는 홀로그램 영상 \(I_{\theta}\)를 얻을 수 있다.

그림 6. (왼쪽) 보이지 않는 면을 고려하지 않은 홀로그램 영상 이미지와 그 결과, (오른쪽) 보이지 않는 면과 사용자의 시선 각도 𝜃를 고려한 홀로그램 영상 이미지 𝜃와 그 결과

3. 이미지 보정

홀로그램 피라미드에서 사용자의 시선 방향에 따라 피라미드에 표시되는 홀로그램 콘텐츠가 끊어지고 왜곡되는 것을 해결하기 y축 보정과 왜곡 보정을 수행하였다. 홀로그램 피라미드를 정면에서 바라보았을 때에는 홀로그램이 정중앙에 있다고 가정하면, y축은 사용자에게 보이는 피라미드 면의 정중앙에 존재하여야 한다. 하지만 사용자가 이동을 하면서 다른 각도에서 피라미드를 바라보았을 때에는 보이는 두 면의 면적이 달라지면서, 기존의 y축을 기준으로 하는 경우 홀로그램이 피라미드의 중간이 아닌 한 쪽으로 치우치게 된다. 따라서 사용자의 시야각에 따라 홀로그램이 피라미드의 중앙에 위치하게 하기 위해서 [그림 7]과 같이 y축이 변경되어야 한다.

그림 7. 홀로그램 피라미드를 바라보는 각도 𝜃 에 따라 피라미드의 중심을 지나도록 그린 y축. 25°에서는 피라미드를 바라볼 때, 기존의 y축을 사용할 경우 홀로그램이 피라미드의 중앙보다 오른쪽에 위치한다.

또한 [그림 8]과 같이 𝜃에 사용자에게 보이는 v1과 v2는 기존의 평면 이미지에서부터 왜곡이 생기므로, v’1과 v’2에 그려질 그림을 계산하여 역으로 왜곡을 계 산한 이미지 Inew1과 Inew2를 각각 v1과 v2에 그리도록 하였다.

Inew1와 Inew2는 앞에서 그린 I𝜃에 y축과 왜곡을 보정한 이미지로 아래의 공식을 통해 구할 수 있다. 이때, d는 피라미드 사각뿔대의 작은 밑면의 한 변의 길이의 1/2이다.

그림 8. 사용자의 시선 각도를 이동하였을 때 사용자에게 보이는 v'1, v'2

\(I_{\text {new } 1}=\left(\begin{array}{ccc} \frac{1}{\cos \theta} & 0 & d \tan \theta \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right) I_{\theta}\)       (1)

\(I_{\text {new } 2}=\left(\begin{array}{ccc} \frac{1}{\sin \theta} & 0-\frac{d}{\tan \theta} \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right) I_{\theta}\)       (2)

Ⅳ. 실험 및 결과

본 실험은 32인치 모니터를 디스플레이로 사용하는 데스크톱형 4면 홀로그램 피라미드를 사용하여 진행하였다. 홀로그램 피라미드의 모니터에 데스크톱을 연결하여 사용자의 실시간 위치에 맞는 홀로그램 영상을 제공하여 홀로그램을 감상할 수 있도록 하였다. 사용자의 위치는 홀로그램 피라미드 앞에 설치한 깊이 카메라를 사용하여 실시간으로 트래킹하였고, 홀로그램 피라미드에 다양한 정적 및 동적 콘텐츠들을 띄워 여러 각도에서 끊김 없는 3D 영상을 보여주는지 확인하였다.

1. 실험 환경

1.1 홀로그램 피라미드

홀로그램 피라미드의 제작은 360도에서 홀로그램을 관찰할 수 있도록 기존의 스마트폰 기반의 4면 피라미드 도면을 32인치 모니터에 맞게 확대하여 적용하였으며, 피라미드의 빔 스플리터는 하프미러를 사용하여 제작하였다.

홀로그램 피라미드의 설치는 사용자가 홀로그램 관찰을 용이하게 할 수 있도록 사용자의 눈높이에 맞춰 배치하였으며, 360도에서 홀로그램 피라미드를 관찰할 수 있도록 하였다.

1.2 깊이 카메라

깊이 카메라는 사용자가 홀로그램을 관찰하는 시선 방향을 구하기 위하여 사용된다. 본 실험에서는 사용자의 머리 위치를 시선 방향으로 가정하였으며, 이를 구하기 위해 깊이 카메라로 Kenect v1을 사용자의 머리 좌표를 실시간으로 트래킹 할 수 있도록 하였다. 사용자를 추적할 수 있도록 피라미드와 2.5m 떨어진 곳에서 성인 여성인 사용자의 상반신이 나오는 높이인 1.6m에 배치하였으며, 홀로그램 피라미드를 정중앙에서 바라보도록 하였다. 본 위치는 사용자의 위치를 추적하기 위해서 실험을 진행하기 전 사전 측정을 통하여 홀로그램 피라미드의 정중앙의 (x, y, z) 좌표값을 구하였다.

1.3 홀로그램 영상 제작

게임 엔진을 사용하여 실시간으로 사용자의 위치에 맞는 홀로그램 영상을 제작하였다. 사용한 소프트웨어는 Unity 2018.1.8f1를 사용하였고, Window10, Intel Core i7-7770 3.60GHz, NVIDIA GeForce GTX 1080 환경에서 실험을 진행하였다.

사용자의 위치 각도 𝜃를 계산하기 위해 홀로그램 피라미드와 깊이 카메라를 설치하면서 측정한 홀로그램 피라미드의 정중앙 좌표 (x, y, z)와 깊이 카메라를 사용하여 얻은 사용자의 머리 좌표 (x, y, z)를 이용하였다. 계산된 z축과의 각도 𝜃를 사용하여 사용자의 각도 𝜃에 따른 홀로그램 영상을 실시간으로 제공하였다.

2. 결과 및 평가

실험은 홀로그램 피라미드와 깊이 카메라 사이에서 사용자 한 명이 홀로그램 피라미드 주위를 천천히 돌며 홀로그램을 관찰하는 방식으로 진행하였다. 여러 종류의 3D 콘텐츠를 홀로그램 피라미드에 투사하도록 기존의 방식과 제안한 방식으로 영상을 제작하여 홀로그램 피라미드에 투사하여 비교하였다.

가장 왜곡이 심한 45도 각도에서 홀로그램 피라미드를 바라보았을 때의 각각의 결과는 [그림 9]와 같았다. 기존의 방식으로 홀로그램 피라미드에 투사하였을 경우, 45도 각도에서 홀로그램 피라미드를 바라보아도, [표 1]의 (1)과 같이 각각의 면에 고정된 홀로그램을 0도에서 바라본 각도와 90도에서 바라본 각도를 각각의 피라미드 면에 투사한다. 그로 인해 사용자는 끊겨 있을 뿐 아니라 두 면에서 각자 다른 각도에서의 콘텐츠를 보았다. [표 1]의 (2)에서는 이를 개선하여 사용자에게 보이는 두 면 모두 동일하게 45도 회전된 홀로그램 영상이 생성되었다. 홀로그램 피라미드에 이를 투사하여 45도 각도에서 바라본 결과, [표 1]의 (1)과 달리 두 면 모두 같은 각도에서의 홀로그램 영상을 볼 수 있게 되었다. 하지만 홀로그램 영상을 제작할 때 사용했던 콘텐츠를 45도 회전시킨 모습과 비교해보면, 투영된 결과가 실제 콘텐츠보다 가로로 짧게 찌그러져 있는 왜곡과, 두 면에서의 높이가 맞지 않아 끊겨보이는 현상을 발견할 수 있었다.

그림 9. 첫 번째 줄부터 선, 큐브, 호랑이 3D모델을 가지고 영상을 그리고, 홀로그램 피라미드에 투사한 후 각각 다양한 시야 각도에서 찍은 결과

표 1. 기존 홀로그램 영상과 개선한 홀로그램 영상 및 결과

최종적으로 이를 개선한 [표 1]의 (3)에서는 (2)의 영상을 늘린 영상이 제작되었다. 홀로그램 피라미드에 (3)의 영상을 투사한 결과, 3D 콘텐츠와 비슷하게 끊김과 왜곡이 개선된 모습을 볼 수 있었다.

이 외에도 [그림 9]와 같이 선, 큐브, 호랑이 3D 모델 등의 3D 콘텐츠를 사용하여 홀로그램 피라미드 주위를 돌며 결과를 확인하였다. 45도 각도 이외에도 약 10도, 약 25도에서 홀로그램 피라미드를 관찰한 결과, 피라미드의 다른 면이 조금만 보이는 상황에서도 왜곡과 끊김이 잘 나타나지 않는 모습을 볼 수 있었다. 끊김에 까다로운 선 모양에서도 두 면이 연결되는 부분에서 높이 차이가 크게 발생하지 않았으며, 정사각형 큐브를 통해 왜곡 또한 개선되었음을 볼 수 있었다.

하지만 y축으로 왜곡되는 경우는 보정하지 않아 촬영한 결과가 카메라를 드는 높이에 따라 위아래로의 왜곡이 생기는 경우가 종종 있었다. 이외에는 깊이 카메라의 성능 때문에, 최초 사용자 인식에 시간이 필요했고, 사용자의 인식을 유지하기 위해서 매우 천천히 이동해야 한다는 문제점과 흔들림 현상이 있었다. 또, 사용자의 이동에 따라 홀로그램을 반대로 회전시켜 사용자가 이동하였을 때의 각도에서 보여야 할 홀로그램을 보여 주었는데, 이 과정에서 이질감이 있어 홀로그램을 다양한 각도에서 볼 수는 있지만, 실제 3D 콘텐츠의 주위를 도는 것 같지는 않다는 평이 있었다. 그리고 홀로그램의 선명도를 높이기 위해 반사율이 높은 하프미러를 사용한 결과 밝은 환경에서는 주위의 환경까지 반사가 잘되어 홀로그램 감상에 몰입이 떨어지는 경우가 아쉬웠다.

Ⅴ. 결론 및 추후 연구

홀로그램 피라미드는 저렴하고 제작하기 쉽다는 장점으로 일상의 다양한 분야에서 사용되고 있다. 하지만 사용자가 다각도에서 홀로그램을 감상할 수 있음에도 불구하고, 사용자가 피라미드 각 면의 정면이 아닌 곳에서 홀로그램을 감상할 경우 홀로그램이 왜곡되거나 끊기는 현상이 있으며, 바라본 각도에서의 홀로그램을 제공하지 못하는 문제가 있다.

이에 본 논문은 홀로그램을 더 크고 선명하게 관찰할 수 있는 데스크톱 형 홀로그램 피라미드 환경에서 깊이 카메라를 추가하여 사용자를 추적해 사용자의 시선 각도에 따라 홀로그램을 회전시키고, 홀로그램 피라미드에 투영되었을 때 왜곡되거나 끊기지 않도록, 홀로그램 영상을 역으로 왜곡한 홀로그램 영상을 제작하는 기법에 대해 제안하고 홀로그램 피라미드에 투사한 결과를 기존의 홀로그램 영상을 투사한 결과와 비교하였다. 그 결과 새롭게 제작된 홀로그램 영상을 투사하였을 때, 기존의 홀로그램에서는 제공하지 못했던 시야각을 제공하고, 피라미드의 두 면이 연결된 곳에서 주로 발생 했던 홀로그램 끊어짐과 왜곡 문제가 개선되었다. 하지만, 다수의 사용자에 대해서는 고려되지 않았으며, 실험 도중 깊이 카메라의 사용자 인식 문제가 발생하기도 하였다. 또, 실험 환경상 깊이 카메라 1대만을 사용하여 피라미드의 3면에서만 실험을 진행하여 홀로그램을 360도로 관찰하지는 못하였으며, 사용자의 좌우 이동만 고려하였기 때문에 상하 이동이 있을 경우, 다시 상하 왜곡이 발생할 수 있다. 하지만 같은 방식으로 고성능의 깊이 카메라를 반대편에 설치한다면 사용자는 아무런 장비 착용 없이 360도에서 홀로그램 피라미드를 통해 홀로그램을 감상할 수 있을 것으로 예상된다. 상하 이동에 대한 보정 역시 사용자 머리의 y위치를 추적 후 사용자의 위치에서 보여야 할 영상을 y축 왜곡 값을 계산하여 보정한다면 상하로 발생하는 왜곡 역시 해결할 수 있을 것으로 사료된다.

향후에는 이러한 문제점과 고성능의 카메라로 360도 홀로그램 환경을 제공하게 하고, 다수의 사용자 환경에 대한 연구를 수행하고자 한다.

References

  1. R. Roslan and A. Ahmad, "3D Spatial Visualisation Skills Training Application for School Students Using Hologram Pyramid," JOIV : International Journal on Informatics Visualization, Vol.1, No.4, pp.170-174, 2017. https://doi.org/10.30630/joiv.1.4.61
  2. I. A. Gafur, "Mixed Reality Application as a Learning System of Motion Systems using Pyramid Hologram Technology," Journal of Physics: Conference Series, Vol.1351, No.1, 2019.
  3. Dragi Tiro, Admira Poturiovic, and Nevzudin Buzadjija, "The possibility of the hologram pyramid applying in the rapid prototyping," 2015 4th Mediterranean Conference on Embedded Computing (MECO), pp.25-30, 2015.
  4. 임수연, 김상욱, "관객접근에 의해 행동하는 3D 홀로그래픽 콘텐츠 저작 및 프로젝션," 한국콘텐츠학회논문지, 제12권, 제2호, pp.597-604, 2012.
  5. 김동현, 김상욱, "포인트 클라우드 형태의 인터랙티브홀로그램 콘텐츠," 한국콘텐츠학회논문지, 제12권, 제9호, pp.40-47, 2012. https://doi.org/10.5392/JKCA.2012.12.09.040
  6. 류재호, 조은상, 이정인, "유사 홀로그램 기술과 인터랙션을 이용한 3D 디지털 콘텐츠의 전시방법에 관한 연구 : - 유사 홀로그램의 피라미드형 반사방식을 중심으로 -," Design Convergence Study 73, Vol.17, No.6, 2018.
  7. Abu Bakar Abdullah Muhammad, Nor Anita Fairos Ismail, and Mohd Shahrizal Sunar, "Reflective Prism Display Using Pepper's Ghost Technique Software Toolkit Plugin for Unity 3D," Jurnal Teknologi (Sciences & Engineering), Vol.78, No.12-3, pp.189-196, 2016.
  8. A. Jones, I. McDowall, H. Yamada, M. Bolas, and P. Debevec, "Rendering for an Interactive 360° Light Field Display," ACM Transactions on Graphics, Vol.26, No.3, 2007.
  9. Xuan Luo, Jason Lawrence, and Steven M. Seitz, "Pepper's Cone: An Inexpensive Do-It-Yourself 3D," UIST '17: Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp.623-633, 2017.
  10. Tomoharu Nakamura, Tomoya Yano, Kohki Watanabe, Yui Ishii, Hideki Ono, Ippei Tambata, Nobuki Furue, and Yuji Nakahata, "360-degree transparent holographic screen display," SIGGRAPH '19: ACM SIGGRAPH 2019 Emerging Technologies, pp.1-2, 2019.