Implementation of Character Floating Hologram by Age and Gender Recognitions using Depth Images

깊이영상을 이용한 나이와 성별인식을 통해 캐릭터 플로팅 홀로그램 구현

Abstract

In this paper, we propose a character floating hologram system using the user's gender and age. The proposed system recognizes the gender and age of the user through depth images and color images. The depth images are used to find and normalize facial position. Next, by using facial color images, the age and gender are estimated through an verified database-based model of CNN. Finally, the estimated age and gender are expressed to a character for the floating hologram. The proposed system can be used in a variety of areas, including marketing, advertising, and exhibition events using gender or age.

1. 서 론

측정 기술의 발달과 데이터처리 성능의 비약적인 발전에 힘입어 디지털 콘텐츠를 제작하고 이를 응용하는 기술들이 각광을 받고 있다. 응용기술은 다양한 산업과 융합하여 사용자에게 편의성과 다양한 경험을 제공하고 있다[1,2]. 최근 응용기술들 사이에서 관심이 집중되는 것은 가상현실, 증강현실과 홀로그램이다. 이 기술들은 콘텐츠가 사용자에게 실재감과 상호작용을 할 수 있는 장점이 있다. 실재감이란 콘텐츠가 시각적으로 실재하는 공간 혹은 물건과 똑같이 느끼도록 만드는 것을 의미한다[3]. 상호작용을 할 수 있는 디지털 콘텐츠는 사용자에게 몰입을 향상시킬 수 있으며 활발한 사용을 유도할 수 있다. 가상현실은 고해상도의 헤드 마운트 디스플레이와 손처럼 사용할 수 있는 컨트롤러를 이용하여 공간, 시간, 지역적인 제약에서 벗어나 자유로운 콘텐츠를 즐길 수 있다. 증강현실과 홀로그램은 카메라와 블루투스 기기와 같은 다양한 센서를 이용하여 상호작용 디지털 콘텐츠를 체험할 수 있다. 홀로그램은 ‘스크린 없는 디스플레이’로 레이저 광선 등을 이용하여 3차원 입체를 표현하는 기술이다[4]. 3D 홀로그램은 기술응용의 한계가 있어 상용화가 되지는 못하고 있다[5]. 3D 홀로그램을 제작하기에는 고가의 장비와 기술 등의 문제가 있어 대체품으로 유사홀로그램을 사용하고 있다. 최근 광고나 전시, 공연에서 사용되는 홀로그램 기술은 대부분 유사홀로그램에 포함된다. 유사홀로그램은 레이저 광선을 사용하는 것이 아닌고해상도 영상을 2차원의 투명필름에 투사하는 방식이다.

본 논문에서는 사용자의 정보에 따라 실시간으로 변하는 캐릭터를 플로팅 방식의 홀로그램으로 구현하는 방법을 제안하였다. 또한 사용자의 나이와 성별, 동작 정보를 인식하기 위하여 키넥트 센서를 사용하였다. 나이와 성별 정보는 연결된 컴퓨터로 전송되어 언리얼 엔진을 통해 캐릭터를 생성하는데 사용되고 동작 정보는 생성된 캐릭터와 연결되어 실시간으로 움직임을 나타낸다. 실시간으로 캐릭터는 플로팅 홀로그램 출력 영상으로 바꾸어 홀로그램 디바이스를 통해 출력된다. 시스템을 사용하는 사용자의 성별과 나이, 움직임에 따라 시각적으로 변하는 영상을 입체적으로 체험할 수 있는 홀로그램 콘텐츠이다.

본 논문의 구성으로서 2장에서는 시스템을 구현하는데 필요한 관련 연구내용을 기술하고, 3장에서는 실시간으로 캐릭터 영상을 제작하고 이를 홀로그램 디바이스를 사용하여 캐릭터 플로팅 홀로그램을 구현하는 과정을 기술한다.4장에서는 구현한 시스템의 결과와 평가를 한 후 결론을 맺는다.

 

2. 관련연구

2.1 플로팅 홀로그램

홀로그램은 ‘스크린 없는 디스플레이’이다. 완전한 영상이라는 뜻을 가진 그리스어로 Holos(완전한)와 Gram(기록하다)의 합성어로 레이저 빔의 간섭현상을 이용하여 물체가 가지고 있는 완전한 정보의 전체를 기록하고 있는 레이저 입체 영상을 의미한다[4]. 홀로그램의 원리는 두 개의 레이저 광이 서로 만나일으키는 빛의 간섭 효과를 이용하여 사진용 필름과 유사한 표면에 3차원 이미지가 기록됨으로서 가능하게 된다. Fig.1은 홀로그램을 사용한 액자형 사진으로 한 장만으로도 정면, 측면, 위아래 다른 위치로볼 수 있다. 홀로그램은 현실감 있는 3차원 이미지로몰입감을 향상시킬 수 있는 장점이 있다. 그러나 영상에 사용하기까지 넘어야 할 기술응용의 한계가 있기 때문에 5∼10년 정도의 개발 기간이 소요될 것으로 예상되어 유사홀로그램 방법을 사용하고 있다[5]. 현재 상용화되어 있는 유사홀로그램은 반사형과 투사형 두 가지가 있다. 반사형 홀로그램은 고해상도의 3차원 입체영상을 45도 각도로 설치된 투명한 필름에 투영을 시켜 공기에 영상을 반사한다. 공기에 반사된 영상이 공중에 떠 있는 것처럼 보이는 방식으로 플로팅 홀로그램 방식이라고 한다. 투사형 홀로그램은 입체 영상을 특수한 필름이나 스크린에 직접투사한다. 특수 가공 처리되어 투명한 스크린은 앞, 뒤에서 투사가 가능하다. 완전한 홀로그램은 빛의 간섭효과이기 때문에 구현의 비용이 크지만 플로팅 홀로그램의 경우 영상을 출력하는 프로젝터나 LCD 화면과 영상을 비추게 되는 필름을 사용하기 때문에 비용이 크게 들지 않는 장점이 있다. 비교적 적은 비용으로 콘텐츠를 제작하여 표현할 수 있으며, 기존의 LCD보다 입체감 있는 영상을 제공할 수 있다.

 

Fig. 1. Holography image.

 

플로팅 방식의 홀로그램은 영국의 발명가 헨리 더크(Henry Dirk)가 1862년에 고안하여 극장 공연에서 이용한 오래된 기술이다. 극장 연극 무대에서 착시효과를 이용해 환영을 사용하면서 페퍼스 고 스트(Pep-per & rsquo;sghost)로 불리기 시작하였다[4]. Fig.2와 같이페퍼스 고스트의 원리는 무대 위에 45도 각도의 투명거울을 설치하고 원본 영상을 투명거울에 투영시키면 빛이 투과 및 반사되면서 허공에 무엇인가 떠 있는 듯한 착시현상이 일어나고 실존하는 이미지 사이에 깊이감이 생기면서 입체효과가 나타나게 된다[6]. 

 

Fig. 2. Reflective hologram principle.

 

Fig.3은 국내 홀로그램 콘서트장인 케이라이브(K-live)에서 공연한 싸이 홀로그램이다. 플로팅 홀로그램인 페퍼스 고스트 방식의 무대를 사용하여 기존에 아날로그 방식으로 제공되던 콘텐츠보다 더 화려하고 풍성한 내용과 다양한 효과를 구현하였다. 홀로그램 콘서트는 가수가 직접 찾아가지 않아도 실제공연을 보는 듯한 느낌을 주는 장점을 가진 새로운 개념의 콘텐츠 제공방식이다.

 

Fig. 3. K-pop hologram concert of ‘PSY’.

 

2.2 언리얼 엔진4

언리얼 엔진4는 미국 에픽 게임즈(Epic Games)에서 개발한 게임 엔진이다. 게임과 콘텐츠 제작을 위한 통합 개발 도구이며 시간을 단축하기 위한 모듈화 및 물리엔진, 다양한 효과를 제공한다. 가상현실 기기와 립모션(Leapmotion), 키넥트(Kinect)와 같은 외부의 다양한 센서와 하드웨어를 지원한다. 언리얼 엔진의 개발용 언어는 확장용 C++과 비주얼 스크립팅시스템인 블루프린트가 있다. 블루프린트는 언리얼 엔진의 큰 장점 중 하나로 노드 기반 인터페이스를 사용하여 게임플레이 요소를 만드는 개념으로 엔진 내 객체 지향형 클래스 또는 오브젝트를 정의하는데 사용된다. 블루프린트는 시각적인 스크립팅으로 노드, 이벤트, 함수, 변수 등을 선으로 연결하여 복잡한요소를 좀 더 쉽게 관리하고 개발을 진행 할 수 있다. 블루프린트의 사용 방법으로는 매크로, 레벨 디자인, 함수 모듈화, 애니메이션 등에서 사용할 수 있다[7].

홀로그램을 만들기 위해서는 영상이 필요하다. 컴퓨터 프로그램을 사용하여 모델이나 장면으로부터 영상이나 소리를 만들어내는 과정을 렌더링(Rende-ring)이라고 한다. 렌더링은 광학, 비주얼 시스템, 수학 등과 관련된 선택적 혼합에 기반을 둔 공학이다. 본 논문에서 구현하는 플로팅 홀로그램은 센서의 정보를 통해 캐릭터를 생성하고 영상을 만들기 때문에 컴퓨터의 연산 성능을 효과적으로 사용하기 위해 데이터를 가볍게 하는 작업이 필요하다. 언리얼 엔진을 사용하면 기존의 3D영화나 게임 제작 과정의 렌더링과 편집과정을 가지지 않아도 영상의 제작이 가능하다. 추가적으로 홀로그램에 사용되는 캐릭터 모델링은 게임 에셋을 통하여 무료로 구입할 수 있는 캐릭터를 사용하여 필요에 따라 수정하는 것으로 모델링을 할 때 필요한 시간을 절약할 수가 있었다.

본 논문은 키넥트 버전2를 사용하여 시스템을 구성하는데 카메라를 통해 캐릭터가 실시간으로 사용자의 동작을 따라 움직일 수 있도록 오파크 미디어그룹(Opaque Media Group)사에서 제공하는 플러그인 Kinect4Unreal을 사용하였다. Fig. 4와 같이 Kinect4 Unreal는 블루프린트로 키넥트의 관절정보를 캐릭터와 연결하는 과정에 사용된다.

 

Fig. 4. Character model using Kinect4 Unreal. 

 

2.3 성별과 나이 인식

본 논문에서는 캐릭터 모델을 생성하기 이전에 나이와 성별, 동작 정보를 먼저 추정하는 작업을 진행하여야 한다. 나이와 성별은 깊이 영상에서 얼굴 영역을 추출한 뒤 딥러닝을 사용하여 특징을 통해 추정하게 된다. 신경망을 이용한 성별과 나이 추정에서는 얼굴 영역의 사진으로 학습이 되었으므로, 정확한 성별과 나이 추정을 위해서는 정확한 얼굴 영역의 검출이 필요하다. 본 논문에서는 깊이 영상을 이용하여 얼굴을 검출한다[8]. 깊이 영상을 이용하여 얼굴을 검출함으로써 기존 색상 영상을 이용한 방법에 비해 신속하게 얼굴을 검출할 수 있다. 깊이 영상을 통해 얼굴을 검출하는 방법은 얼굴에서 가장 돌출된 부위는 코끝이라는 점을 착안하여 카메라로부터 가장 가까이 있는 화소를 탐색하고 코를 찾는다. 그 후 코끝을 중심으로 하는 특정 크기의 영역을 크롭하여 얼굴을 검출한다. 

합성곱 신경망(CNN, Convolutional neural net-work)은 생물의 시각처리 과정을 모방하여 패턴의 크기나 위치가 바뀌어도 인식을 할 수 있다는 장점이 있다[9]. 인간은 물체를 인지할 때, 이미지의 단위 요소를 수치적으로 이해하기보다는 물체를 종합적 또는 전체적으로 받아들인다.Fig.5와 같이 해바라기이미지를 볼 때 픽셀 하나하나를 관찰하는 것이 아니라 일정 영역 픽셀들의 유기적인 관례를 통해 해바라기를 인지한다[10].

 

Fig. 5. Schematisation of human’s image cognitive.

 

본 논문에서 얼굴 영상을 통해 나이를 추정하기 위해 미리 학습된 CNN을 사용하였다[11,12]. 본 논문에서 사용된 CNN은 VGGNet모델[13]의 16개의 레이어를 가지는 VGG-16 아키텍쳐를 사용하였다. VGGNet는 3×3의 합성곱 필터 크기를 처음부터 끝까지 사용한다는 것이 특징이다. 더 큰 합성곱 필터 크기를 사용하는 다른 CNN 모델에 비해 VGGNet는 여러 번의 합성곱 연산을 통해 더 많은 비선형성을 가질 수 있다. 이 아키텍쳐는 2014년 Image NetChal-lenge에서 객체 분류 7.4%의 오류율을 달성하여 우승을 거두었다. 여기서 VGG-16은 영상을 분류하기 위한 CNN 모델이지만, 나이 추정 문제는 회귀문제라는 문제가 있다. 이를 해결하기 위해 나이 추정 문제를 일종의 분류 문제로 변환하였다. 이는 추정하려는 나이 범위를 정수 단위로 이산화한 후, 각각의 확률을 구한 후, 범위 내 각각의 확률을 합하여 나이를 추정하는 것이다.

본 논문에서 사용된 CNN은 IMDB-WIKI 데이터셋을 통해 나이를 학습하였다.IMDB-WIKI는 IMDB에 등록된 배우들과,Wikipedia[15]에서 수집된 얼굴 사진과 나이정보로 이루어진 데이터 셋이다. IMDB-WIKI에 총 524,230개의 사진과 나이 정보가 있고, 이 중 CNN학습을 위해 260,282개의 정보를 사용하였다. 그 결과 ChaLearnLAP2015의 검증 세트를 통해 나이 추정을 했을 때 평균 절대값 오차(MAE: Mean Absolute Error)가 3.221를 보였다. Fig. 6은이 CNN을 통해 나이를 추정하는 흐름을 보인다.

 

Fig. 6. Age and gender detections through CNN.

 

3. 제안한 방법

3.1 시스템 구조

본 논문은 사용자의 나이와 성별 정보를 사용하는 캐릭터 플로팅 홀로그램을 구현한다. 언리얼 엔진을 이용하여 캐릭터 이미지를 제작하고 이를 홀로그램디바이스 통해 출력되며 키넥트 센서를 이용하여 사용자의 정보를 연결한다. 본 시스템을 구현하기 위해서는 먼저 사용자의 나이, 성별과 동작 정보를 언리얼 엔진으로 가지고 와야 한다.

합성곱 신경망을 통해 구현된 나이와 성별 추정방법은 모듈로 하여 실시간으로 카메라에 촬영된 영상을 이용하여 추정하고 인지한 값을 전달한다. Fig. 7은 15살 남성을 60 프레임동안 촬영한 자료이다. 평균값은 14.92살이고, 실제 성별은 남성이지만 표정이나 자세에 따라 수치가 여성으로 인식되기도 한다.

 

Fig. 7. Age and gender approximate values for 60 frames.

 

현재 합성곱 신경망을 사용한 방법은 성별의 경우 2∼ 3%, 나이의 경우 약 3∼4의 평균오차가 발생한다. 오차 발생에 대하여 캐릭터 모델을 생성할 때 값을 근사화하는 작업을 진행한다.

나이와 성별에 대한 값의 근사화는 Fig.8과 같이카메라가 객체를 인식한 시점부터 1∼2초의 시간을 통해 60프레임의 데이터를 축적한다. 성별과 나이에 대한 데이터는 각각 축적하고 근사화 한다.60프레임동안 축적된 데이터는 각각 오름차순 정렬을 진행하고 각각의 데이터에 대하여 빈도수를 계산한다. 빈도수가 많은 정보를 추정 값으로 정하고, 캐릭터 모델을 생성하는 블루프린트로 전달이 된다. 본 논문에서는 캐릭터의 모델을 나이와 성별에 맞추어 많은 캐릭터 모델을 표현하기 위하여 뼈대의 색상과 피부의 색상을 다양하게 적용함으로써 분류한다. 캐릭터 모델을 각 설정된 색상으로 캐릭터 모델을 생성하고애님 블루프린트를 이용하여 몸통, 팔, 다리에 해당하는 좌표와 회전 값을 캐릭터 모델에 연결하는 작업을 진행한다. 머리, 목, 가슴, 허리와 같은 중심이 되는 코어부분부터 연결이 진행된다. 그 다음 어깨, 팔,팔꿈치, 손목, 손 순서대로 연결되고, 골반부터 허벅지, 무릎, 종아리, 발목, 발까지 연결하여 캐릭터와 사용자의 뼈대를 동기화한다. 캐릭터 모델은 카메라 앞에서 사용자라고 인식되는 객체가 일정시간 움직임이 없거나 사라지게 되기 전까지 유지된다.

 

Fig. 8. System progress diagram.

 

3.2 홀로그램 디바이스 설계

플로팅 홀로그램은 입체 영상이 공중에 떠 있는 것 같이 보이게 되는 홀로그램이다. 플로팅 홀로그램방식은 단면 방식과 다각도 방식이 있다. 단면 방식은 Fig.9의 (a)로 사용자는 정면 혹은 후면에서만영상을 볼 수 있다. 단면 방식의 경우 필름 개수를 2장 이상 사용하고 영상을 레이어로 나누어 출력하여 깊이감 있는 영상을 표현할 수 있다. 다각도 방식은 3면 또는 4면의 피라미드 형태의 플로팅 홀로그램이다. Fig. 9.의 (b)와 (c)에 해당하는 방식이다. (c) 방식의 홀로그램은 각각의 면에 투영되는 영상 이미지의 각도와 위치를 계산하여 만들어야 하지만 전면, 후면, 좌면, 우면의 4방향 모든 면에서 볼 수 있어서 플로팅 홀로그램 중에서는 가장 높은 몰입감과 현실감을 표현할 수 있는 장점을 가지고 있다.

 

Fig. 9. 3D Floating hologram types, (a) 1-side(180degrees), (b) 3-side(270degrees), and (c) 4-side(360degrees).

 

홀로그램 디바이스는 Fig.9의 (c)형태인 4면 방식을 사용한다. 홀로그램을 사용하는 공간의 크기는 센서의 원활한 작동을 위해 3m2로 지정한다. 홀로그램디바이스에서 디스플레이는 Fig.10의 파랑 모형 부분이다.20 inch 이상의 모니터 디스플레이, 4개의 투명한 필름, 전체를 고정하기 위한 받침대와 기둥으로 구성된다. 디스플레이를 통해 출력되는 고해상도의 영상을 효율 높게 투영시키기 위하여 특수한 액정이나 얇은 아크릴을 사용한다. 본 논문의 디바이스에서는 2T(2mm)에 해당하는 얇은 투명 아크릴을 사용한다. 아크릴 판의 모양은 피라미드 형태를 만들기 위해 사다리꼴 형태로 제단 한다. 제단 하는 수치는 20 inch 모니터를 기준으로 한다. 사다리꼴의 형태로밑면 50mm, 밑면 300mm, 높이 175mm이다. 홀로그램 디바이스의 하부 부분에는 연산처리를 담당할데스크톱 혹은 노트북이 설치된다. 연산 시스템은 키넥트와 연결되어 실시간으로 데이터를 처리하고 그래픽 작업을 통해 영상을 만들어낸다. 연산 시스템은 빠르고 안정적인 처리를 위하여 RAM16GB와 그래픽 GeForceGTX960급의 사양을 권장한다. Fig. 11은 테스트와 실험을 할 때 촬영한 모습이다.2m2의 공간에서 센서를 바닥과 수평하게 2m 높이에 설치한 후 촬영하였다.

 

Fig. 10. Overall configuration of hologram device.

 

Fig. 11. Experiments on hologram devices.

 

4. 실험 결과 및 고찰

본 논문에서 제작되는 플로팅 방식의 홀로그램 영상은 언리얼 엔진을 통해서 구현된다. 사용자의 정보는 모듈화된 시스템을 통해 추정되고 근사화되어 캐릭터 모델을 생성하는데 사용된다.Fig.12는 근사화된 나이와 성별을 색상을 통해 캐릭터 모델로 만든 것이다. 총 12개의 캐릭터 모델을 생성하였으며 사용자의 관절 정보와 연결되어 동작하게 된다. 1세부터 19세까지를 Fig.12(a)와 Fig.12(b)로 표현되고, 70세부터 그 이상의 나이를 Fig.12(m)과 Fig. 12(n)으로 표현된다. 캐릭터 모델에서 중심의 배 부분이 뼈대의 색을 가장 뚜렷하게 볼 수 있는 부분인데 남자의 경우에는 검은색으로, 여자의 경우에는 붉은색으로 표현한다. 나이에 해당하는 것이 몸통의 색으로 각 나이 별로 색을 쉽게 구분할 수 있도록 차이가 큰 값을 사용하여 표현한다.

 

Fig. 12. Character model with color representation of age and gender, (a) man-10, (b) woman-10, (c) man-20, (d) woman-20, (e) man-30, (f) woman-30, (g) man-40, (h) woman-40, (i) man-50, (j) woman-50, (k)man-60, (l) woman-60, (m) man-70 over, and (n) woman-70 over

 

캐릭터 모델을 생성하기 위해 합성곱 신경망을 사용하여 성별과 나이를 추정하는 방법의 정확도를 측정하기 위하여 남성 20명, 여성 20명을 대상으로 모의실험을 하였다. 모의실험방법은 카메라가 객체를 인식한 시점부터 1∼2초의 시간을 통해 60프레임의 데이터를 축적한 다음 각각 오름차순 정렬을 진행하고 각각의 데이터에 대하여 빈도수를 계산한다. 그 중에서 빈도수가 가장 많은 값을 추정값으로 가진다. 나이는 1세부터 75세까지를 범주로 잡아 근사화하고 성별은 성별 추정 실패의 경우 default, 여자일 때 fe-male, 남자일 때 male로 설정하여 근사화한다. Table 1은 10명에 대하여 60프레임 동안 축적하여 측정한 추정값과 실제값을 비교한 결과이다. 나이 및 성별추정 과정에서 일부 프레임에서 얼굴 자세 등의 영향으로 인해 실제값과 동떨어진 이상치가 나오는 경우도 있었지만,60 프레임동안 측정한 결과 Table 1과 같이 실제의 연령 및 성별이 추정되었다. 특히 성별추정에서 머리가 짧은 여성의 경우 남성으로 인식되고, 장발에 마른 남성은 여성으로 인식되는 경우가 관측되었다. 이는 CNN 학습 시 머리 길이에 따라 남성과 여성으로 판단되도록 학습이 되는 과적합 현상 발생 및 학습 데이터가 서양인의 얼굴에 편중되어 있어 동양인의 얼굴을 통한 성별 인식이 부정확한 것으로 분석된다.Table2는 추정 오차를 보인다. 나이의 경우에는 실제값과 추정값 간의 MAE을 측정하였고, 성별의 경우에는 성별 추정 실패 확률을 측정하였다. 그 결과 남자의 경우 나이는 1.8, 성별은 0.15 여자의 경우 나이는 2.7, 성별은 0.2의 결과가 나왔다.

 

Table 1. The result of age and gender estimation using  CNN

 

Table 2. Error of estimating age and gender

 

Fig.13과 Fig.14는 각각 실제 나이가 23세인 여성사용자와 실제 나이가 31세인 남성 사용자에 대한 결과 화면이다.Fig.13는 여성을 촬영했을 때를 나타낸 것이다.Fig.13(a)은 60프레임동안 83%의 인식률로 22세로 추정하는 것을 보인다. Fig. 13(b)에서 60 프레임동안 female값이 90%의 인식률을 가지기 때문에 해당 사용자는 여성으로 추정한다. 생성된 캐릭터는 여성과 22세라는 나이의 정보를 토대로 그림 Fig. 13(d)과 같이 Fig.12(d)의 woman-20 캐릭터가 구현된다. 남성의 경우에는 Fig.14(a)에서 60프레임동안 87%의 인식률로 31세로 추정한다.Fig.14(b)에서 성별 추정 값은 60 프레임동안 male값이94%의 인식률을 가지기 때문에 해당 사용자는 남성으로 추정한다. 생성된 캐릭터는 남성과 31세라는 나이의 정보를 토대로 그림 Fig.14(d)에서의 man-30과 같은 캐릭터로 구현된다.Fig.13(b)에서 3번의 성별 오추정과 2번의 성별추정 실패, Fig. 14(b)에서 2번의 성별 오추정과 2번의 성별추정 실패가 나타났는데, 이는 CNN 학습 데이터가 서양인의 얼굴에 편중되어 있기 때문에 동양인의 경우 성별 인식이 부정확하여 오추정 및 추정 실패가 발생하는 것이다.

 

Fig. 13. Approximate values and hologram result image as female: (a) age, (b) gender, (c) body skeleton, and (d) implemented hologram.

 

Fig. 14. Approximate values and hologram result image as male : (a) age, (b) gender, (c) body skeleton, and (d) implemented hologram.

 

5. 결 론

컴퓨터의 성능과 영상 기술의 발달로 디지털 콘텐츠의 제작방법이 다양해지고 응용 매체들이 보급됨에 따라 관심이 커지고 있다. 공학기술과 문화예술분야의 협업 혹은 융합을 통해 새로운 만족과 재미를 갖춘 콘텐츠를 만들기 위한 노력이 커지고 있고 콘텐츠와 사용자가 상호작용할 수 있는 가상현실, 증강현실, 홀로그램과 같은 다양한 기술들에 대한 연구가 활발하게 진행되고 있다. 그 중에서 본 논문에서는 키넥트와 플로팅 방식의 홀로그램을 사용하여 실시간으로 상호작용 가능한 시스템을 구현하였다. 합성곱 신경망과 깊이 영상을 사용하여 사용자의 성별과 나이를 추정하는 작업을 진행하고 이 데이터를 근사화하여 캐릭터 모델을 생성하는데 사용하였다. 그래픽적인 요소와 외부 하드웨어와의 연계가 중요한 콘텐츠이기에 언리얼 엔진을 사용하여 실시간으로 캐릭터 모델을 홀로그램 영상으로 만드는 작업을 진행한다. 영상은 제작된 홀로그램 디바이스를 통해 사용자에게 표현된다. 본 논문에서 나이 및 성별을 추정한 결과 추정 오차가 남자의 경우 나이는 1.8, 성별은 0.15 여자의 경우 나이는 2.7, 성별은 0.2의 결과로 나타났다. CNN의 학습 데이터가 서양인으로 편중되었기 때문에 동양인의 얼굴 영상에 적용했을 경우 추정 오차가 나타나는 것으로 분석되었다. 향후 연구에서는 동양인의 얼굴 사진을 CNN에 학습하여 더욱 정확한 나이 및 성별 추정이 필요하다.

현재 적용되어있는 캐릭터 모델의 경우 뼈대의 색상과 피부의 색상을 분류함으로써 각각의 나이와 성별 데이터를 표현하는데 중점을 두었다. 하지만 현재 적용한 방법으로는 각각의 캐릭터 모델을 쉽게 구별하기 힘들고 사용자에게 정확하고 의미 있는 정보전달의 어려움을 인식하였다. 추후 연구사항으로는 캐릭터 모델의 수정과 좀 더 정확한 캐릭터 모션에 대하여 연구와 사람의 신장 측정[14]과의 융합연구를 진행한다. 캐릭터 모델의 경우 각 나이와 성별 대에 맞추어 최근 선호하는 제품이나 성격을 가진 모델을 통해 광고의 형태로 사용할 수 있는 캐릭터를 생성하고 적용한다. 모션의 경우에는 현재 캐릭터 모델의 손의 위치와 각도, 발의 위치와 각도가 오차가 발생하여 움직임이 이상해지는 경우가 생기고 있다. 실시간으로 사용자의 움직임에 따라 표현되는 홀로그램의 영상이 바뀌기 때문에 모션의 오차수정은 큰 의미가 있다. 위의 연구를 지속하여 기술적 보완과 수정이 이루어질 것이며 사용자가 만족할 수 있는 콘텐츠가 될 것이다.