Reconstruction Of Photo-Realistic 3D Assets For Actual Objects Combining Photogrammetry And Computer Graphics

사진측량과 컴퓨터 그래픽의 결합을 통한 실제 물체의 사실적인 3D 에셋 재건

Abstract

Through photogrammetry techniques, what current researches can achieve at present is rough 3D mesh and color map of objects, rather than usable photo-realistic 3D assets. This research aims to propose a new method to create photo-realistic 3D assets that can be used in the field of visualization applications. The new method combines photogrammetry with computer graphics modeling. Through the description of the production process of three objects in the real world - "Bullet Box", "Gun" and "Metal Beverage Bottle," it introduces in details the concept, functions, operating skills and software packages used in the steps including the photograph object, white balance, reconstruction, cleanup reconstruction, retopology, UV unwrapping, projection, texture baking, De-Lighting and Create Material Maps. In order to increase the flexibility of the method, alternatives to the software packages are also recommended for each step. In this research, 3D assets are produced that are accurate in shape, correct in color, easy to render and can be physically interacted with dynamic lighting in texture. The new method can obtain more realistic visual effects at a faster speed. It does not require large-scale teams, expensive equipment and software packages, therefore it is suitable for small studios and independent artists and educational institutions.

기존 연구는 대부분 사진측량(Photogrammetry)기술을 이용해 물체의 투박한 3D메시와 컬러 맵을 획득하였을 뿐, 실제로 사용 가능한 사실적인 3D 에셋을 제작하는 방법은 제시하지 못했다. 본 연구의 목적은 새로운 방법을 제시하여 가시화 애플리케이션 분야에 사용 가능한 사실적인 3D 에셋(Asset)을 구축 가능하게 하는 데 있다. 여기에서 언급한 새로운 방법이란 사진 측량과 컴퓨터 그래픽(Computer Graphics)의 모델링 과정을 결합하는 것이다. 현실 세계의 세 물체 '탄알상자', '총', '금속 음료수병'을 가상 세계에서 사실적인 3D에셋으로 제작하는 과정을 통해 오브젝트 촬영, 화이트 밸런스, 재건, 정리 재건, 리토폴로지, UV 언래핑, 프로젝션 및 텍스처 베이킹, 디라이팅, 재질 맵 제작 등 절차의 정의, 역할, 조작방법과 사용된 소프트웨어 패키지(Software Package)를 상세히 소개하였다. 제작 방법의 유연성을 높이기 위해 각 단계별로 소개된 소프트웨어 패키지외의 대안도 제시하였다. 본 연구는 형태와 색상이 정확하고, 텍스처가 동적광원(Dynamic Lighting)과 물리적 인터랙션이 가능하며, 렌더링이 용이한 3D 에셋을 획득함으로써 새로운 방법을 통해 더 빠른 속도로 더 실감나는 시각효과를 실현할 수 있다는 것을 보여주고 있다. 대규모 팀, 값비싼 설비와 소프트웨어 패키지가 필요 없기 때문에 소형스튜디오에서 독립적 아티스트의 창작과 교육으로 구성된 수업에 적용하기 적합하다.

I. 서론

사실적인(Photo-Realistic) 3D 오브젝트(Objects) 혹은 씬(Scenes) 모델링을 구축하는 것은 컴퓨터 그래픽(Computer Graphics) 분야에서 가장 활발하게 연구되어 온 주제이다. 이러한 3D 모델링은 여러 분야에서 가시화(Visualization)와 측정(Measurements)에 이용될 수 있으며, 법의학적 증거채취, 광업, 지질학, 고고학, 건축산업, 가상현실, 영화제작, 전자게임, 애니메이션 등 분야에 널리 응용된다[1][2]. 응용분야에 따라 3D 모델링에 대한 요구가 다른데, 그중 대부분은 3D 모델링의 우수한 시각적 품질만을 요구하고, 의학과 공업 분야의 경우에만 정밀한 측정수치(Measurements)를 요구한다[3].

사진측량(Photogrammetry)기술을 이용한 3D 모델링의 빠른 생성에 관해서는 이미 다수의 연구가 이루어졌다. 국내 연구로는 포토그래메트리 기술을 이용한 정원 3D 모델링 구현[4]과 드론 촬영 기반 사진 스캐닝기술을 활용한 3D 모델링데이터 생성방법[5]이 있다. 하지만 이 두 연구는 모두 사진측량기술을 이용해 투박한 3D 메시(Mesh)와 컬러 맵을 생성하였을 뿐, 3D메시와 컬러 맵이 실제와 다르게 훼손되는 문제는 해결하지 못했다. 현재 촬영설비와 기술의 제약으로 인해 사진측량을 이용해 생성한 메시는 노이즈(Noise)와 구조적 결함이 많고, 라이팅 조건과 현재 사용하고 있는카메라가 해결하지 못한 광학적 왜곡(Optical Distortions)의 영향을 받아, 투사된 맵의 컬러가 부정확하다. 게다가 객체관찰 시점을 위한 사진측량기술 기반의 동적 3D 모델링 연구[6]는 3D 메시를 복원하였지만, 컬러 교정, ‘디-라이팅(De-Lighting)’ 제거 등 맵처리를 진행하지 못했고, 렌더링 된 모델링도 사실성이 부족하다. 해외에서도 사진측량기술을 이용해 고대문화유산을 3D 디지털화한 연구가 매우 다양하게 이루어졌지만, 대부분 투박한 3D 메시와 컬러 맵을 획득하는 데에만 그쳤다. 또한 게임 및 시뮬레이션의 3D 콘텐츠 개발을 위한 사진측량[7]에서도 3D 게임 에셋을 생성하는 프로세스를 제시하였지만, 컬러 교정 등 관련 단계가 미흡하며, 프로세스 각 단계의 제작원리 및 교체방법에 대한 연구도 이루어지지 않았다.

기존 연구는 대부분 사진측량기술을 통해 물체의 투박한 3D 메시와 컬러 캡을 획득하는 데에만 그쳤으며, 사용가능한 사실적인 3D 에셋을 제작하지 못한다. 사진측량은 3D 모델링을 빠른 속도를 생성하지만, 생성된 모델링은 통상적으로 데이터가 지나치게 크고, 메시와 컬러에 문제가 있다. 게다가 한 장의 컬러 맵만을 생성한다. 그러나 사실적인 시각효과를 렌더링 해내려면 반드시 추가적으로 물체 표면의 물리적 속성의 디스플레이스먼트, 반사 등을 표시한 기타 맵들이 포함되어야한다. 컴퓨터 그래픽 작업공정을 결합하여 이들 문제를 해결해야만, 진정한 고충실도(High-Fidelity) 에셋을구축하고, CG(Computer Graphics)기술을 통해 실제세계를 구현하는 최종적인 목표를 실현할 수 있다.

기존 연구에 비해 본 연구는 실제 오브젝트를 3D 가시화 애플리케이션에 사용 가능한 사실적인 에셋으로 구축하는 과정을 기존 연구에 비해 더욱 보완적인 방법으로 제시하고자 한다. 새로운 방법은 사진측량과 컴퓨터 그래픽 작업공정이 포함하는 모델링(Modeling)의 전처리와 후처리 기술(Pre-and Post-Processing Techniques)을 결합함으로써 지오메트리 메시가 생성되는 과정에서 발생하는 노이즈, 구조결함 및 텍스처맵핑 과정에서 나타나는 색상편차, 연관성 결여의 문제를 해결하는 것이다. 이로써 지오메트리 메시와 텍스처맵핑을 정확하게 재건하여, 최종적으로 고충실도의 3D 에셋을 제작한다. [그림 1]은 본 연구가 제시한 방법을 이용해 구축한 3D 에셋으로, 어느 것이 실제 물체이고, 어느 것이 CG 모델링인지 거의 구분하기 어렵다.

그림 1. 제작된 사실적인 3D 에셋 (A)참고이미지, (B)Maya 최종 렌더링 결과

본 논문의 구성순서에 따라, 제2장에서 사진측량과 컴퓨터 그래픽 처리기술을 결합하는 방법의 각 단계를 상세히 설명하고자 한다. 중점은 세 개의 오브젝트를 제작한 데 있다. 미래지향적 디자인 형태의 ‘탄알상자 [그림 1]’와 ‘총[그림 12]’, 그리고 표면에 텍스트가 많이 적혀있는 원기둥 모양의 ‘금속 음료수병[그림 13]’이다. 제시된 방법에 따라 쉽게 규모를 확대하여 다른 오브젝트를 재건할 수 있다. 제3장은 이 3개 오브젝트들의 재건결과를 보여주고 설명하였으며, 기존 연구 결과들과 비교하였다. 제4장은 획득한 세 오브젝트의 결과(사실적인 3D 에셋)를 논하고, 새로운 방법의 장점, 영향력과 추진 전망을 분석한다. 제5장은 논한 내용을 종합적으로 정리하여 향후 관련 연구에 방향을 제시한다.

Ⅱ. 방법

사진측량은 기록(Recording), 측정(Measuring), 사진 해석(Interpreting)과 비접촉식 센서 시스템 (Noncontact Sensor Systems)이 생성한 에너지 패턴 (Energy Patterns)의 디지털 표시(Digital Representations)과정을 통해 물리적 대상(Objects) 과 환경(Environment)에 관한 믿을 수 있는 정보를 획득하는 예술, 과학, 기술이다[8]. 사진측량을 통해 일련의 사진 정보를 조밀한 삼각형 메시(Triangular Mesh)로 전환할 수 있다. 게임이나 영화를 위한 3D 에셋을 제작하는 데 상용되는 컴퓨터 그래픽 작업공정은 수백만 개의 폴리곤 (Polygons)을 지닌 메시(통상적으로 ‘하이폴리 메시(High-Poly Mesh)라 불림)를 이른바 ‘로우폴리 메시(Low-Poly Mesh)’로 리토폴로지 (Retopology)하는 과정이다. 그런 다음 후자에 UV를 펼치고, 텍스처 베이킹(Texture Baking) 과정을 통해 하이폴리의 디테일을 로우폴리 메시로 옮긴다. 그리고 로우폴리 메시에 PBR재질의 텍스처(Material Texture)를 만든다[9]. 본 연구는 사진측량과 컴퓨터그래픽 작업공정의 모델링기술을 결합함으로써 사실적인 3D 에셋을 구축하는 방법을 제시한다. 본 절의 후속내용에서는 본 연구가 제시한 새로운 방법에 포함된 각 단계의 조작방법, 작용 및 관련된 개념, 주의사항 등을 상세히 소개하고자 한다. [그림 2]는 모든 단계의 흐름도를 나타낸다. 흐름도는 비용효율, 자동화와 소프트웨어 패키지의 가용성을 고려하여 설계하였다. 이러한 고려사항을 기반으로, 각 단계는 특정한 소프트웨어 패키지에서 진행되지만, 전체 과정에서 대체 가능한 각종 솔루션을 소개함으로써 이 작업공정을 사용하는 데 필요한 유연성을 제공한다.

그림 2. 완전한 공정흐름도

1. 오브젝트 촬영(Photograph Object)

사진측량은 사진만큼이나 오랜 역사를 지닌다. 약 150년 전 사진측량은 순수 아날로그적인 ‘광학기계기술(Optical-Mechanical Technique)’로부터 시작하여, ‘수학 알고리즘의 컴퓨터 이용 솔루션 (Computer-Aided Solution of Mathematical Algorithms)’에 기반한 분석방법으로 발전하였다. 최종적으로 디지털 이미지(Digital Imagery)와 컴퓨터시각(Computer Vision)에 기반한 디지털 혹은 전자버전의 사진측량으로까지 발전하였다. 사진측량의 기본원리는 노출 순간(Moment of Exposure) 센서에서 오브젝트에 이르는 광선 경로(Paths of Rays)를 기하수학적으로 재건(Geometrical-Mathematical Reconstruction)하는 것이며, 주로 2D 사진에서 3D 오브젝트와 지형특징을 정확히 측량하는 것을 포함한다[10]. 오늘날 사진측량은 지형, 탐사, 토목공사, 고고학, 농업, 도시와 환경계획 등 분야에 널리 응용되고 있다. 그밖에 또 하나의 중요한 응용분야는 실제 세계의 오브젝트를 촬영한 여러 장의 사진을 통해 영화 혹은 게임의 디지털 에셋을 제작하는 것이다[11].

기술적으로 말하자면 어떠한 카메라든 사진측량에 사용할 수 있으며, 심지어 휴대전화 카메라도 가능하다. 그러나 촬영된 사진의 품질은 최종 모델링의 품질에 직접적인 영향을 미친다. 따라서 최상의 품질을 획득하기 위해서는 가급적 고해상도의 또렷한 사진을 촬영할 수 있는 카메라를 사용하는 것이 좋다. 물론 사진측량의 유일한 필수 설비인 카메라 외에도 기타 다양한 촬영설비가 고품질의 사진촬영을 보조할 수 있다. 기타 촬영설비의 사용 가능 여부는 촬영자의 여건에 달려있다. 그러나 컬러 체커(Color Checker)와 편광자 필터 (Polarizer Filter)가 최종 텍스처 맵핑 생성에 커다란 영향을 미친다는 사실은 언급하지 않을 수 없다. 우선컬러 체커는 사진의 화이트 밸런스(White Balance) 처리에 이용할 수 있고, 디지털 에셋의 사이즈에 참고로 삼을 수도 있다. 그밖에 카메라에 편광자 필터를 놓고 회전시켜 편광자의 축이 반사광의 축과 90도를 이루게 하면 하이라이트를 제거(Removed Highlights) 하여 오브젝트의 디퓨즈 이미지(Diffuse Image)를 얻을 수 있다[12].

일부 오브젝트 유형은 사진측량법으로 충분히 좋은 재건결과를 얻기 어렵다. 강렬한 반사광(예를 들어 금속, 젖은 표면)을 지닌 경우, 투명한 경우, 색상이 단조로운 경우(픽셀의 색상이 동일), 움직이고 있는 오브젝트 등이 그러하다[7]. 그러나 이들 오브젝트의 표면을 수정함으로써 재건 결과를 개선할 수 있다. 반사광이 강렬한 오브젝트는 매트 스프레이(Matte Spray)를 분사하거나 편광자 필터를 사용하여 반사광을 제거할 수 있다. 투명한 오브젝트는 표면에 화이트 페인트를 도포한 다음 블랙 페인트로 표시할 수 있다. 주의해야 할 점은 이러한 방법으로는 지오메트리 메시만을 재건할 수 있으며, 정확한 텍스처 맵핑을 재건하는 것은 불가능하다는 사실이다. 색상이 단조로운 오브젝트는 표면에 태그를 붙이거나 그려 넣어, 재건 소프트웨어 패키지 (Software Package)가 오브젝트 표면의 특징 포인트까지 추적하도록 할 수 있다.

강렬한 하이라이트나 방향성 있는 그림자는 디퓨즈맵(Diffuse Map)으로부터 제거하기 어려우며, 다시 오브젝트에 조명을 비추어 촬영해야 한다. 또한 재건 소프트웨어 패키지에서 안정(稳定)적인 광원 하에 획득한 사진은 유사점을 추적하는 데 도움이 된다. 실외촬영시에는 흐린 날 촬영할 것을 권한다. 흐린 날은 일정한 빛과 매우 부드러운 그림자를 제공하므로 디퓨즈 맵으로부터 빛을 제거(De-Lighting)하는 일이 쉬워진다. 햇빛이 밝은 날 촬영하려면 차광판을 사용하여 오브젝트를 비추는 방향성 있는 라이팅을 막아야 한다. 이로써 흐린 날과 유사한 부드러운 사진을 만들 수 있을 뿐아니라, 흐린 날 촬영한 사진보다 광도를 더 높일 수 있다. 실내 촬영 시 공간은 밝아야 하며, 빛을 여러 각도에서 균일하게 오브젝트에 비추는 것이 좋다. 방 안에서 빛을 반사하는 물건을 치우고, 컴퓨터 모니터나 TV 브라운관을 끈다. 또한 어지러운 방은 빈방보다 촬영에 더 적합하다. 사진에 담긴 부가 정보는 재건 소프트웨어 패키지에서 각 사진의 촬영위치를 정확하게 추정하는 데 도움이 되기 때문이다. 방 안에서 움직이는 사람 혹은 오브젝트는 재건 소프트웨어 패키지에 혼란을 주어 재건의 품질을 떨어뜨린다.

통상적으로 촬영자는 한 오브젝트를 중심으로 위에서 아래를 향하는 각도, 수평한 각도, 아래에서 위를 향하는 각도 등 세 각도에서 사진을 촬영하며, 카메라를 15도 회전할 때마다 1회 촬영한다[그림 3]. 각 각도에서 오브젝트를 촬영해야 하는데, 이는 재건 소프트웨어 패키지로 포인트 클라우드(Point Cloud)를 생성하기 위해 비슷한 픽셀을 지닌 포토 세트가 필요하기 때문이다. 촬영한 사진의 중첩된 부분은 소프트웨어 패키지에 비교할 수 있는 충분한 유사점을 제공하게 된다. 만약 특별히 또렷한 표면 디테일 혹은 특정구역의 디테일이 필요하면, 촬영자는 카메라를 확대하고 오브젝트를 가까운 거리에서 촬영할 수 있다. 일반적으로 촬영한 사진이 많을수록 좋지만, 품질이 낮은 사진은 포함하지 않도록 한다. 소프트웨어 패키지가 낮은 품질의 사진과 높은 품질의 사진을 한데 겹쳐놓고 재건을 진행하면 재건의 품질을 떨어뜨리기 때문이다. 그러므로 삼각대를 사용해 카메라를 고정하는 것이 좋다. 빛이 비교적 어두운 상황에서는 노출시간을 늘려야만 또렷한 사진을 얻을 수 있기 때문이다. 핸드 캐리형 카메라는 떨림 현상으로 인해 사진이 모호하게 나올 수 있다.

그림 3. 각 카메라가 오브젝트 중심으로 회전하며 촬영

또 하나의 촬영방법은, 아무런 특징이 없는 배경(예를 들어 흰 천)을 사용하여 카메라의 위치를 고정하고 오브젝트 자체를 회전하며 촬영하는 것이다. 오브젝트가 회전하는 동영상을 녹화한 다음, 정지 프레임 (Frames)을 추출할 수도 있다. 만약 배경에 아무런 특징이 없으면 재건 소프트웨어 패키지는 사진이 오브젝트 주변의 다양한 각도에서 촬영한 것임을 인식할 것이다. 이 방법은 촬영속도를 높여주고, 빛 조절에도 도움이 된다. 그러나 재건 소프트웨어 패키지가 사진 간 배경에 어떠한 차이점을 식별해내면, 모든 사진이 동일한 위치에서 촬영된 것으로 인식하고, 모든 사진을 한데 겹쳐 투사함으로써 식별할 수 없는 혼란한 오브젝트를 재건하게 된다. 이 촬영방법을 사용하려면, 우선 배경을 들어내고 단일한 배경색상을 보충해 넣은 후 재건을 진행한다.

투박한 촬영은 좋은 재건 결과를 얻을 수 없으며, 대량의 정리작업을 필요로 한다. 그러므로 전반 촬영작업을 제대로 이행하는 것은 대단히 중요하며, 이는 후반처리시간을 상당히 절약해 준다. 마지막으로 출력 파일형식을 RAW로 설치한다. RAW 형식의 재건은 정밀도가 더 높고, 사진의 화이트 밸런스 결과를 더 높일 수있다.

2. 화이트 밸런스(White Balance)

‘화이트 밸런스’는 촬영과 영화제작에 사용되는 용어로, 사진 속 화이트 포인트를 통해 색상의 밸런스를 맞추는 것을 말한다[13]. 피사체의 흰색을 맞추어 오브젝트의 다른 색상을 정확히 조정하는 일종의 디지털 사진색상처리 컴퓨팅방법이다. 인간의 시각시스템은 조명밖에서 물체 표면의 색을 식별할 수 있는 능력을 지녔다. 이것이 이른바 ‘색의 항상성(Color Constancy)’이다. 예를 들어 흰색의 옷에 붉은 조명을 비추면 불그스름한 색을 띠지만, 사람들은 여전히 이것이 원래 흰색임을 안다. 화이트 밸런스 기능은 이러한 능력을 본떠 사진의 자연스러운 색상을 재현한다[14]. 화이트 밸런스 조정을 진행하면 다른 광원으로 인해 생기는 색을 없애고 촬영대상의 원래 색상을 되살릴 수 있다. 그래서 더 나은 디퓨즈 맵핑을 얻기 위해 모델링 재건 전에 포토 세트에 화이트 밸런스를 설정해야 한다.

현대 디지털 카메라와 사진편집(Photo Editing) 소프트웨어 패키지에는 모두 화이트 밸런스 조정 기능이있다. 그러나 각 카메라 제조사가 카메라 처리된 화이트 밸런스 결과를 RAW 파일에 저장하는 방법에 관해 규약과 기준을 마련하기 전에, 사진편집 소프트웨어 패키지를 통해 화이트 밸런스 조정을 진행하는 것이 가장 좋은 선택이다[15]. 사진편집 소프트웨어 패키지에서 화이트 밸런스를 조정하는 구체적인 순서는 다음과 같다. 우선 대상물 옆에 컬러 체커를 두고 촬영을 진행하되, 동일한 라이팅 조건 하에 컬러 체커를 포함한 몇 장의 사진을 찍기만 하면 되며, 모든 사진에 컬러 체커를 포함할 필요는 없다. 그런 다음 포토 세트를 사진편집 소프트웨어 패키지에 임포트하여 화이트 밸런스 조정을 진행한다. 마지막으로 화이트 밸런스 툴을 이용해 사진 속 컬러 체커 중간 격자의 회색을 기준으로 정하면[그림 4], 소프트웨어 패키지가 자동으로 사진 속 다른 색상과 이 회색을 비교하여 컴퓨팅함으로써 색상 보정을 완성한다.

그림 4. ‘Datacolor Spyder Checkr 24’ 컬러 체커

순백색이 아닌 회색을 기준으로 정하는 이유는 순백색에 채널 클리핑(Channel Clipping)이 포함되어 부정확한 결과를 만들 수 있기 때문이다[16]. 포토그래퍼들의 실제 작업을 통해 18%의 그레이스케일이 더 정확한 색상 보정을 완성한다는 사실이 알려져, 지금까지도 사용되고 있다. 18%의 그레이스케일이란 반사율을 말하고, Photoshop 안의 색상값은 128, 128, 128이며, ‘중회색(Neutral Gray Color)’이라고도 불린다. 중회색의 역할과 수치를 이해하면, 사진에 컬러 체커가 잡히지 않았더라도 소프트웨어 패키지 내의 기능을 통해 사진 속 중회색을 찾아내 화이트 밸런스 보정 작업을똑같이 완성할 수 있다. 사진의 화이트 밸런스 보정에 자주 사용되는 소프트웨어 패키지에는 Adobe사의 ‘Photoshop’와 ‘Lightroom’, 그리고 ‘3D LUT Creator’가 있다. 이들 소프트웨어 패키지는 모두 여러 장의 사진에 대해 화이트 밸런스 보정을 대량으로 진행할 수 있는 기능을 갖추고 있다. 그러므로 동일한 장면, 동일한 라이팅 하의 포토 세트는 한 번의 처리작업만 거치면 된다. 화이트 밸런스 처리를 거친 포토 세트는 8 비트(Bit)의 Tiff 파일로 저장하는 것을 권장한다. Tiff 는 파일형식을 훼손하지 않기 때문이다. 최대 수량의 사진정보를 포함하며, 기타 애플리케이션 패키지와도 호환이 가능하다[13]. 파일을 8비트로 저장하는 것은 ‘Reality Capture’ (본 연구에 사용한 재건 소프트웨어패키지)의 감마보정(Gamma Correction)에 문제가 생기지 않도록 방지하기 위해서이다. 재건 과정에서 ‘Reality Capture’는 사진을 8비트 형식으로 변환한다. 그러므로 데이터가 비교적 작은 8비트로 문서를 저장하면 어떠한 정보도 잃지 않으며, 저장공간도 절약할 수 있다[17].

3. 재건(Reconstruction)

포토 세트에서 지오메트리를 재건하기 위해, 재건 소프트웨어 패키지는 카메라 정보를 기반으로 사진의 다양한 픽셀의 3D 월드 포지션을 복구한 다음, 충분한 유사성을 가진 공간적 픽셀 그룹(Spatial Group of Pixels)이 있으면 포인트를 만든다. 이 프로세스의 결과를 ‘포인트 클라우드(Ponit Cloud)’라고 한다[17]. 다시 말해 재건 소프트웨어 패키지의 작업원리는 다양한 위치에서 촬영한 여러 장의 사진을 비교 분석함으로써 3D 클라우드 볼륨(3D Point Cloud Volumes)을 추정하고, 이로써 3D 메시(3D Mesh)를 생성하는 것이다[18]. 재건 소프트웨어 패키지의 작업원리를 이해하면 사용자가 충분한 양(즉 사진 간의 중첩을 말함)의 또렷한 사진을 촬영하는 것이 얼마나 중요한지 이해하는데 도움이 된다. 만약 재건 소프트웨어 패키지가 충분히 유사한 픽셀을 매칭하여 포인트 클라우드를 생성하지 못하면, 충분히 좋은 메시와 텍스처 결과를 얻기 어렵거나 얻을 수 없다.

업계에서 상용되는 3D 모델링 재건 소프트웨어 패키지에는 Capturing Reality사의 ‘Reality Capture’, Agisoft사의 ‘PhotoScan(업그레이드 버전은 ‘Metashape’이라 불림)’, Autodesk사의 ‘123D Catch’, 그리고 ChangChang Wu가 만든 애플리케이션 ‘VisualSFM’이 있다. 그러나 ‘Reality Capture’의재건 효율과 품질(Quality)이 기타 소프트웨어 패키지보다 훨씬 앞선다는 연구도 있다[17]. 본문은 가장 널리 사용되는 소프트웨어 패키지 ‘Reality Capture’와 ‘PhotoScan’의 기본 조작 순서를 소개하였다. 우선 화이트 밸런스 처리를 거친 포토 세트를 재건 소프트웨어 패키지에 임포트(Import)하는 단계는 모두 동일하다. 다음 순서는 두 소프트웨어 패키지에 차이가 있어 각각 설명하고자 한다. ‘Reality Capture’에는 이미지 정렬 (Align Images), 컴퓨터 모델링(Calculate Model), 착색/텍스처(Colorize/Texture) 등 세 개의 기본단계가있다. ‘PhotoScan’에는 이미지 정렬(Align Photos), 조밀한 클라우드 구축(Build Dense Cloud), 메시 생성(Build Mesh)과 텍스처 생성(Build Texture) 등 네개의 기본단계가 있다[19]. 마지막 순서는 동일하며, 생성된 메시와 텍스처를 익스포트(Export)하는 과정이다.

촬영한 사진의 품질은 최종 모델링 품질에 직접적인 영향을 미친다. 정리하는 과정에서 너무 많은 시간을 소모하지 않기 위해, 우선 사진의 수를 늘리고 사진의 품질을 높이는 방법을 선택한다. 그러나 현재의 재건기술 하에서 생성된 메시는 구멍(Hole), 불연속성 (Discontinuity), 톱니모양(Jagged), 투박함(Rough)등 일련의 문제를 나타낸다[그림 5(A)]. 재건 모델링의 텍스처는 통상적으로 상당히 높은 품질을 지니지만, 문제도 있다. 예를 들어 여러 등급의 디테일 선명도, 라이팅아티펙트 등의 문제를 보인다. 모델링 표면의 텍스처에 표준 UV 레이아웃(UV Layout)이 아닌 카메라 프로젝션(Projection) 방법을 사용하기 때문에, 모두 원래 사진의 각도에서 모델링에 투사된다. 이 때문에 텍스처는 분해되어 한데 섞인다[그림 5(B)][7][18][20]. 재건된 메시와 텍스처는 이러한 문제를 지니므로 모델링을 콘텐츠 개발 과정(Content-Development Pipeline)에 사용하기 전에 정리를 진행할 필요가 있다.

그림 5. 재건된 메시와 텍스처에 나타나는 문제

4. 정리 재건(Cleanup Reconstruction)

재건 소프트웨어 패키지에서 만들어진 메시는 텍스처 베이킹 단계의 고해상도(High Resolution) 메시로 사용된다. 텍스처 베이킹은 일종의 기술로, 고해상도 메시의 모든 형상 디테일을 저해상도(Low Resolution) 메시로 전환한다. 재건된 메시를 정리하는 작업은 고품질의 고해상도 메시를 획득하고, 이로써 정확한 텍스처맵을 베이킹하기 위함이다. 특히 고해상도 메시는 오브젝트 표면의 울퉁불퉁한 정보를 표현하는 노말 맵 (Normal Map)과 하이트 맵(Hight Map)의 품질에 직접적인 영향을 미친다.

재건 소프트웨어 패키지에서 만들어진 메시의 품질은 정리에 필요한 시간을 결정한다. 재건된 메시의 품질이 높을수록 정리에 필요한 시간은 짧아진다. 그러나 표면이 매끄러운 오브젝트는 재건한 메시를 정리할 필요가 없다. 매끄러운 오브젝트는 투박한 표면정보를 베이킹할 필요가 없기 때문이다. 통상적으로 우선 재건 소프트웨어 패키지에서 메시를 단순화(Simplify)한 후, ‘ZBrush’ 소프트웨어 패키지에 임포트하여 정리를 진행한다. 불필요한 폴리곤 삭제, 구멍보완, 볼록 튀어나오거나 오목하게 들어간 표면의 오류 수정 등이 여기에 포함된다. ‘ZBrush’ 외에 ‘Blender’와 같이 조각기능을 갖춘 기타 소프트웨어 패키지 역시 재건된 메시의 정리작업에 사용할 수 있다.

5. 리토폴로지(Retopology)

재건된 모델링은 삼각형 메시이며, 통상적으로 약 1에서 1천만 개 폴리곤으로 이루어진다. 이처럼 많은 폴리곤 수는 오브젝트의 렌더링 속도에 영향을 미치므로 개선할 필요가 있다. 메시의 폴리곤 수를 줄이는 방법에는 데시메이션(Decimation)과 리토폴로지의 두 가지가 있다.

메시 데시메이션은 에러 컨트롤(Error Controlled) 을 통해 메시의 페이스(Face), 엣지(Edge)와 버텍스 (Vertex)의 수를 줄임으로써 3D 메시를 단순화하는 방법이다. 메시 데시메이션이 허용된 거의 모든 소프트웨어 패키지는 사용자가 감소하는 폴리곤 수를 지정하도록 지원한다. 대체로 데시메이션 툴은 3D 모델링의 기본형태를 유지하고, 텍스처 코디네이트(Texture Coordinates) 혹은 머티리얼 바운더리(Material Boundaries)의 완전성을 유지한다[21].

그러나 CG 산업에서 아티스트는 리토폴로지 방법을 자주 사용한다. 고해상도 메시를 기반으로 단순화되고생산 준비가 된 새로운 사각형(Quad)의 메시를 구축하는 프로세스를 “리토폴로지” 라고 한다[22]. 이는 본질적으로 무질서한(비구조화) 토폴로지 구조의 고해상도 메시 표면에 가지런한(구조화) 토폴로지 구조의 저해상도 메시를 재건하는 기술이다. [그림 6]에서(a)는 비구조화된 고해상도 메시이고, (b)는 구조화된 저해상도 메시이다. 단순히 고해상도 메시를 데시메이션한 것에 비해 리토폴리지는 새로운 3D 폴리곤 메시를 구축한다. 이 새로운 3D 메시는 폴리곤 페이스 수가 더 낮을뿐 아니라 통상적으로 사각형이 우세한 (Quad-Dominant), 질서 있는 토폴로지 구조를 보유한다. 이러한 토폴로지 구조는 애니메이션(Animation)과 텍스처링(Texturing) 제작에 더 적합하다. 반대로 대다수 메시 데시메이션은 차선의(Suboptimal) 토폴로지 구조를 획득할 수 있을 뿐이며, 심지어 무질서한 삼각형의 표면(Triangulated Surfaces)을 만든다. 물론 애니메이션을 제작할 필요 없는 모델링에 대해서는, 메시 데시메이션만 진행함으로써 제작 시간을 상당히 절약할 수 있다.

그림 6. (a)비구조적 고해상도 메시, (b)구조화된 저해상도 메시

리토폴로지는 정리를 거친 고해상도 메시를 리토폴로지 소프트웨어 패키지에 임포트한 다음, 리토폴로지 작업을 하는 순서로 진행한다. 리토폴로지 과정을 위해 아티스트는 일정한 모델링 토폴로지 구조에 관한 지식을 갖추어야 한다. 시중에는 주로 수동식, 자동식, 래핑식의 리토폴로지 소프트웨어 패키지가 존재한다. 수동식 리토폴로지는 최선의 토폴로지 구조를 획득할 수 있지만, 시간 소모가 크다. 주요 소프트웨어 패키지에는 Maya Quad Rraw, TopoGun, Blender RetopoFlow 등이 있다. 자동식 리토폴로지는 속도가 빠르지만, 생성된 토폴로지 구조가 수동식보다 못하다. 주요 소프트웨어 패키지에는 ZBrush ZRmesher, Quad Remesher, Instant Meshes 등이 있다. 래핑식 리토폴로지는 반드시 이미 존재하는 저해상도 메시가 있어야만 리토폴로지 직업을 완성할 수 있다. 주요 소프트웨어 패키지에는 Wrap, Blender SoftWrap 등이 있다. ZBrush ZWrap,

6. UV 언래핑(UV Unwrapping)

‘UV 언래핑(UV Unwrapping)’은 3D 에셋 제작 과정 중 중요한 단계로, 메시와 텍스처 간 연결끈이다. 3D 메시를 텍스처화하려면, 3D 표면의 각 버텍스 (Vertex)가 모두 관련된 U와 V의 텍스처 코디네이트를 갖추어야 한다. 이들 UV 텍스처 코디네이트(CG용어에서는 ‘UVs’로 약칭)는 3D 메시의 각 버텍스를 2D 텍스처 맵의 특정한 위치(Specific Location)에 맵핑한다. U와 V는 2D 텍스처 코디네이터 공간의 수평축과 수직축이며, X, Y와 Z가 데카르트 그리드 시스템 (Cartesian Grid System)의 ‘세계공간(World Space)’을 표시하는 직각좌표축에 사용된 점을 감안하여, 혼동을 피하기 위해 알파벳 U와 V(X, Y가 아닌)를 선택하여 ‘UVs’의 좌표축을 표시한다[21]. 3D 메시를 2D 텍스처 공간으로 펼치는 과정을 ‘UV언래핑’이라 부른다[20]. 예를 들어 정사면체의 UV언래핑은 선물 포장상자를 여는 것과 유사하여, 펼쳐진 평면의 각 버텍스(즉 U축과 V축의 좌표점)는 모두 정사면체 상의 버텍스와 대응한다[그림 7]. 그리하여 UV텍스처 좌표는 3D 메시 표면상 각 버텍스의 위치정보를 정의한다.

그림 7. 정육면체 UV 언래핑

효율적인 자동획득 메시의 UV파라미터는 CG분야의 연구주제 중 하나이다. 여러 문헌이 상응하는 방법을 제시하였지만, 우수한 자동화 방법은 여전히 나오지 않았다[21]. 전문 모델러(Modellers)들은 통상적으로 수동식으로 펼치는 솔루션을 선택한다. 수동식 언래핑은 자동화 방법을 사용하는 것에 비해 다음 UV 언래핑의 기본원칙을 잘 준수함으로써 더 나은 결과를 가져올 수 있다. 첫째, UV 이음새(Seams)를 보이지 않게 하는 것이 좋다. 통상적으로 메시의 절개선(예를 들어 두 평면간 결합부분), 혹은 관람객의 시선이 주목하지 않는 위치(예를 들어 사람의 겨드랑이 혹은 모자 아래)에 둔다. 둘째, 가급적 스트레치 및 부정확한 줌과 중첩효과를 줄인다. 이 같은 요소들은 모델링 텍스처의 최종적인 외관 품질을 떨어뜨린다. 셋째, 2D 텍스처 공간에 가급적 통일적으로 UV를 배치하고, UV 맵 텍스처 픽셀 (Map Texture Pixels)의 낭비를 줄인다. 넷째, UV 아일랜드(UV Islands) 주변에 공간을 남겨 엣지 충진 (Edge Padding)을 진행할 수 있게 함으로써, 아티펙트 (Artifacts)가 생기지 않도록 한다.

상용되는 UV언래핑 소프트웨어 패키지에는 Autodesk의 3Ds Max와 Maya, 3D-Coat, Modo 등이 있다. 이들 소프트웨어 패키지에는 자동화된 UV 생성방법이 포함되어 있으며, 아울러 다양한 등급의 수동제어기능을 제공한다.

7. 프로젝션 및 텍스처 베이킹(Projection and Texture Baking)

재건 소프트웨어 패키지에서 만든 컬러 맵은 분열되어 한데 섞여 있다[그림 5(B)]. 재건 소프트웨어 패키지에서 사진의 색상정보를 UV를 지닌 저해상도 메시에 다시 프로젝션함으로써 상대적으로 완전한 컬러 맵을 얻을 수 있다[그림 8]. 완전한 컬러 맵은 예를 들어 컬러 맵의 라이팅 정보를 제거하는 등 후속 편집을 진행하기에 더 편리하다. 더 큰 역할은 저해상도 메시의 UV 와 매칭된 컬러 맵을 만든다는 점이다.

그림 8. UV 텍스처 공간 완전한 컬러 맵

저해상도 메시는 고해상도 메시의 표면을 따라 리토폴로지한 모델링이다. 따라서 일부러 이동시키지 않는다면 어떠한 메시도, 리토폴로지한 UV를 지닌 저해상도 메시와 고해상도 메시는 ‘작업공간(Workspace)’의 위치, 방향과 비례가 완전히 매칭된다[그림 9]. 대다수 소프트웨어 패키지에서 컬러 맵의 ‘프로젝션’ 혹은 ‘텍스처 베이킹’을 진행하려면, 이러한 저, 고해상도 메시의 상호 매칭이 전제조건이 된다.

그림 9. 저, 고해상도 메시의 위치, 방향과 비율이 서로 매칭

재건 소프트웨어 패키지에서 메시를 구축할 때, 메시가 형성되는 위치, 방향은 포인트 클라우드 구축에 사용되는, 카메라 위치를 컴퓨팅한 사진과 관계가 있다. 메시와 카메라 위치를 컴퓨팅한 사진 간 정확한 거리를 유지하기만 하면(즉 저해상도 메시의 위치, 방향, 비율이 재건 소프트웨어 패키지의 삼각형 메시와 같은 것), 사진의 텍스처 정보를 저해상도 메시에 다시 프로젝션할 수 있다[23]. 구체적인 조작 순서는 다음과 같다. 우선 UV를 지닌 저해상도 메시를 재건 소프트웨어 패키지에 임포트하여, 재건 소프트웨어 패키지가 구축한 삼각형 메시를 교체한다. 그런 다음 재건 텍스처의 명령을 이행하고, 컬러 텍스처를 저해상도 메시에 프로젝션한다. 마지막으로 컬러 맵을 Tiff 형식으로 도출한다. 이렇게 하여 비교적 완전한 컬러 맵을 획득하며, 획득한 컬러 맵의 정밀도와 재건 단계(단계3)에서 생성된 컬러 맵의 정밀도는 같다. ‘Reality Capture’와 ‘PhotoScan’은 모두 컬러 맵의 프로젝션을 실현할 수있다.

사진의 컬러 텍스처만을 저해상도 메시에 다시 프로젝션하는 방법에 비해, 텍스처 베이킹은 컬러 맵을 포함한 기타 유형의 맵을 획득할 수 있다. 특히 다음 단계인 디라이팅에 필요한 보조 맵을 베이킹할 수 있다. 텍스처 베이킹은 텍스터 맵 라이브러리(Libraries) 생성을 위한 과정이며, 텍스처 맵 라이브러리에는 컬러 (Colour), 재질(Material), 텍스처, 라이팅(Lighting), 쉐도우(Shadow), 반사(Reflection), 노말(Normal), 디스플레이스먼트(Displacement) 등의 맵이 포함된다. 이들 텍스처 맵은 3D 모델링 표면의 관련 정보를 저장하고 표시한다[24]. 이 기술이 가장 자주 사용되는 애플리케이션은 규정된 폴리곤 수의 제한 내에서 어떤 메시의 디테일을 충분히 표시할 수 없을 때 고성능의 실시간 모델링(Real-time Model)을 구축할 수 있도록 한다. 텍스처 베이킹을 지원하는 상용 소프트웨어 패키지에는 ‘Maya’, ‘3dsMax’, ‘Substance Designer’, ‘ Xnormal’, ‘ Knald’ 등이 있다. 구체적인 조작 순서는 다음과 같다. 통상적으로 고, 저해상도 메시를 각각 임포트한다. 그런 다음 베이킹이 필요한 맵을 선택하고, 맵 출력 사이즈 혹은 추출 품질에 관한 설치를 진행한다. 마지막으로 베이킹을 이행하고 맵을 도출한다.

8. 디-라이팅(De-Lighting)

실내에서 수많은 플러드 조명(Flood Light)을 사용해 사진측량을 진행할 경우, 보통 오브젝트 주변의 각각의 각도에서 균일한 빛을 얻을 수 있다. 그러나 추가광원이 없거나 야외에서 촬영할 경우 오브젝트를 촬영한 사진에 강렬한 광원으로 인한 예리한 하이라이트와 그림자를 포함하게 되고, 이는 표면 텍스처와 동적 광원의 물리적 인터렉션을 가로막는다. 디라이팅이란 재건 소프트웨어 패키지가 도출한 2D 컬러 맵에 남아 있는 라이팅 정보를 없앰으로써 렌더링에 사용되는 실제베이스 컬러(Base Color)맵을 획득하기 용이하게 하는 것이다[그림 10]. 텍스처의 디라이팅 방법에는 여러 가지가 있다. 촬영 시 각각의 각도에서 균일하게 조사하는 라이팅을 구축한 다음, 편광자 필터를 사용해 촬영을 진행함으로써 디라이팅을 할 수 있다.

그림 10. (A)라이팅 정보가 있는 컬러 맵, (B)디라이팅한 컬러 맵

Unity가 개발한 De-Lighting 툴은 맵을 사용해 디라이팅을 진행할 수 있다. 디라이팅에 필요한 특정 맵은 각각 컬러(Color), AO(Ambient occlusion ), 노말 (Normal ), 벤트 노말(Bent normal ), 위치(Position), 마스크(Mask)맵이다. ‘Xnormal’, ‘Knald’ 혹은 ‘Substance Designer’를 사용하면 마스크 외의 맵을 베이킹할 수 있다. 마스크 맵은 ‘Photoshop’을 통해 제작할 수 있다. 디라이팅 툴의 텍스처 입력 슬롯(Slot)에이들 맵을 임포트하면, 툴은 자동적으로 라이팅의 컬러맵을 제거한다. 그런 다음 컬러 맵을 도출하면 디라이팅 단계가 완성된다. 컬러, AO, 노말, 벤트 노말은 반드시 임포트해야 하는 맵이며, 위치와 마스크 맵은 필요에 따라 사용한다. 위치 맵을 사용해 텍스처에 디라이팅을 진행하면, UV 이음새가 나타나지 않고, 더욱 정확한 디라이팅 결과를 만들어낸다. 마스크 맵의 레드, 그린 채널(Channel)을 사용하면 컬러 맵 상의 아티펙트를 제거할 수 있다. 같은 재질의 표면에 암석 상의 검은색 페인트와 같이 다른 재질을 도포할 수 있다. 검은색 페인트는 디라이팅의 과정을 방해하여, 컬러 맵에 아티펙트가 나타난다. 마스크 맵의 레드 채널에 이들 방해재질의 위치를 표기하면, 아티펙트를 제거할 수 있다. 그밖에 강렬한 직접 조명으로 인해 표면의 기복이 비교적 큰 오브젝트에는 여러 가지 크고 작은 그림자가 형성된다. 마스크 맵의 그린 채널에 이들 그림자가 위치한 구역을 표기하여 그림자를 없앨 수 있다[25].

Adobe사의 사진처리 소프트웨어 패키지 ‘Photoshop’는 예술적인 디라이팅에 사용될 수 있다. 이 과정은 아티스트 자신의 스킬에 기반하며, 자동적으로 컴퓨팅되는 것이 아니다. 통상적으로 긴 작업시간을 필요로 하며, 조명이 많거나 컬러 조명을 비추는 상황에서는 사진의 디라이팅을 제대로 실현하기 어려울 수있다. Photoshop의 ‘노출 조정 레이어(Exposure Adjustment Layer)’는 사진의 노출도를 교정하는 툴이다. 사진의 노출도를 조정함으로써 디라이팅을 진행한다. 컬러 캡 노출도를 조정하는 과정에는 월드 노말 (World Normal)과 AO 맵을 사용해야 한다. 이 두 장의 맵은 ‘Xnormal’과 ‘Substance Painter’ 소프트웨어 패키지를 통해 구축할 수 있다. Photoshop에서 디라이팅을 진행하는 구체적인 순서는 다음과 같다. 첫째, 프로젝션 혹은 베이킹한 컬러 맵을 Photoshop에 임포트한 다음, 32비트(Bit) 형식으로 전환한다. 둘째, 노출조정 레이어를 구축하고, AO 맵을 인버트(Invert)한 다음, 인버트한 AO 맵을 노출 조정 레이어의 마스크 (Mash)에 추가한다. 셋째, 월드 노말 맵의 레드, 그린, 블루 채널을 마스크로 하는 노출조정 레이어를 각각 구축한다. 이 네 노출 조정 레이어의 속성계수를 조절함으로써 컬러 맵의 하이라이트와 그림자를 상쇄한다. 이들 단계만으로는 고품질의 디라이팅 결과를 얻기에 부족할 수 있으며, 노출 조정 레이어를 더 구축하여, 수동으로 마스크를 드로잉하는 방법을 통해 사진의 명암 정도를 정확히 제어할 필요가 있다. 혹은 곡선(Curves)과 레벨(Levels) 조정 레이어를 유연하게 사용하고, 레이어 블랜딩 모드(Layer Blending Modes)로 사진의 전체적인 노출을 조정한다. 이러한 단계를 유용하게 적용할지의 여부는 컬러 맵의 구체적인 상황에 달려 있다. 넷째, 디라이팅의 컬러 맵은 Tiff 형식으로 저장한다.

‘Unity De-Lighting’ 툴과 ‘Photoshop’은 모두 컬러 맵의 디라이팅에 사용될 수 있다. 먼저 ‘Unity De-Lighting’ 툴을 사용하여 자동적으로 디라이팅을 진행하고, 만약 효과가 충분하지 않으면 수동으로 ‘Photoshop’ 방식을 결합하여 원하는 결과를 얻는 방법을 추천한다.

9. 재질 맵 작성 (Create Material Maps)

디라이팅한 컬러 맵을 획득한 후에는 기타 재질 맵 (Material Maps)을 구축해야만 3D 에셋 제작을 완성할 수 있다. 각종 재질 맵은 하나의 세트를 구성함으로써 모델링 표면 정보 및 표면과 빛의 상호작용 (Interact) 방식을 제어한다. 물리 기반 렌더링 (Physically Based Rendering, 약칭 ‘PBR’) 기술은 물리학 원리를 이용하여 빛과 물질(Matter)의 상호작용을 시뮬레이션함으로써[26], 사진 수준의 사실적인 컴퓨터 생성이미지 렌더링을 가능하게 한다. 최근 십여년 간, 물리 기반 렌더링 기술은 영화, 애니메이션의 오프라인(Offline) 렌더링과 게임의 실시간 렌더링 등 분야에 널리 응용되어 왔으며, PBR 텍스처 제작 공정의 형성과 관련 소프트웨어 패키지 개발을 촉진하였다.

현재 가장 널리 사용되는 PBR 텍스처 제작 소프트웨어 패키지는 Allegorithmic 의 ‘Substance’와 ‘Quixel’이다. 이들은 실제 물질 표면의 물리적 특성을 시뮬레이션하고, 텍스처를 3D 메시 표면에 직접 드로잉함으로써 아티스트가 더 상세하고 사실적인 텍스처세트(Texture Set)를 직관적으로 구축할 수 있게 한다 [11]. 본 연구는 Substance Painter 소프트웨어 패키지에서 PBR 텍스처를 제작하는 기본 순서를 소개하고자 한다. 첫째, UV를 보유한 저해상도 메시를 Substance Painter 소프트웨어 패키지에 임포트하여, 프로젝트를 구축하고 설치한다. 둘째, 정리를 거친 고해상도 메시를 추가하여 텍스처 맵을 베이킹한다. 셋째, 라이팅 정보를 제거한 컬러 맵을 임포트하고 메시에 부여하여, 기본 컬러로 사용한다. 만약 Substance Painter에서 베이킹한 맵의 품질이 높지 않으면, 단계 7(프로젝션 및 텍스처 베이킹)에서 베이킹한 AO, 노말, 디스플레이스먼트를 임포트하여 “Substance Painter” 에서 베이킹한 맵을 교체한다. 넷째, Substance Painter의 텍스처, 재질(Material), 스마트 재질(Smart Material), 툴 등을 사용하여 사실적인 PBR 재질을 제작한다. 이 단계는 매우 유연하고 시간이 소요되는 작업이며, 아티스트의 수준에 따라 제작된 PBR 재질의 품질에도 차이가 나타난다. 다섯째, 재질 구축을 완료한후 맵을 익스포트(Export)한다. 렌더링 프로그램에 따라 임포트한 PBR 텍스처 맵에 대한 요구도 달라지며, “Substance Painter”는 대응하는 익스포트 옵션을 제공한다. 텍스처를 익스포트할 때 사용할 렌더링 프로그램에 따라 그에 대응되는 형식의 맵을 익스포트해야 한다. [그림 11]은 Maya V-Ray 렌더링에 사용되는 맵이다.

그림 11. Maya V-Ray 렌더링에 사용되는 맵

지금까지 본 연구가 제시한 3D 에셋 구축의 모든 단계에 관한 소개를 마쳤다. 실사같은 CG 화면을 갖추기 위해서는 최종적으로 조명, 렌더링, 합성 (Composition) 등 후반 처리작업을 거쳐야 하지만, 사실적인 3D 에셋을 구축하는 것은 실감나는 CG 화면제작의 토대가 된다. 본 연구는 사실적인 3D 메시와 텍스처 구축에 중점을 두었으므로, 조명과 렌더링 공정에 관한 보다 상세한 소개는 생략한다.

Ⅲ. 결과

본 연구가 제시한 방법은 사진측량과 컴퓨터 그래픽 작업공정을 결합함으로써 사실적인 3D 에셋을 구축하는 것이다. [그림 1]과 [그림 12]는 본고가 제시한 방법을 사용해 미래지향적 디자인 요소들이 보여지는 ‘탄알상자’와 ‘총’의 에셋들을 보여준다. 그림을 통해 알 수 있듯 렌더링 결과와 참고용 사진의 외관은 상당히 유사하며, 힌트가 없다면 어느 것이 참고용 사진이고, 어느것이 컴퓨터 그래픽으로 생성한 사진인지 분간하기 어렵다. 양자는 메시의 형태와 크기가 같을 뿐 아니라 텍스처의 디테일과 질감 역시 완전히 동일하다.

그림 12. 제작된 사실적인 총(A)참고도, (B)렌더링 결과

[그림 13]은 제시한 방법을 사용해 구축한 ‘금속 음료수병’이다. 그림에서 볼 수 있듯, 금속 음료수 병 역시 매우 사실적이다. 병 표면의 글자체와 문양이 매우 또렷하고, 스트레치 현상도 없으며, 정확한 좌표위치에 나타난다. 표면 텍스처는 360도 모두 끊김이나 중첩이 없다. 즉 이 그림은 3D 원기둥 모델링의 표면 텍스처에 불연속성이나 변형, 이음새가 없는지, 그리고 포함한 픽셀 포인트의 좌표위치가 정확한지를 더욱 선명하게 보여준다.

그림 13. Maya 최종 렌더링된 캔

[그림 14]는 서론에서 소개한 기존 연구결과이다. 그림에서 A, B, C의 결과는 사실성이 부족하고, D의 결과는 비교적 사실적이지만 컬러에 편차가 있음을 알 수있다. A의 결과는 렌더링을 진행하지 않았지만, 이 연구는 물체 표면의 물리적 속성을 표시한 맵을 제작하지 않았고, 렌더링 결과도 사실적이지 않다. D결과의 문헌은 컬러 교정을 진행하였는지 명확히 설명하지 않았기 때문에 조명 외에 컬러 맵의 부정확함으로 인해 발생한 컬러 편차를 배제할 수 없다.

그림 14. 기존 연구의 결과

Ⅳ. 논의

기존 연구 결과[그림 14]에 비해 본 연구의 세 가지 모델링의 결과는 형체가 정확하고 재질 질감이 사실적이어서, 환경적 라이팅과 동적 인터랙션이 가능하다. 사진측량은 투박한 메시와 컬러 맵을 빠르게 구축할 뿐이며, 메시와 맵의 오차가 생길 경우 컴퓨터 그래픽 방법을 활용하여 수정 복구해야 한다. 또한 최종적으로 사실적인 오브젝트를 렌더링하려면 컬러 교정을 진행하고, 물체 표면의 물리적 속성을 표시하는 맵을 제작해야 한다. 그 밖에도 사진측량이 자동으로 맵 정보를 프로젝션하는 강점에 대해 논의할 필요가 있다. 왜냐하면 사진측량은 자동 컴퓨팅 방식을 통해 사진의 컬러 정보를 메시 표면에 프로젝션하기 때문이다. 이 방식은 수동으로 ‘맞춰 붙이는’ 프로젝션 방식보다 더욱 정확하고 효율적이다. ‘금속 음료캔’과 ‘총’ 등의 원기둥 물체를 예로 들면, 전통적인 방법은 사진의 컬러 정보를 단순히 원기둥 모델링에 프로젝션하는 것뿐이다. 그래서 각 평면 사진을 원형의 표면에 프로젝션할 때에는 좌표위치가 정확해야 하고, 맵에 이음새, 중첩과 아티펙트 등의문제가 나타나지 않도록 많은 시간을 들여 수정해야 한다.

[그림 15]은 ‘DICE’ 스튜디오가 ‘배틀필드 4’와 ‘스타워즈: 배틀필드’ 게임 에셋을 개발하는 데 걸린 시간을 일(Day) 단위로 비교해 놓은 그림이다. 이전의 게임 ‘배틀필드 4’에 비해, ‘스타워즈: 배틀필드’는 사진측량 재건을 사용해 고해상도 디지털 스컬프트(Digital Sculpt)를 대신하였으며, 각 에셋의 개발시간은 눈에 띄게 감소하였다. 개발팀은 결과에 더욱 만족하였으며, 이전 작품에 비해 사진측량 재건의 결과가 더 자연스럽고 몰입감 있는 환경을 묘사했다고 인식한다[11]. [그림 2]와 비교해보면, 본 연구가 제시한 방법은 ‘DICE’ 스튜디오의 작업 프로세스 중 일부 단계와 유사한 것을 알 수 있다. 따라서 마찬가지로 고품질의 사실적인 3D 에셋을 생산하는 동시에 생산주기를 단축할 수 있다. 앞으로 제작 시간을 절약하는 최대 소스는 촬영의 품질을 높이는 데에서 비롯될 것이다. 이를 통해 재건 모델링 품질을 높이면서 정리 작업에 소요되는 시간을 줄일 수 있기 때문이다.

그림 15. 기존 공정(BF4)과 사진측량법을 이용한 공정 (SW:BF)의 게임 에셋 생성 시간 차이

전자게임, 가상현실, 문화유산보호 등 각 분야의 실감나는 CG 시각효과 요구를 충족하기 위해서는, 현실세계의 오브젝트를 모델링하는 작업이 반드시 필요하다. 본 연구가 제시한 방법은 최종적으로 실감나는 시각효과를 갖춘 3D 콘텐츠를 제작하는 데 기술적인 도움을 제공할 것이다. 그밖에 다른 연구자가 본 공정을 사용할 경우 유연성을 최대화할 수 있도록, 공정의 각 단계에 사용하는 전문 소프트웨어 패키지에는 다양한 예비방안을 도입하였다. 제안한 모든 소프트웨어 패키지는 비용의 효율성과 학습의 용이성을 갖추어, 기존의 어떠한 혼합 소프트웨어 공정에서도 실현이 가능하다. 또한제시한 방법은 대규모 팀이나 복잡한 설비를 필요로 하지 않는다. 그러므로 이 방법은 소형 스튜디오, 독립 아티스트의 창작과 교육기관의 수업에도 훌륭하게 응용될 수 있다.

Ⅴ. 결론

본문은 실제 세계의 오브젝트를 근거로 사진측량과 컴퓨터 그래픽 작업공정을 결합하여 3D 가시화 애플리케이션에 사용할 수 있는 사실적인 에셋을 생성하는 새로운 방법을 제시하였다. 또한 연구결과를 보여주고, 결과를 얻는데 사용한 사진측량, 화이트 밸런스, 컴퓨터그래픽 모델링 처리, 디라이팅, PBR재질 구축 등 기술및 관련 소프트웨어 패키지를 상세히 설명하였다. 특히 화이트 밸런스와 디라이팅의 단계는 대단히 중요하지만, 아티스트나 연구자는 이들과 이를 공정에 포함하는것을 인식하지 못하기 때문에, 정확한 컬러와 동적 조명효과를 얻지 못한다. 이러한 점에서 본 연구는 새로운 시도를 통해 두 가지 기술을 상세히 소개하였다. 그밖에도 새로운 방법의 장점과 보급전망을 논하였다. 고해상도 디지털 스컬프트를 통해 에셋을 구축하는 방법에 비해 새로운 방법은 더 자연스럽고 사실적인 3D 에셋을 구축하며, 제작 기간을 단축할 수 있다. 새로운 방법은 유연성이 높아 기존의 어떠한 혼합 소프트웨어 공정에서도 실현이 가능하다. 대규모 팁이나 값비싼 설비와 소프트웨어 패키지를 필요로 하지도 않는다. 따라서 소형 스튜디오, 독립 아티스트의 창작과 교육기관의 수업에 훌륭하게 응용될 수 있다.

본 연구가 제시한 새로운 방법에 따라 기타 오브젝트의 구축으로까지 수월하게 확장할 수 있지만, 수중이나 고지대에 있는 오브젝트에 대해서는 수중 원격 항법기구(Remotely Operated Vehicles)나 공중 드론 (Aerial Drones)이 촬영한 고화질 영상의 스테틱 프레임 사진을 사용하여 사진측량의 모델링을 제작할 필요가 있다. 그밖에 사진측량보다 더 정확한 지오메트리데이터(Geometric Data)를 얻는 방법을 사용할 수 있다. 예를 들어 레이저 스캐닝(Laser Scanning), 레이저레이더(LIDAR), 멀티빔 소나(Multibeam Sonar)는 기본적인 포인트 데이터(Underlying Point Data)로서 메시를 구축할 수 있다. 그런 다음, 사진측량으로 생성된 사진 텍스처를 위에서 상술한 방법을 통해 획득한 지오메트리 데이터에 응용하여, 더욱 사실적인 3D 에셋을 획득한다. 앞으로 본 연구의 방법을 확장하여, 이들 툴 혹은 기술을 이용함으로써 3D 에셋을 구축하는일은 매우 의미 있는 연구과제가 될 것이다.