Multiple Binarization Quadtree Framework for Optimizing Deep Learning-Based Smoke Synthesis Method

Abstract

In this paper, we propose a quadtree-based optimization technique that enables fast Super-resolution(SR) computation by efficiently classifying and dividing physics-based simulation data required to calculate SR. The proposed method reduces the time required for quadtree computation by downscaling the smoke simulation data used as input data. By binarizing the density of the smoke in this process, a quadtree is constructed while mitigating the problem of numerical loss of density in the downscaling process. The data used for training is the COCO 2017 Dataset, and the artificial neural network uses a VGG19-based network. In order to prevent data loss when passing through the convolutional layer, similar to the residual method, the output value of the previous layer is added and learned. In the case of smoke, the proposed method achieved a speed improvement of about 15 to 18 times compared to the previous approach.

본 논문에서는 초해상도(Super-Resolution, SR)을 계산하는데 필요한 물리 기반 시뮬레이션 데이터를 효율적으로 분류하고 분할하여 빠르게 SR연산을 가능하게 하는 쿼드트리 기반 최적화 기법을 제안한다. 제안하는 방법은 입력 데이터로 사용하는 연기 시뮬레이션 데이터를 다운스케일링(Downscaling)하여 쿼드트리 연산 소요 시간을 대폭 감소시킨다. 이 과정에서 연기의 밀도를 이진화함으로써, 다운스케일링 과정에서 밀도가 수치 손실되는 문제를 완화하며 쿼드트리를 구축한다. 학습에 사용된 데이터는 COCO 2017 데이터 셋이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual) 보완 방식과 유사하게 이전 계층의 출력 값을 더해주며 학습을 진행한다. 실험결과가 연기의 경우 제안된 방법은 이전 접근법에 비해 약 15~18배 정도의 속도향상을 얻었다.

I. Introduction

최근에 캐릭터 애니메이션[1-3]과 유체 시뮬레이션[4-6] 같은 물리 기반 시뮬레이션 분야는 딥러닝으로 인해 눈에 띄게 개선되었다. 딥러닝으로 표현하기 어려웠던 스타일 전달[7,8], 캐릭터 모션 제어[9,10], 수치 해석[11] 등 정확도나 효율성 측면에서는 긍정적인 결과를 얻어냈지만, 여전히 특정 분야에서는 계산량이 크다는 단점이 지적되기도 했다. 최근에 물리 기반 유체 시뮬레이션의 연산 비용 절약을 위해 쿼드트리 기반의 SR기법이 제안되었다 [12]. 이 기법은 쿼드트리를 활용하여 효율적으로 데이터를 분할하고 유의미한 데이터만을 연산에 사용하기 때문에 연산 속도의 향상은 물론이고, 고해상도의 데이터가 입력으로 사용되어도 메모리 부족 문제를 피할 수 있다는 장점이 있다.

Fig. 1. Comparison with regular grid and quadtree structures.

Fig. 1에서 보듯이 정규격자 방식은 전체 공간에 대해서 메모리를 할당하지만, 쿼드트리의 경우 중요한 부분에 대해서만 공간을 분할하기 때문에 효율성이 개선될 수 있는 자료 구조이다. 본 논문에서 이러한 장점을 제공하는 쿼드 트리를 계산하는 과정에서 이진화와 다운스케일링 기법을 추가함으로써 쿼드트리 연산 소요 시간을 월등히 감소시킬 수 있는 최적화 기법을 제안한다.

1. Problem statement

일반적으로 격자기반으로 공간을 분할하는 이산화 기법은 물리 기반 시뮬레이션 분야에서 연기, 물, 불과 같은 결과에 상당한 영향을 미친다[13,14]. 쿼드트리 같은 자료구조를 이용하여 유의미한 공간만을 사용함으로써 최적화를 시킬 수 있지만[15-17], 애초에 격자 해상도가 높을 경우 쿼드 트리 구축 자체가 계산량이 크기 때문에 효율성이 크게 개선되지 않는다[12]. 이 같은 문제를 해결하기 위해서 간단하게 사용할 수 있는 방법은 쿼드트리를 계산해야 되는 공간을 멀티스케일로 줄이는 것이다. 하지만, 연기의 밀도를 다운스케일링 하는 과정에서 수치 손실이 발생하며, 결과적으로 정확한 쿼드트리 분할이 어려워진다. Fig. 2에서 보듯이 이러한 밀도의 수치손실은 밀도 값이 적은, 즉, 연기가 연하게 표현되는 부분에서 많이 발생하며, 이러한 문제는 다운스케일링을 하면 할수록 더 심각하게 나타난다.

Fig. 2. Numerical loss of density in downscaling stage (a : 23 frame, b : 78 frame).

본 논문에서 제안하는 방법은 시뮬레이션 해상도가 높은 장면에서도 효율적으로 데이터를 학습 및 테스트 할 수 있도록 데이터를 최적화 기법을 제안한다. 이를 구현하기 위해서는 아래와 같은 하위 문제를 풀어야 한다:

1) 시뮬레이션 공간의 효율성을 극대화하기 위한 공간다운 스케일링 기법

2) 반복적으로 다운스케일링하는 과정에서 밀도의 수치손실 문제를 최소화하기 위한 이진화 기법

3) 다운스케일된 공간에서 상향식 접근법으로 쿼드 트리를 계산하고, 데이터를 병합하는 기법

4) 다운스케일된 공간에서 계산된 쿼드트리를 기반으로 학습에 필요한 데이터를 수집하는 방법

첫 번째 문제를 해결하면 쿼드트리를 계산할 수 있는 공간의 크기가 작아지고, 이 과정은 다중격자 해법 (Multigrid solver)처럼[18], 사용자가 원하는 만큼 반복적으로 다운스케일링이 가능하다. 두 번째 문제를 해결하면 공간을 줄이는 과정에서 상대적으로 작은 밀도가 손실되는 문제가 해결되어, 다운스케일링된 공간에서도 원본 밀도를 유지할 수 있게 해준다. 세 번째 문제를 해결하면, 작게 줄어든 공간에서 쿼드트리를 계산할 수 있게 되고, 마지막 문제를 해결하면 쿼드트리를 원본 사이즈로 업스케일링 하여 학습에 필요한 데이터를 수집할 수 있다.

II. Preliminaries

컴퓨터 비전뿐만 아니라 물리 기반 시뮬레이션 분야에서도 딥러닝 기술은 많은 문제들을 풀어왔고[19,20], 수학적으로도 풀기 까다로운 움직임이나 객체 인식 등 다양한 분야에서 많은 발전을 이루었다[21,22]. 물리 기반 유체시뮬레이션에서는 상대적으로 계산량이 큰 과정인, 압력을 합성 곱 신경망(Convolutional neural network, CNN)을통해 효율적으로 풀어낸 기법이 제안되었다[5,19]. 압력을 풀어내는 접근법과는 달리, 직접적으로 연기의 밀도를 고해상도로 업스케일링 시킬 수 있는 방법들도 제안되었다. 이러한 접근법은 SRCNN(Super-resolution CNN)을 기반으로 하고 있으며, 3차원 공간을 업스케일링 시킨다는 점에 큰 차이가 있다. 이 방법은 업스케일링 과정에서 디테일한 연기의 움직임을 잘 표현하고자 3D CNN과 GAN 기반으로 확장되었다[20,23].

이러한 SR접근법들은 전체 공간 데이터를 한 번에 연산하기 때문에 비효율적으로 계산되며, 특히 입력 데이터가 커지면 커질 수 록 이 문제는 더욱더 심각해진다. 본 논문에서 제시하는 연기의 경우 밀도가 있는 부분이 중요하며, 밀도가 없는 공간은 실제로 연기가 존재하지 않기 때문에 우리는 이러한 특징을 고려하여 데이터를 압축하고자 한다. 이를 구현하기 위해 본 논문에서는 쿼드트리를 활용하여 연기 밀도 데이터를 효율적으로 분할하고 필요한 부분만을 활용하여 SR하는 기법을 제시한다.

SR분야는 컴퓨터 비전에서 먼저 연구가 시작된 분야이다. Dong 등은 딥러닝을 활용하여 저해상도 이미지를 고해상도로 변환해주는 기술을 제시했다[24]. 이 기술은 다양한 방법으로 확장되었으며, 최근에는 GAN을 이용하여 좀 더 깊은 인공신경망을 구축하여, SR의 품질을 개선시킬 수 있는 방법도 제안되었다[25]. 컴퓨터그래픽스 분야에서는 다양한 공간분할 알고리즘이 있다 : K-d 트리, 쿼드 트리(3차원인 경우 옥트리), BVH 등 다양한 공간 분할알고리즘들이 있다. 목적에 따라 다양하게 활용되고 있지만 그 중에서 쿼드트리는 유의미한 공간을 만을 분류하기 위해 다양한 분야에서 널리 사용되고 있는 자료구조이다 [26]. 최근에는 적응형 공간분할 알고리즘을 딥러닝에 활용하려는 시도가 꾸준히 있었다. 옥트리와 CNN을 활용하여 지오메트리의 분류 및 분할(Classification and segmentation)에 적용된 경우도 있다[27,28]. 하지만, 대부분의 명확한 지오메트리와 연결정보를 가지고 있는 3차원 모델에서 적용이 되었으며, 실제 유체 시뮬레이션에 적용된 사례는 거의 없다. 최근에 Hong 등은 쿼드트리 기반의 연기 최적화 기법을 제시했다[12]. 우리의 방법과 가장 유사하지만, 쿼드트리만 적용했을 뿐, 실제 시뮬레이션 해상도가 512×512나 1024×1024와 같이 클 경우는 여전히 계산 시간이 크다는 한계가 있다.

III. The Proposed Scheme

본 논문에서 제안하는 멀티스케일 기반의 이진화 쿼드 트리를 활용한 전처리 과정에서는 연기의 밀도 데이터를 패치로 분할한다. 패치들을 가장 작은 크기로 분할된 노드라고 가정하고, 상향식(Bottom-up) 방식으로 쿼드트리를 병합한다. 이 과정에서 밀도 데이터의 손실과 계산 공간을 줄이기 위해 다운스케일과 이진화 과정을 거친다.

1. Classification of patch data from smoke density

연기의 밀도로부터 패치를 계산하는 과정은 이전 연구와 내용이 유사하게 때문에 간단하게만 설명할 것이며, 좀 더 자세한 설명은 이전 논문을 읽기를 권장한다[12].

본 논문에서 패치를 사용하는 이유는 SR을 수행함에 있어서 유의미한 데이터를 정의하기 위해서이다. 연기 시뮬레이션 공간을 사용자가 정의한 크기로 패치 분할하고, 그 패치가 가지고 있는 밀도가 임계값보다 크다면 유의미한 밀도라고 판단되기 때문에 FD(Full density)로 설정하고, 임계값 이하라면 밀도가 없다고 판단하여 ED(Empty density)로 설정하였다. 여기서 임계값은 0.01로 사용하였으며, 이 값은 여러 번의 실험을 통해 얻어진 값이다.

입력 데이터인 연기의 밀도가 주어지면 이진화와 다운 스케일링 과정을 통해 밀도 데이터를 압축한다. 이 과정에서 이진화를 통해 연기의 밀도 데이터가 손실되는 문제를 최소화하면, 수치 손실 없이 계산 공간의 크기를 줄일 수 있기 때문에 쿼드트리를 구축하는 연산 속도의 최적화가 가능하다. Fig. 3b에서 보듯이 이진화 과정은 작은 밀도 값을 손실 없이 추출한다. 그 다음 밀도 데이터를 8×8, 16×16 같이 작은 크기로 분할 한 뒤, 각 분할 데이터의 밀도가 임계값을 초과하는지에 따라, 초과한다면 FD, 초과하지 않는다면 ED로 분류한다.

Fig. 3. Comparison with original and binarization of smoke data.

본 논문에서는 상향식 병합을 기반으로 쿼드트리를 계산하며, 여기서 일련의 규칙에 따라 노드를 병합한다. 쿼드 트리가 구성되면 연산이 끝난 노드들을 업스케일링 하여 원본 데이터의 크기로 복원하고, 원본에 맞게 수정된 위치를 이용한다. 수정된 위치에 해당하는 원본 밀도 데이터를 네트워크를 통해 고해상도 데이터로 업스케일링한다[24].

2. Binarization and downscaling simulation space of smoke

본 논문에서는 연기 시뮬레이션의 가로×세로 해상도를 같은 크기인 정방 구조로 사용했다. 연산 소요 시간을 줄이기 위해 데이터를 압축하는 과정에서 합 스텝을 다운 스케일링 할 시, 이전 크기의 0.25배로 데이터 크기를 줄여나갔다. 다운스케일링 할 때 인접한 4개 노드의 밀도 평균을 계산하여 밀도 데이터를 압축했으며, 총 3번의 다운 스케일링을 사용했다.

첫 번째 스텝에서는 0, 0.01, 0.1, 0.05 등의 다양한 임계 값을 이용하게 실험했으며, 이 중에서 가장 좋은 데이터 양상을 보여주는 0.05를 임계값으로 선정하였다. 두 번째와 세 번째 스텝에서는 0과 1로 이진화된 인접한 4개 노드의 밀도 평균을 계산해 다운스케일링 하였기 때문에 0, 0.25, 0.5, 0.75, 1의 값으로만 이루어져 있으며, 우리는 임계 값을 0.5로 지정하여 사용하였다. 따라서 이진화를 통해 데이터의 손실을 최소화하고, 다운스케일링을 통해 데이터의 크기를 줄여 연산을 대폭 감소시켰기 때문에 쿼드 트리 연산 속도의 최적화가 가능하였다. Fig. 4는 이진화와 다운스케일링을 적용한 결과이다. 다운스케일한 결과는 시뮬레이션 공간이 줄어듦에도 불구하고 밀도 손실 없이 원형의 형태를 그대로 유지했다 (Fig. 4b의 작은 삽입된 이미지 참조). Fig. 4b는 다운스케일된 데이터를 원본 크기 데이터의 크기로 확대한 결과이며, 약간 흐릿하기는 하지만 연기 밀도의 형태를 그대로 유지하였다.

Fig. 4. Visualization of data changes due to iterative binarization and downscaling.

이진화와 다운스케일링을 통해 압축된 데이터를 쿼드 트리 말단 노드의 크기에 맞게 분할한다. 말단 노드의 크기를 16×16 크기로 설정하였기 때문에 3번의 압축을 거친 데이터를 기준으로 했을 때 16개의 노드가 생성된다 (입력데이터가 512×512 기준). 생성된 노드들을 이용하여 상향식 기반으로 쿼드트리를 병합해야 되기 때문에 우선 노드들의 밀도 존재 유무를 파악하여, 앞에서 언급했듯이 임계 값과 비교해 FD와 ED로 분류한다.

3. Quadtree construction with bottom-up style for merging

앞에서 설명한 방법으로 쿼드트리를 구축할 말단 노드를 만들고 그 노드들을 상향식으로 병합함으로써 트리를 구축한다. 트리의 노드는 데이터, 키, 상태 값들을 가진다. 데이터에는 연기의 밀도 값이, 키에는 노드의 깊이(Depth) 와 위치 값이, 마지막으로 상태에는 FD 또는 ED 값을 갖게 되는 구조이다. 노드의 깊이와 위치는 각 노드의 깊이와 전체 공간에서 위치한 좌표이며, 깊이와 좌표는 SR 과정이 완료된 뒤 후처리 과정에서 필요하다. 각 패치의 밀도 데이터를 말단 노드의 데이터로 설정해주면, 말단 노드의 깊이 값을 아래와 같이 계산할 수 있다 (수식 1 참조). 

\(d=\log _{2}\left(\frac{d_{\text {width }}}{n_{\text {width }}}\right)\)       (1)

여기서 d는 현재 노드의 깊이 값이고, d_width는 입력 연기 데이터의 너비 값, n_width는 출력 데이터의 너비 값이다. 인접 노드 4개를 병합하여 하나의 부모 노드를 생성하며, 부모 노드의 데이터는 자식 노드 4개의 데이터를 합친 데이터가 된다. 부모 노드의 상태 값은 자식 노드들의 상태를 확인하여 결정되며 자세한 조건은 아래와 같다.

• 모든 자식 노드가 FD라면 부모 노드는 FD

• 모든 자식 노드가 ED라면 부모 노드는 ED

• FD와 ED가 혼재되어 있는 노드는 MIX

또한, 4개의 인접한 노드들의 상태가 모두 FD 또는 ED 라면 해당 자식 노드는 삭제한다. ED는 밀도가 없는 영역이기 때문이고, FD의 경우 상태 값이 모두 같기 때문에 부모 노드에서 한 번에 처리하면 빠르기 때문이다. 위 작업은 트리 깊이가 0이 될 때까지 반복처리로 병합한다 (Fig. 5 참조). 본 논문에서 사용한 병합 규칙을 요약하면 다음과 같다.

1) 모든 노드가 FD일 경우, 깊이 레벨이 같은 FD 노드들을 병합 후, 부모 노드를 제외한 자식 노드는 삭제한다.

2) 모든 노드가 ED일 경우, 깊이 레벨이 같은 ED 노드들은 별도의 병합 없이 삭제한다.

Fig. 5. Visualization of quadtree structure.

4. Super-resolution stage

본 논문에서 사용한 SR모델은 다음과 같다 (Fig. 6 참조). 첫 번째 컨볼루션 연산이 끝난 특징 맵(Feature map)을 이후 2번의 컨볼루션을 거쳐서 나온 결과 값과 다시 더해주는 잔차 보완 방법을 사용한다. 이 과정은 컨볼루션 연산을 통해 이미지가 손실될 수 있는데, 잔차 보완을 통해 이 문제를 최소화한다.

우리는 이 과정은 10번 반복하며, 한 번의 주기 당 2개의 컨볼루션을 지나므로 20번의 컨볼루션 연산이 진행된다. 처음에는 첫 컨볼루션이 끝난 결과 값이 더해지지만, 이후에는 반복적으로 이전 결과 값이 더해진다. 그 다음 업스케일링을 통해 크기를 2배 키우고, 이 후 4번의 컨볼루션 연산을 끝으로 종료된다.

Fig. 6. VGG19 neural network structure.

학습 데이터로는 COCO 2017 데이터 셋을 사용하였고, SR scale은 2, 배치 크기는 32, Learning rate는 0.0001 으로 총 10만 스텝을 반복하였다. 학습을 진행하며 사용한 손실 함수는 MSE(Mean squared error)를 사용하였다 (수식 2 참조).

\(L=\frac{1}{W \times H} \sum_{i}^{W} \sum_{j}^{H}\left(S R_{i j}-H R_{i j}\right)^{2}\)       (2)

여기서 L은 Loss function을 의미하고, W, H는 각각 전 처리된 데이터의 너비와 높이를 의미한다. SR, HR은 Super-resolution된 데이터와 표적 데이터인 고해상도의 데이터이다.

IV. Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 우리는 연기 데이터에서 밀도가 존재하는 부분만을 연산에 사용하여 계산 속도를 향상시키고, 고해상도의 시뮬레이션 데이터가 입력데이터로 사용되어도 메모리를 효율적으로 사용할 수 있는 쿼드트리 기반 프레임워크를 제안했다.

특히, 쿼드트리의 전처리 과정에서 이진화와 다운 스케일링 기법을 추가로 적용하여 쿼드트리 연산 시간을 월등히 감소시켰다. 본 논문에서는 와류가 있는 512×512 시뮬레이션을 이진화와 다운스케일링 하였고, 이와 같은 결과를 품질과 계산속도 측면에서 비교하였다.

Fig. 7과 8의 경우 쿼드트리만 사용했을 때보다, 우리의 방법이 약 15배정도 빠른 성능을 보여주었으며, Fig. 9에서는 18배의 성능 향상을 보여주었다. SR 결과로는 2배업스케일한 1024×1024 해상도의 데이터를 얻었다. 위 결과들은 각 장면 별 SR 전후를 비교하기 위한 장면의 일부 프레임이다. 모든 결과에서는 공통적으로 연기의 밀도가 뚜렷하게 개선되었고, 공기와 맞닿아 있는 경계 부근에서도 와류가 뚜렷해진 결과를 확인할 수 있다.

Fig. 7. Rising smoke scene with our method (inset image : input data).

Fig. 8. Turbulent smoke scene with our method (inset image : input data).

Fig. 9. Randomly generated smoke scene with our method (inset image : input data).

V. Conclusions

본 논문에서 제안하는 방법은 쿼드트리 기법을 통해 입력 데이터로 고해상도 데이터가 주어졌을 때도 메모리 부족 문제를 효율적으로 완화시켜줄 수 있는 방법을 제시했으며, 전처리 단계에 최적화 기법을 적용하여 쿼드트리 연산 시간을 감소시켰다. 특히, 쿼드트리 계산 공간을 줄이기 위해 다운 스케일링 과정을 추가했을 뿐만아니라, 연한 밀도가 소실되는 문제를 완화하기 위해 이진화 과정을 추가하였다. 결과적으로 다양한 장면에서도 안정적으로 쿼드트를 구성했고, 네트워크에 필요한 데이터의 개수를 줄임으로써 전체 SR성능을 향상시켰다. 향후, 와류의 움직임을 좀 더 보존하고 표현할 수 있는 방법에 대해 연구할 예정이다.