Sequential Point Cloud Generation Method for Efficient Representation of Multi-view plus Depth Data

다시점 영상 및 깊이 영상의 효율적인 표현을 위한 순차적 복원 기반 포인트 클라우드 생성 기법

Abstract

Multi-view images, which are widely used for providing free-viewpoint services, can enhance the quality of synthetic views when the number of views increases. However, there needs an efficient representation method because of the tremendous amount of data. In this paper, we propose a method for generating point cloud data for the efficient representation of multi-view color and depth images. The proposed method conducts sequential reconstruction of point clouds at each viewpoint as a method of deleting duplicate data. A 3D point of a point cloud is projected to a frame to be reconstructed, and the color and depth of the 3D point is compared with the pixel where it is projected. When the 3D point and the pixel are similar enough, then the pixel is not used for generating a 3D point. In this way, we can reduce the number of reconstructed 3D points. Experimental results show that the propose method generates a point cloud which can generate multi-view images while minimizing the number of 3D points.

1. 서론

최근 VR, 360° 전방위 영상 등 실감 영상 콘텐츠가 대두되고 있다. 이러한 실감 영상 콘텐츠의 생성 방안 중, MVD(Multi-view plus depth data) 데이터의 이용이 주목받고 있다. MVD 데이터는 두 대 이상의 카메라로 실존하는 물체를 촬영하여 색상과 깊이 영상 정보를 기록하는 영상 종류를 의미한다. MVD는 색상 영상 뿐 아니라 깊이 영상을 사용하므로 다시점 영상에 비해 자유시점 영상 생성이 보다 용이하여 널리 사용되고 있다.

MVD는 그 시점의 수가 증가할수록 생성하는 가상시점 영상의 품질을 향상 시킬 수 있다. 그러나 시점 개수가 증가하면 데이터 양 또한 증가하게 되는 문제점이 있다. 이를 해결하기 위해 MPEG에서는 2차원 영상 압축인 MV-HEVC(Multi View–High Efficiency Video Coding)와 3D-HEVC(3D High Efficiency Video Coding)를 제안하였으며, [1-2] 그 외에도 다양한 연구가 이루어지고 있다[3]. 이러한 기법들은 굉장히 높은 압축 효율을 보이고 있으나, 압축하는 시점의 적정 수를 찾기 위한 많은 실험이 필요하고, 또한 적은 수의 시점을 가진 MVD데이터에서 실험이 이루어졌을 뿐 시점의 수가 크게 증가하는 경우 그 성능을 보장하기 어렵다.

한편, 최근 MPEG에서는 포인트 클라우드를 효율적으로 부호화하는 PCC(Point Cloud Compression)에 대한 표준화 작업이 진행 중이다[4]. 포인트 클라우드란 3차원 좌표계 상의 데이터의 집합으로, 3차원 입체를 표현하는데 많이 사용되는 데이터이다. 포인트 클라우드는 MVD 데이터로부터 비교적 손쉽게 생성할 수 있는데, 이는 MVD데이터가 각 카메라의 위치 정보 및 각 픽셀에 투영된 3차원 점까지의 거리 정보를 모두 포함하고 있기 때문이다. MVD데이터로부터 포인트 클라우드를 생성 시 시점의 개수에 따라 증가하게 되는 중복성 정보의 제거가 가능하므로 시점의 수가 급증하더라도 생성되는 3차원 포인트의 수는 점진적으로 증가하게 된다. 또한 포인트 클라우드 복원 시 MVD데이터가 반드시 수행해야하는 기능인 가상시점 생성이 용이하다는 장점이 있다.

이러한 포인트 클라우드의 장점을 활용하여 MVD 데이터를 효과적으로 표현하기 위해 본 논문에서는 MVD 데이터로부터 포인트 클라우드를 생성하는 방안을 제안한다. 제안하는 포인트 클라우드 생성 기법은 사용자가 정의한 복원 순서에 따라, 즉 순차적 복원 방식으로 포인트 클라우드를 생성한다. 복원 과정에서 기존에 생성된 3차원 포인트와 3차원 복원에 사용되려는 픽셀의 색상 및 깊이 정보의 유사도를 분석하여, 불필요한 3차원 포인트 생성을 줄인다. 본 연구에서는 실험을 통해 컬러 유사도와 깊이 유사도의 문턱치 값 변화가 3차원 포인트의 생성과 결과 MVD데이터의 정확도에 영향을 주는 것을 확인하였다.

본 논문의 구성은 다음과 같다. 2장에서 제안 기법에 대해 설명하고, 3장에서는 실험에 활용한 MVD데이터에 제안기법을 적용한 결과를 설명한다. 마지막 4장에서 결론을 맺는다.

2. 제안 기법

2.1 제안 기법의 개요

Fig. 1은 제안 기법의 전체적인 흐름을 제시한다. 제안 기법은 MVD데이터와 사전에 사용자가 정의한 복원 순서를 입력으로 하여 포인트 클라우드를 생성한다. 사용자가 정의한 순서에 따라 해당 시점 영상에서 포인트 클라우드를 생성하고, 이를 다음 순서에 해당하는 영상에 투영한다. 투영한 3차원 포인트의 색상 정보와 깊이 정보가 투영된 픽셀 위치의 색상 정보, 깊이 정보와 유사할 경우 추가적인 3차원 포인트 생성이 이루어지지 않으며, 유사도가 낮을 경우 해당 픽셀을 활용하여 추가적인 3차원 포인트 생성이 이루어진다. 이러한 과정을 모든 시점 영상에 적용하게 되면 포인트 클라우드가 생성되고, 포인트 클라우드의 투영을 통해 MVD데이터를 재생성 한다.

Fig. 1. Flowchart of the proposed algorithm.

2.2 영상 픽셀로부터 3차원 포인트 생성 및 3차원 포 인트 투영 방안

본 절에서는 본격적인 제안 기법의 설명에 앞서 2차원 픽셀로부터 3차원 포인트를 생성하는 방안 및 3차원 포인트 투영 방안에 대해서 간략하게 소개한다. 2차원 점으로부터 3차원 점 복원과 투영 방법은 참고문헌 [5]와 같으며, 다음과 같다. 아래 식 (1)의 캘리브레이션 행렬(K)과 식 (2)의 외부 요인 행렬 (R|t)의 곱으로 식 (3)의 투영 행렬(P)을 도출할 수 있다. 이 투영행렬은 영상으로부터 3차원 포인트 클라우드를 생성할 때 사용되며, 캘리브레이션 행렬 (K)은 각 카메라의 초점 거리(f_xx , f_yy ), 주점 좌표(c_x , c_y ) 등을 포함하며, 외부 요인 행렬은 위치(t) 및 방향(R)의 정보를 담고 있다.

\(K=\left[\begin{array}{ccc} f_{x x} & f_{x y} & c_{x} \\ 0 & f_{y y} & c_{y} \\ 0 & 0 & 1 \end{array}\right]\)       (1)

\(R t=\left[\begin{array}{llll} r_{11} & r_{12} & r_{13} & t_{1} \\ r_{21} & r_{22} & r_{23} & t_{2} \\ r_{31} & r_{32} & r_{33} & t_{3} \end{array}\right]\)       (2)

\(P=\left[\begin{array}{c} K(R t) \\ 0001 \end{array}\right]\)       (3)

식 (4)은 투영행렬(P)과 3차원 점의 좌표를 이용해 그 점이 투영될 2차원 이미지의 좌표를 얻는 것이다. 또한 식 (5)과 같이 2차원 이미지의 좌표에 투영 행렬의 역행렬을 취하여 3차원 점의 X, Y 좌표를 구할 수 있다. 식 (5)에서 x′와 y′은 각각 wx, wy을 나타내고 여기서 x와 y는 점이 투영된 이미지의 좌표이다.

\(\left(\begin{array}{l} \left.x^{\prime}\right) \\ y^{\prime} \\ w \\ 1 \end{array}\right)=P\left(\begin{array}{l} X \\ Y \\ Z \\ 1 \end{array}\right)\)       (4)

\(\left(\begin{array}{l} X \\ Y \\ Z \\ 1 \end{array}\right)=P^{-1}\left(\begin{array}{l} x^{\prime} \\ y^{\prime} \\ w \\ 1 \end{array}\right)\)       (5)

3차원 좌표의 Z좌표의 경우 식 (5)을 활용하여서는 구할 수 없으며, 입력 깊이 영상의 값, 실제 최소 거리 값과 실제 최대 거리 값을 이용하여 식 (6)으로 계산된다. Z_min과 Z_max은 깊이 이미지에 촬영된 실제 거리의 최솟값, 최댓값이며 p_max은 깊이 이미지 픽셀이 가질 수 있는 최댓값이다.

\(Z=\frac{1}{\frac{d}{p_{\max }} *\left(\frac{1}{Z_{\min }}-\frac{1}{Z_{\max }}\right)+\frac{1}{Z_{\max }}}\)       (6)

마지막으로 임의의 3차원 점 X로부터 영상 I까지 의 거리는 수식 (7)을 통해 계산된다.

\(\operatorname{Depth}(X ; P)=\frac{\operatorname{sign}(\operatorname{det} M) w}{T\left\|m^{3}\right\|}\)       (7)

수식 (7)에 대한 자세한 설명은 참고문헌 [6]에서 확인할 수 있다.

2.3 제안하는 포인트 클라우드 생성기법

시점의 수가 N인 MVD 영상이 입력으로 주어지고, 복원 순서는 사용자가 많이 보는 시점인 중앙 시 점을 기준으로 이와 가까운 시점 순으로 설정한다. 설정한 복원 순서가 {0, 1, 2 ... N-1} 이라고 가정하자. 만약 현재 포인트 클라우드를 생성하게 되는 영상의 인덱스가 i일 경우, 현재 생성된 포인트 클라우드PC_i-1는 인덱스가 0, 1, 2, ...i-1인 영상을 활용하여 생성된 3차원 포인트의 집합이다. 3차원 포인트의 생성은 수식 (5),(6)을 활용하여 이루어진다.

PC_i-1와 번째 영상으로부터 PC_i을 생성하기 위해 제안 기법은 PC_i-1을 구성하고 있는 모든 3차원 점을 먼저에 투영한다. 투영은 수식 (4)를 활용하여 이루어진다. PC_i-1을 구성한 3차원 포인트 X가 투영된 픽셀이라고 할 때, 제안 기법은 X의 색상정보와 의 색상 정보의 차이를 계산한다. 색상 정보의 차이는 +YUV 색 공간에서 이루어지며, 수식 (8)을 통해 X와 x의 색상 유사도가 결정된다.

\(\operatorname{Sim}_{C}(X, x)=\left\{\begin{array}{l} 1 \text { if }|Y(X)-Y(x)|<t h_{c} \text { and }|U(X)-U(x)|<t h_{c} \text { and }|V(X)-V(x)|<t h_{c} \\ 0 \text { otherwise } \end{array}\right.\)

여기서 Y(X)는 3차원 점X의 Y값을 의미하며, th_c 는 사용자가 사전에 정의한 문턱치 값이다. 또한 와 X와의 거리를 의 깊이 정보와 비교하는데, 3차원 점과 영상과의 거리는 수식 (7)을 통해 이루어지며, 수식 (9)를 통해 X와 x의 깊이 유사도가 결정된다.

\(\operatorname{Sim}_{D}(X, x)=\left\{\begin{array}{ll} 1 & \text { if } \mid \text { Depth }\left(X, I_{i}\right)-D(x) \mid<t h_{d} \\ 0 & \text { otherwise } \end{array}\right.\)       (9)

여기서 Depth(X, I_i)는 X와 I_i간의 거리를 의미하며, th_d은 사용자가 사전에 정의한 문턱치 값이다. 오직 Sim_C (X, x) 과 Sim_D (X, x)가 동시에 1인 경우에만 x은 추가적인 3차원 포인트를 생성하기 위해 사용되며, 다른 경우는 사용되지 않는다.

또한 제안 기법은 포인트 클라우드 생성과정에서 각 시점 별 생성한 3차원 포인트의 수를 추가적으로 저장한다. 이는 포인트 클라우드로부터 MVD데이터를 재생성하는 과정에서 필요한 데이터이며, 이는 2.4절에서 설명한다.

2.4 포인트 클라우드로부터 MVD데이터 생성

2.3절에서 제안한 기법으로 생성한 포인트 클라우드를 활용하면 MVD데이터를 재생성할 수 있다. MVD데이터 생성 순서는 포인트 클라우드 생성 시 사용한 영상의 순서와 동일하다. 또한 이때 각 시점 별 생성한 3차원 포인트 수 정보가 추가적으로 활용 된다.

시점의 수가 N인 MVD 영상을 {0, 1, 2, ... N- 1}의 복원 순서로 생성한 포인트 클라우드 PC가 존재한다고 가정하자. 또한 각 시점 별 생성한 3차원 포인트 정보가 = {N₀ , N₁ , N₂ ...N_{N - 1}} 의 형태로 저장되어 있다고 가정하자. 여기서 N₀는 ₀에서 생성한 3차원 포인트의 수를 의미한다. 즉, PC를 구성하고 있는 3차원 포인트의 수는 수식 (10)과 같다.

\(\text { Number of 3Dpoints }=\sum_{j=0}^{N-1} N P_{j}\)       (10)

3차원 포인트 생성 시 순차적으로 생성이 이루어졌으므로, 생성한 포인트 클라우드로부터 생성한 번째 영상 은 모든 3차원 포인트를 사용할 필요 없이 수식 (11)에 해당하는 3차원 포인트를 투영함으로서 생성할 수 있다.

\(\begin{aligned} &\text { necessary 3Dpoints for generating } I_{i}^{\prime}=\left\{X_{0}, X_{1}, \ldots X_{k}\right\}\\ &\text { where } k=\sum_{j=0}^{i} N P_{j} \end{aligned}\)       (11)

이와 동일한 원리로 모든 시점의 컬러 영상 및 깊이 영상을 재생성할 수 있다. 이때 컬러영상의 생성을 위해서는 수식 (4)를, 깊이 영상의 생성을 위해서는 수식 (7)을 활용한다.

재 생성된 영상의 화질 열화 정도는 포인트 클라우드 생성 시에 사용한 복원 순서에 따라 달라진다. 즉, 제일 먼저 복원이 이루어진 시점의 영상의 경우 화질 열화가 가장 적으며, 가장 마지막에 복원이 이루어진 시점의 영상의 경우 화질 열화가 심해지는 경향을 가진다. 그 이유는 사용자가 정의한 th_c와 th_d 이하의 색상 값 및 깊이 값의 차이를 가지는 경우 추가적인 3차원 포인트 생성이 이루어지지 않기 때문이다. 인접한 시점과 매우 다른 텍스처 정보를 가지는 경우 추가적인 3차원 포인트 생성이 보다 많이 이루어져 화질 열화가 오히려 감소할 가능성이 있지만, 제안하는 기법에서는 화질 열화를 최소화하고 싶은 시점부터 복원을 수행하는 것이 바람직하다.

3. 실험 결과 및 고찰

3.1 실험 환경

실험 데이터로 8개의 시점, 100개의 프레임으로 구성된 MSR3DVideo-Ballet[7]과 10개의 시점, 250개의 프레임으로 구성된 Poznan_Fencing[8]을 사용하였다. MSR3DVideo-Ballet 데이터 셋 색상 이미지의 해상도는 1024×768, 깊이 이미지는 8bit 이미지이며, Poznan_Fencing 데이터 셋 색상 이미지의 해상도는 1920×1080, 깊이 이미지는 16bit 이미지이다. 또한 수식 (6)에서 MSR3DVideo-Ballet 데이터 셋의 깊이 영상은 8bit이므로 p_max의 값을 255로 설정하고, Poznan_Fencing 데이터 셋은 16bit의 깊이 영상을 가지므로 p_max의 값을 65535로 설정하여 실험을 수행하였다. 또한 MSR3DVideo-Ballet의 경우 시점 복원 순서를 {5, 4, 6, 3, 7, 2, 8, 1}의 순서로 진행하였으며, Poznan_Fencing의 경우 {6, 5, 7, 4, 8, 3, 9, 2, 10, 1}의 순서로 진행하였다. 복원 순서를 언급한 대로 지정한 이유는 제공되는 다시점 영상 중 사용자가 중간 시점의 영상에 대한 관심도가 가장 높고, 외각 시점으로 갈수록 관심도가 떨어진다고 가정하였기 때문이다. 실험의 사용한 th_c 값은 {2, 4, 8, 16} 이었으며, th_d 값은 MSR3DVideo-Ballet의 경우 {16, 64, 256}을, Poz-nan_Fencing의 경우 {256, 4096, 65535}을 사용하였다.

사용한 PC는 Intel(R) Core(TM) i7-8700 CPU @3.20GHz, 8.0GB RAM, Windows 10 64비트 운영체제, x64 기반 프로세서이고, NVIDIA GeForce GTX 1070 Ti인 디스플레이 어댑터가 탑재되어 있다.

3.2 객관적 성능 분석

Table 1과 Table 2는 각각 MSR3DVideo-Ballet 데이터와 Poznan_Fencing데이터에 대해 다양한 th_c 와 th_d을 적용하여 포인트 클라우드를 생성하고, 이를 통해 영상을 재 생성한 후 원본 영상과의 PSNR를 측정한 결과이다. MSR3DVideo-Ballet의 경우 View5로부터, Poznan_Fencing은 View6로부터 복원을 시작하였기 때문에 각 시점의 경우 PSNR이 Infinity로 측정되었다. 또한 2.4절에서 언급한 것처럼 복원 순서에 따라 화질 열화가 심해지는 것을 확인할 수 있다. MSR3DVideo-Ballet데이터의 경우 View8이, Poznan_Fencing데이터의 경우 View1의 화질 열화가 이전에 복원된 시점보다 적은 것을 확인할 수 있다. 그 이유는 해당 시점이 촬영 환경에 최외각 시점에 해당하며, 따라서 텍스처가 이전 시점과 매우 상이하여 추가적인 3차원 포인트의 생성이 많이 이루어졌기 때문으로 판단된다. 또한 복원 순서에 따른 시점 간 화질 열화 정도의 차이는 th_c , th_d값이 커질수록 줄어드는 것으로 확인되었다.

Table 1. Number of 3D points and PSNR of each view-point on MSR3DVideo-Ballet dataset depending on the color and depth thresholds​

Table 2. Number of 3D points and PSNR of each view-point on Poznan_Fencing dataset depending on the color and depth threshold​​​​​​

th_c , th_d값과 생성되는 3차원 포인트의 수와의 관계는 전반적으로 문턱치 값이 커질수록 생성되는 3차원 포인트의 수가 줄어드는 것을 확인할 수 있다. 이는 문턱치 값이 커질수록 포인트 클라우드 생성 과정에서 유사하다고 판단되는 픽셀의 수가 증가하기 때문이다. 두 문턱치 값 중 MSR3DVideo-Ballet 데이터의 경우 th_c가 3차원 포인트의 수에 보다 많은 영향을 미치는 것으로 판단되며, 이는 th_c을 고정시키고 th_d을 변화하였을 때의 3차원 포인트의 수 변화보다 th_d을 고정시키고 th_c을 변화시켰을 때의 3차원 포인트의 수 변화가 보다 크다는 점에서 확인할 수 있다. 반면 Poznan_Fencing데이터의 경우 동일한 이유로 th_d가 보다 많은 영향을 미치는 것으로 판단된다.

생성되는 3차원 포인트의 수와 PSNR과의 관계는 전반적으로 생성되는 3차원 포인트가 수가 적어질수록 화질이 저하되는 것을 확인할 수 있다. 그러나 일부 시뮬레이션에서 3차원 포인트의 수가 증가함에도 화질 열화가 심화되는 경우가 발생하며, 이러하는 경우는 th_c값이 작고, th_d큰 상황에서 th_c값이 증가하고, th_d가 감소한 경우에 발생한다. (Poznan_Fencing데이터의 경우 th_c가 2, th_d가 65535로 설정하였다가 th_c 가 4이고 th_d가 4096으로 변경한 경우에 해당) 이러한 경우를 분석하여 보았을 때 재 생성된 영상의 화질을 고려하면서 3차원 포인트의 수를 감소시키려면 th_c을 우선적으로 조절하고, 그 후 th_d을 조절하는 것이 바람직하다고 판단할 수 있다.

포인트 클라우드의 부호화 방식에 따라 일부 차이가 있을 수 있으나 일반적으로 생성되는 3차원 포인트의 수가 적을수록 부호화에 효과적이다. 또한 시점 간 화질 열화의 정도를 유사하게 하면서 시각적으로 화질 열화를 판별하기 어려운 수준인 PSNR이 50인 경우를 확인하였다. th_c와 th_d에 따른 포인트의 개수, PSNR의 추이와 결과 영상을 보았을 때 MSR3DVideo-Ballet의 경우 th_c을 4, th_d을 16으로, Poznan_Fenc-ing의 경우 th_c을 2, th_d을 65535로 설정하는 것이 적합한 것으로 판단되었다. MSR3DVideo-Ballet 데이터의 경우 시점 간의 색상 차이가 크므로 th_c을 2로 하였을 때와 4로 하였을 때 모두 50에 가까운 PSNR 을 가지나, Table 1에서 th_c이 2와 4인 경우를 비교하였을 때 th_c가 4인 경우 포인트의 개수가 약12만개 감소하는 것을 볼 수 있다.

또한 Table 1에서 th_d의 변화가 포인트의 개수와 PSNR에 큰 영향을 끼치지 않음을 볼 수 있으나, Fig. 2 (b)과 Fig. 2 (c)으로 결과 영상을 비교하였을 때 th_d값이 커지면 시각적 정보가 손실됨을 확인할 수 있다. Poznan_Fencing 데이터는 th_c에 따라 PSNR의 변화가 크므로 정확도를 위하여 th_c는 2로 설정했으며, th_d로 인해 많은 포인트가 생성되나 PSNR에 기여하지 않는 점을 파악하여 th_d가 영향을 주지 않는 값을 채택하였다.

Fig. 2. Generated images of two test data. (a) View 1 of ‘MSR3DVideo-Ballet’ data at th_c = 4, th_d = 16 (b) View 1 of ‘MSR3DVideo-Ballet’ data at th_c = 16, th_d = 16 (c) View 1 of ‘MSR3DVideo-Ballet’ data at th_c = 16, th_d = 256 (d) View 1 image of ‘Poznan_Fencing’ data at th_c = 2, th_d = 65535 (e) View 1 image of ‘Poznan_Fencing’ data at th_c = 16, th_d = 4096 (f) View 1 image of ‘Poznan_Fencing’ data at th_c = 16, th_d = 65535.

3.2 주관적 성능 분석

Fig. 2는 th_c와 th_d의 변화에 따라 재 생성된 MSR3 DVideo-Ballet데이터와 Poznan_Fencing데이터의 일부를 나타내고 있다. 두 경우 모두 th_c와 th_d값이 커지면서 화질의 열화가 발생하는 것을 확인할 수 있다. 특히 th_c가 커지면 배경 부분의 얼룩의 형태가 발생하는 것을 확인할 수 있고, th_d값이 커지면 전경과 배경의 색상이 유사할 경우 이를 판단하기가 어려워져 MSR3DVideo-Ballet데이터의 경우 남성의 하의 부분이 크게 손실 되는 것을 확인할 수 있다. 그러나 3.1절에서 설정한 문턱치 값을 활용한 경우 시각적으로 이질감 없는 영상이 생성되는 것을 확인할 수 있다.

4. 결론

본 연구는 MVD데이터의 효율적인 표현을 위해 순차적 복원 기반 포인트 클라우드 생성 방안을 제안 하였다. 제안하는 기법은 이미 생성된 3차원 포인트와 3차원 데이터 복원에 사용될 영상 내 픽셀과의 유사도를 평가하여 두 데이터간의 유사도가 충분할 경우 추가적인 3차원 데이터 생성을 방지하여 생성 되는 3차원 포인트의 점의 수를 줄이고자 하였다. 데이터 유사도는 컬러 유사도와 깊이 유사도가 동시에 사용되었으며, 실험 결과 컬러 유사도 평가 및 깊이 유사도 평가에 활용되는 문턱치 값의 변화에 따라 생성되는 3차원 포인트의 수 및 생성되는 MVD데이터의 화질을 결정할 수 있다.

향후 연구는 입력 데이터의 특성을 고려하여 제안 기법에서 사용되는 두 개의 문턱치 값을 자동으로 설정하는 연구를 수행할 예정이다. 또한 제안 기법으로 생성된 포인트 클라우드를 PCC에 적용하여 MV-HEVC등과 비교하는 연구를 수행할 예정이다. 특히 제안 기법의 경우 포인트 클라우드를 생성하는 과정에서 각 시점 별 생성한 3차원 포인트의 수 정보가 추가적으로 생성되므로 이를 효과적으로 대응하는 것이 필요하다. 향후 연구에서는 해당 정보를 각 3차원 포인트의 알파 블렌딩 정보 혹은 법선벡터 정보로 처리하여 부호화를 수행할 계획이다.