Coding Technique using Depth Map in 3D Scalable Video Codec

확장된 스케일러블 비디오 코덱에서 깊이 영상 정보를 활용한 부호화 기법

Abstract

The conventional 3D-HEVC uses the depth data of the other view instead of that of the current view because the texture data has to be encoded before the corresponding depth data of the current view has been encoded, where the depth data of the other view is used as the predicted depth for the current view. Whereas the conventional 3D-HEVC has no other candidate for the predicted depth information except for that of the other view, the scalable 3D-HEVC utilizes the depth data of the lower spatial layer whose view ID is equal to that of the current picture. The depth data of the lower spatial layer is up-scaled to the resolution of the current picture, and then the enlarged depth data is used as the predicted depth information. Because the quality of the enlarged depth is much higher than that of the depth of the other view, the proposed scheme increases the coding efficiency of the scalable 3D-HEVC codec. Computer simulation results show that the scalable 3D-HEVC is useful and the proposed scheme to use the enlarged depth data for the current picture provides the significant coding gain.

본 논문에서는 High Efficiency Video Coding(HEVC)을 기반으로 구현된 3D 스케일러블 코덱에서 부호화 효율을 향상시킬 수 있는 기술을 제안한다. 기존의 3D-HEVC에서는 dependent view를 부호화 할 때, 자신의 깊이 영상이 존재하지 않아 이웃 view의 base view의 깊이 영상을 이용하여 텍스처를 부호화한다. 하지만 스케일러블 부호화를 지원하는 형태의 3D-HEVC에서는 자신의 하위 spatial layer의 깊이영상을 이용하여 부호화 할 수 있다. 본 논문에서는 3D 스케일러블 코덱에서 텍스처 정보를 부호화하기 위한 향상된 깊이영상 예측방법을 제안한다. 저자들이 구현한 3D 스케일러블 코덱을 이용하여 제안한 알고리즘으로 실험을 한 결과, 제안하는 알고리즘이 기존 기술 대비 효율적인 것을 확인 할 수 있었다.

Ⅰ. 서 론

멀티미디어를 활용하는 단말기의 종류가 다양해지고, 단말기의 성능이 향상되면서, 멀티미디어 단말기의 응용 범위가 확장되고 있다. 이러한 추세를 따라 HD급 해상도 영상을 넘어서 이제는 UHD급 영상 신호를 부호화하기 위한 기술이 필요한 시점이다. 이러한 필요성을 만족시키기 위해, ITU-T Video Coding Expert Group (VCEG)과 ISO/IEC의 Moving Picture Expert Group (MPEG)이 공동으로 Joint Collaborative Team on Video Coding(JCT-VC)를 구성하여 2013년 High Efficiency Video Coding (HEVC)를 표준화하였다 [1][2]. 또한, 멀티미디어 단말기들의 유용성을 확장시키기 위해, scalability 기능이 추가되는 것이 필요했고, 그리고 입체 비디오 서비스에 대한 요구를 만족시키기 위해 multi-view 또는 3차원 비디오 신호 부호화 기술이 표준화될 필요가 있었다. 이러한 요구 조건들을 만족시키기 위해, MPEG과 VCEG은 공동으로 Joint Collaborative Team for 3D Video(JCT-3V)를구성한후, Multi-view HEVC (MV-HEVC), 3D-HEVC [3][4], Scalable HEVC(SHVC)[5][6] 등 확장 표준 코덱들을 제정하기에 이르렀다. 이러한 표준화 기술들은 차세대 방송 서비스인 UHDTV 방송, 스마트 TV 방송, 3D TV 방송, 모바일 방송, 비디오 스트리밍, IP 카메라를 이용한 디지털 감시분야, 그리고 디지털 시네마 및 의료영상 등의 다양한 분야에서 광범위하게 사용될 것으로 예상된다.

위에서 언급된 확장 표준 기술들은 서로 간에 차이점들과 공통점들이 존재한다. 예를 들면, MV-HEVC와 3D-HEVC에서는 여러 개의 시점(view)의 비디오 신호들을 부호화하고, SHVC에서는 여러 가지 종류의 scalability를 가지는 비디오 신호들을 부호화하는 차이점이 존재한다. 그런데, 이러한 차이점들을 scalability 측면에서 고려하면, 시점(view)도 scalability의 하나로 여겨 질 수 있다. 즉, view scalability라고 고려한다면, 3D-HEVC와 SHVC 모두 넓은 의미의 scalable video codec이라고 할 수 있다. 이런 인식에서 출발할 때, 3D-HEVC 코덱의 특성과 SHVC 코덱의 특성을 통합하여, 융합된 새로운 코덱을 설계할 수 있는데, 이러한 시도는 MPEG Requirements문서(ISO/IEC JTC1/SC29/WG11 N12783)에서 언급된 적이 있다. 이러한 통합 코덱은 개별적으로 구현된 3D-HEVC 또는 SHVC 보다 더욱 유연하게 다양한 통신 환경에서 사용될 수 있는 장점이 있다.

JCT-3V에서는 깊이정보를 이용하여 텍스쳐 영상을 부호화하는 여러 종류의 기술들이 논의되었다[7][8]. 깊이정보를 이용하여 텍스쳐 영상을 부호화하는 여러 방법 중 [7]과 같이 Merge 후보 리스트를 생성할 때, 깊이정보를 이용하여 계산된 Disparity vector(DV)를 기존 Merge 후보에 추가하는 방법이 있다. 또한 [8]에서는 깊이정보를 텍스쳐 영상의 블록 분할정보로 사용하여 기존의 움직임 블록 분할 방법보다 유연하게 현재 블록을 분할하여 부호화하는 방법을 제안하였다.

본 논문에서는 위에서 추론한 통합 코덱을 구성한 후, 이렇게 설계된 코덱의 성능을 향상시키기 위해 깊이정보(depth information)을 이용하는 기술을 제안한다. 통합 코덱에서 사용될 새로운 기술을 제안하기에 앞서, 3D-HEVC에서 사용되는 기존 기술들을 분석 한 후, 해당 기술들이 통합 코덱에서 어떻게 확장되어 사용될 수 있는지를 고려하여, 새로운 알고리즘을 제안한다.

본 논문의 Ⅱ장에서는 3D-HEVC와 SHVC가 통합된 코덱에 대해 간략하게 설명하고, Ⅲ장에서는 기존 코덱에서 사용되는 기술을 설명하고, 그 특성을 분석한다. Ⅳ장에서는 통합 코덱의 성능을 향상시키기 위한 부호화 기술을 제안하고, 그 제안 기술의 성능을 Ⅴ장에서 분석한다. 마지막으로 Ⅵ장에서 간략한 결론을 맺는다.

 

Ⅱ. 확장된 스케일러블 비디오 코덱

앞 장에서 설명한 것처럼, 기존의 3D-HEVC와 SHVC 코덱에서 고려하는 view 개념과 layer 개념을 scalability 개념으로 통합하여 고려함으로써, 3D-HEVC와 SHVC의 특성 및 기능을 모두 포함하는 확장 코덱을 설계하고 구현할 수 있다. HEVC가 개발되기 이전의 코덱인 MPEG-2, MPEG-4, H.264 등에서는 코덱들 간의 high level syntax(HLS)가 크게 상이하여, 코덱들을 결합하는 작업이 쉽지 않았다. 그렇지만, HEVC가 개발되면서, 그 확장 표준 기술인 3D-HEV와 SHVC에서는 같은 방식의 HLS를 사용하기 때문에, 이 코덱들을 결합한 확장 코덱을 설계하고 구현하는 것이 용이하게 되었다.

그림 1은 본 논문에서 고려하는 통합 코덱의 구조를 설명하고 있다. 이 코덱을 이용하면, 같은 시점의 영상들은 공간적 스케일러빌리티(spatial scalability) 특성을 이용하여 여러 종류의 해상도 영상들을 효율적으로 부호화할 수 있고, 다른 시점들 사이의 영상들은 시점들간의 상관성을 이용해서 부호화 효율을 향상시킬 수 있다. 이러한 통합 코덱은 여러 시점의 비디오 신호를 제공함과 동시에 여러 종류의 화면 해상도들을 지원하는 방송 시스템에서 효율적으로 사용될 수 있다.

그림 1.3D 스케일러블 코덱의 개념 구조 Fig. 1. The structure of scalable video codec based on 3D-HEVC

그림 2는 3D-HEVC 코덱을 기반으로 scalability 기능을 추가한 통합 코덱에서, 영상 신호들 사이의 참조 및 의존성을 보여준다. 그림에서 영상 신호들간의 의존성이 서로 다른 해상도 영상들 사이에서 존재하기도 하고, 또 서로 다른 시점의 영상들간에도 존재하는 것을 알 수 있다. 이를 활용하면 통합 코덱의 부호화 효율을 향상 시킬 수 있다.

그림 2.통합 코덱에서 비디오 신호들간의 참조 의존성 Fig. 2. Dependency between layers in the 3D scalable codec

 

Ⅲ. 3D-HEVC의 기존 부호화 기술

MPEG과 VCEG으로 구성된 JCT-3V에서 표준화한 코덱인 3D-HEVC에서는 다시점 영상 및 깊이 정보를 부호화하는 방법을 포함하고 있다. 본 장에서는 3D-HEVC 표준에 채택된 부호화 방법들 중에서 시점간 예측기술에 대하여 설명하고자 한다.

그림 3은 3D-HEVC에서 여러 시점들의 정보들을 부호화하는 순서를 표시한다. 가장 먼저 독립 시점의 텍스트 정보를 부호화한 후, 그 시점의 깊이 정보를 부호화한다. 그 다음에는 종속 시점의 텍스트 정보와 깊이 정보를 순서대로 부호화한다. 이 그림의 부호화 순서를 보면 알 수 있듯이 텍스처가 먼저 부호화가 진행되고, 텍스처를 부호할 때 자신의 깊이 정보를 활용할 수 없는 문제점이 존재한다. 하지만 3D-HEVC에서는 이러한 문제점에도 불구하고 깊이 정보를 예측하여 텍스처 부호화를 진행한다.

그림 3.3D-HEVC에서 신호들의 부호화 순서 Fig. 3. Encoding order in 3D-HEVC

깊이 정보를 예측하는 방법에는 Neighbouring Block based Disparity Vector (NBDV)[9], Depth oriented NBDV(DoNBDV)[10], View Synthesis Prediction (VSP)[11] 등이 있다. 이 기술들은 시점간 신호예측을 효율적으로 수행하기 위한 기술들이다. 3D-HEVC의 시점간 예측 기술들은 현재 블록을 부호화 또는 복호화 할 때, 시간적 참조 영상의 정보뿐만 아니라 시점간 참조 영상의 정보를 이용하기 위한 기술이다. 이 기술들을 사용함으로써, 현재 부호화되는 블록과 더 많이 닮은 (더 잘 matched 되는) 참조 블록을 사용하게 되고, 이를 통해서 부호화 효율 향상의 효과를 얻을 수 있다.

1. Neighboring Block based Disparity Vector (NBDV)

NBDV 기술은 현재 부호화할 블록 주변에 이미 부호화 또는 복호화가 끝난 Disparity Vector(DV)를 이용하여 현재 블록의 DV로 사용하는 방법이다. 이렇게 얻어진 DV가 가리키는 위치의 블록을 참조 view에서 가져다가 현재 블록의 참조 블록으로 사용하는 것이다. 이렇게 찾아진 참조 블록과 현재 블록간의 잔차 신호를 부호화함으로써 신호의 압축이 진행된다. 그림 4는 현재 블록의 부호화 과정에서 이용할 DV를 이웃 블록들 중 어디에서 찾아야 하는지 그 위치들을 나타내고 있다. 그림 4에서 A1, B1, Col의 순서로 이용 가능한 DV가 존재하는 지를 탐색하고, 이용 가능한 DV가 없다면 DV를 (0,0)으로 설정한다.

그림 4.3D-HEVC에서 NBDV의 DV를 유도하기 위한 참조 블록들의 위치 Fig. 4. Locations of the neighbor blocks to derive DV for NBDV

그림 5는 NBDV 기술을 이용하여 현재 CU를 부호화하는 과정을 도식적으로 설명하고 있다. 먼저 그림 4에서 설명한 주변 블록들의 DV들을 이용하여 현재 블록의 DV를 유도한 후, 이 DV가 가리키는 위치의 블록을 참조하려는 뷰에서 추출한다. 이렇게 얻어진 참조 블록을 현재 부호화 불록을 부호화하기 위한 참조 블록으로 사용한다.

그림 5.3D-HEVC에서 NBDV 적용하는 과정 Fig. 5. NBDV procedure used in 3D-HEVC

2. Depth oriented NBDV (DoNBDV)

DoNBDV 기술은 이미 복호된 reference view(참조 시점)의 픽쳐 내부의 어떤 위치에 있는 깊이 (depth) 정보를 현재 블록의 깊이 정보라고 가정하고, 이렇게 얻어진 현재 블록의 깊이 정보로부터 현재 블록의 DV를 계산한다. 이렇게 계산된 DV가 가리키는 위치의 블록을 참조 view에서 가져다가 현재 블록의 참조 블록으로 사용하는 것이다. 이렇게 찾아진 참조 블록과 현재 블록간의 잔차 신호를 부호화함으로써 신호의 압축이 진행된다.

DoNBDV과정에서, 현재 블록을 부호화하기 위해 계산된 깊이 정보를 이용하여 현재 블록의 DV를 계산하는 방법은 아래 식 (1)을 이용하면 가능하다.

식 (1)에서 는 DV를 의미하며, f는 focal length, b는 Base line, z는 깊이값을 의미한다. 3D-HEVC는 부/복호기 모두 f와 b를 알고 있기 때문에 는 z로부터 계산 가능하다.

DoNBDV의 설명에서, 이미 복호된 Reference view(참조 시점)의 픽쳐 내부의 어떤 위치에 있는 깊이 (depth) 정보를 현재 블록의 깊이 정보로 가져오는 방법은 다음과 같다. 먼저, NBDV를 사용하여 현재 블록의 DV를 일차적으로 구한다. 이렇게 일차적으로 구해진 DV가 가리키는 위치의 깊이 정보 z를 참조 시점에 있는 픽쳐의 깊이 정보로부터 가져온다. 이렇게 가져온 깊이 값 z을 식 (1)에 대입시켜, 현재 부호화 블록을 위한 최종적인 DV값을 계산한다. 이렇게 DoNBDV를 계산하는 방법을 그림 6에서 도식적으로 설명하고, 표 1에서 단계별로 자세하게 설명했다.

그림 6.3D-HEVC에서 사용되는 DoNBDV 기술의 적용 절차 Fig. 6. Procedure of DoNBDV in 3D-HEVC

표 1.3D-HEVC에서 사용되는 DoNBDV 알고리즘 Table 1. DoNBDV Algorithm used in 3D-HEVC

그림 7.대표 깊이값 선택을 위한 후보 깊이값들의 위치 Fig. 7. Locations for candidate depth values in DoNBDV

3. View Synthesis Prediction (VSP)

VSP 기술은 이름 그대로 깊이 정보를 이용하여 Inter-view에서 새로운 현재 프레임을 예측하는 기술이다. VSP 과정을 표 2와 그림 8에 자세히 설명하였다. VSP는 DoNBDV에서 대표 깊이값을 계산하는 과정만을 제외하면 DoNBDV 과정과 유사하다. VSP 과정 역시 DoNBDV 과정의 [단계 1]과 [단계 2]를 수행한다. 그렇지만 VSP의 [단계 3]에서는 [단계 2]에서 얻어진 깊이 블록 내부의 모든 깊이 정보를 이용한다. 즉, DoNBDV의 [단계 3]에서 대표 깊이값을 결정하는 과정이 VSP에서는 존재하지 않는다. VSP에서는 [단계 2]을 통해 얻어진 깊이 정보 불록 내부의 모든 화소단위 깊이값을 이용해서 화소별 가상시점 참조 화소값들을 계산하고, 이 가상시점 화소값들로 구성된 참조 블록을 이용하여 현재 블록을 부호화한다.

표 2.3D-HEVC에서 사용되는 VSP 알고리즘 Table 2. VSP Algorithm used in 3D-HEVC

그림 8.3D-HEVC에서 사용되는 VSP 기술의 적용 절차 Fig. 8. Procedure of VSP in 3D-HEVC

4. 기존 부호화 기술들의 문제점

앞의 그림 5, 그림 6, 그림 8에서 설명하는 것과 같이, 기존 기술들은 현재 블록이 속한 시점의 깊이 정보를 사용할 수 없기 때문에 다른 뷰인 reference view의 복호된 깊이 정보를 이용한 가상 깊이 정보를 사용하여 현재 블록의 DV를 생성한다. 하지만 reference view의 복호된 깊이 정보를 이용한 가상 깊이 정보는 현재 블록이 속한 시점의 깊이 정보가 아니므로 부정확한 깊이 정보 예측을 수행하게 된다.

 

Ⅳ. 제안하는 부호화 기술

본 논문의 Ⅱ장에서 설명한 3차원 스케일러블 통합 코덱을 사용하는 경우, 현재 픽처가 부호화되는 단계에서, 현재 블록이 속한 해상도보다 낮은 해상도의 영상 정보들은 이미 복호되어 있다. 즉, 그림 9와 같이 현재 블록이 속한 시점이 dependent view이고 높은 해상도 일 때, 이미 복호된 동일한 시점의 낮은 해상도의 depth map정보가 존재한다. 따라서 다른 시점의 depth map정보를 현재 블록이 속한 시점의 depth map으로 예측하는 것보다 동일한 시점의 depth map를 up-sampling하여 사용하는 것이 기존의 DoNBDV 또는 VSP에서 사용하는 예측된 depth map보다 정확하다. 본 논문에서는 3D 스케일러블 통합 코덱에서, 이미 복호가 끝난 낮은 해상도의 깊이 정보를 up sampling하여 높은 해상도의 텍스쳐 정보를 부호화하기 위해 사용하는 방법을 제안한다. 즉, 다른 시점의 깊이 정보를 가상 깊이 정보로 이용하지 않고 같은 시점의 낮은 해상도의 깊이 정보를 up-sampling하여 현재 블록의 가상 깊이 정보로 사용한다.

그림 9.3D 스케일러블 코덱에서 사용되는 깊이 영상 예측의 제안 기술 Fig. 9. The proposed algorithm for prediction of depth Information

1. 제안된 depth map 예측 방법이 적용된 새로운 DoNBDV

그림 10은 앞에서 설명한 3D 스케일러블 비디오코덱에서 텍스처 정보를 부호할 때 예측된 깊이 정보의 사용 방법을 도식화 한 것이다. 앞서 그림 9에서 보았듯이 dependent view의 텍스처가 부호화 될 때 이미 부호화가 완료된 작은 크기의 깊이 영상을 확대하여 자신의 깊이 영상으로 사용한다. 확대된 깊이 영상은 부호화하는 텍스처 자신의 깊이 영상과 동일하므로 기존 3D-HEVC처럼 depth 정보를 예측하기 위해 해당되는 블록의 위치를 계산할 필요가 없다. 제안하는 기술에서는 부호화하려는 현재 CU와 동일한 위치의 깊이 정보를 사용하면 된다.

그림 10.3D 스케일러블 코덱에서 사용되는 새로운 DoNBDV 기술의 적용 절차 Fig. 10. The proposed DoNBDV in the 3D scalable video codec

제안하는 알고리즘에서는 현재 블록을 부호화하기 위한 depth 정보를 계산할 때, 현재 뷰의 낮은 해상도 layer에 있는 depth 정보의 해상도를 확대한 후, 그 확대된 depth 정보의 특정 위치의 depth 정보를 현재 블록을 부호화하기 위해 사용한다. 해당 depth 블록에는 다양한 depth 값들이 존재하기 때문에, 그 값들 중 어떤 depth 값을 선택하느냐는 중요한 문제가 된다. 본 논문에서는 그림 11과 같이 해당 depth 블록의 중심 부분의 값들 중 max 값을 선택하여 사용한다. 이 과정을 그림 11과 식 (3)으로 설명하고 있다. 기존의 방법이 해당 깊이정보 블록의 외각의 4개 위치의 깊이 정보를 이용하는데 반해, 제안하는 방법에서는 해당 깊이 블록의 중심 부분의 4개 위치를 고려한다. 저자들이 여러 가지 테스트 영상들을 이용하여 분석한 결과 깊이 블록의 외각 위치 보다는 중심 위치의 깊이값들이 해당 블록의 깊이 정보를 더 정확하게 나타내는 것을 확인하였고, 그 경험을 반영하여 그림 11처럼 깊이 정보를 추출한다.

그림 11 .제안하는 DoNBDV 기술에서 대표 깊이값 선택을 위한 후보 깊이값들의 위치 Fig. 11. Locations for candidate depth values in the proposed DoNBDV

지금까지 설명된 방법 (제안하는 기술을 DoNBDV에 적용하는 방법)을 표 3에 정리하였다. 이런 과정을 거쳐 정확한 깊이 정보를 계산함으로써 부호화 효율을 높일 수 있다.

표 3.3D 스케일러블 코덱에서 사용되는 새로운 DoNBDV 알고리즘 Table 3. The proposed DoNBDV algorithm used in the 3D scalable video codec

2. 제안된 depth map 예측 방법이 적용된 새로운 VSP

본 절에서는 제안하는 depth값 추출 방법을 VSP 기술에 적용하는 방법을 설명한다. 기존 3D-HEVC에서 NBDV를 사용하여 깊이 정보를 사용했던 것과 다르게 확대된 깊이 영상을 이용하여 보다 정확한 VSP가 가능하게 된다. 그림 12와 표 4는 제안하는 기술을 VPS 기법에 적용하여 만들어진 과정을 설명하고 있다.

그림 12.3D 스케일러블 비디오 코덱에서 사용되는 새로운 VSP 기술의 적용 절차 Fig. 12. The proposed VSP in the 3D scalable video codec

표 4.3D 스케일러블 코덱에서 사용되는 새로운 VSP 알고리즘 Table 4. The proposed VSP algorithm used in the 3D scalable video codec

 

Ⅴ. 실험 결과

본 장에서는 앞서 Ⅳ장에서 제안한 부호화 방법의 성능을 분석하기 위해, Ⅳ장의 알고리즘들을 Ⅱ장에서 설명한 3D 스케일러블 비디오 코덱에 구현한 후, 제안하는 부호화 알고리즘의 성능을 분석하였다. 본 논문에서 3D 스케일러블 비디오 코덱을 제작하기 위해서, 3D-HEVC의 참조 소프트웨어인 HTM[12][13]에 spatial scalability 기능을 추가하여 구현하였다. 본 장에서 제시되는 실험 결과들은 3D 스케일러블 코덱에 기존의 DoNBDV 방법과 VSP 방법을 사용한 경우의 성능과 개선된 DoNBDV와 VSP를 사용한 경우의 성능을 비교한 것이다.

본 장의 실험들에서 사용된 비디오 시퀀스들의 종류를 표 5에 정리하였다. 본 장에서 코덱들의 성능 검증은 아래 절들에서 다양한 방법으로 수행되었으며, 부호화 효율을 측정하기 위해 BD-Rate[14]를 사용하였다.

표 5.실험에서 사용한 시퀀스의 종류 Table 5. Test Sequences

1. Layer별 QP 세팅 방법

본 논문에서는, 다양한 환경에서 실험을 실시하기 위해서 각 layer 별로 QP를 세팅하는 방법을 여러 가지로 고려하였다. 어떤 실험에서는 모든 layer에서 같은 QP를 사용할 수 도 있고, 또 다른 실험에서는 layer 별로 차별적인 QP를 사용하여 실험할 수도 있다. 그림 13에서 왼쪽 그림에서는 모든 layer 정보들이 같은 QP 값을 사용하여 부호화되는 환경을 설명하고 있고, 오른쪽 그림에서는 layer 별로 차별적인 QP를 사용하는 환경을 설명하고 있다. 이 그림에서 QP를 세팅하는 방법은 JCT-3V에서 setting하는 방법을 따라서 설정하였다.

그림 13.실험에서 사용한 QP 세팅들의 예 Fig. 13. Examples of QP setting

2. Enhancement Layer의 텍스쳐 정보에 대한 성능 분석

본 절에서는 앞서 Ⅳ장에서 제안하는 부호화 기술의 성능을 평가하기 위해, Ⅱ장에서 설명한 3D 스케일러블 코덱에, Ⅳ장에서 제안한 부호화 기술을 구현한 후, 실험하였다. 성능을 분석하는 실험 환경은 앞서 설명한 바와 같다.

표 6은 3D 스케일러블 코덱에서, dependant view의 enhancement layer의 텍스처 정보만을 고려한 실험 결과이다. 이 표에서 layer 마다 차별적인 QP를 사용한 실험과 모든 layer에 대해서 고정된 QP 값을 사용한 실험 정보를 제시하고 있다. 표 6의 결과에서 알 수 있듯이, 제안하는 기술은 앞서 설명한 3D 스케일러블 코덱 부호화 기술의 성능 대비(Y 신호에 대해서) 평균 0.58%과 0.54%의 성능향상을 각 실험 조건에 대해서 나타내고 있다. 이 실험 결과에서 layer 마다 차별적인 QP 값을 설정하는 환경에서 더 큰 성능 개선을 보이고 있다.

표 6.Enhancement Layer의 텍스처만을 고려할 때, 제안하는 부호화 기술의 성능 Table 6. Performance of the proposed coding technique for the texture data of the enhancement layer

표 6의 결과에서 특이한 사항으로는 PoznanHall2 영상에 대해 제안하는 부호화 기술의 성능 향상도가 매우 큰 것을 알수 있다. 참고로 JCT-3V document들을 통해서 알려진 실험결과에 의하면, 3D 스케일러블 코덱에서 사용되는 기존 3D-HEVC의 tool들의 성능이 PoznanHall2에서 좋지 않았다고 한다. 이는 기존 tool들이 PoznanHall2 영상을 부호화하는데 적합하지 않았기 때문이다. 표 6의 결과들은 본 논문에서 제안하는 기술들이 해당 영상을 부호화할 때, 기존 tool들의 단점을 극복시키는 특성이 있음을 보이는 것이다.

3. Enhancement Layer의 전체 정보에 대한 성능 분석

표 7은 3D 스케일러블 코덱에서, dependant view의 enhancement layer의 텍스처 정보와 깊이 정보를 모두 고려한 실험 결과이다. 이 표에서 제안하는 기술은 기존 부호화 기술의 성능 대비 (Y 신호에 대해서) 평균 0.46%과 0.44%의 성능향상을 나타내고 있다. 이 실험 결과에서 layer 마다 차별적인 QP값을 설정하는 환경에서 더 큰 성능 개선을 보이고 있고, 이 결과에 대한 의미는 앞에서 표 6의 결과를 설명할 때 제시한 이유와 같다.

표 7.Enhancement Layer의 텍스처 정보와 깊이 정보 모두를 고려할 때, 제안하는 부호화 기술의 성능 Table 7. Performance of the proposed coding technique for the texture data and depth information of the enhancement layer

본 실험에서 사용한 3D 스케일러블 통합코덱은 기존 3D-HEVC와 다르게 spatial scalability가 추가되어 base layer의 정보들을 up-scaling시켜 참조영상으로 사용하게 된다. 이때, up-scaling 과정에서 저자들은 DCT-IF를 사용하였는데, 이 필터는 텍스처 정보 스케일링에는 우수한 성능을 제공하지만, depth 정보를 확대할 때는 텍스쳐 정보에 적용할 때보다 그 성능 향상률이 적은 편이다. 따라서 표 7에서 보이는 성능 향상율은 표 6에서 나타내는 성능 향상률 보다 작은 경향을 나타내고 있다.

4. 전체 Layer들의 텍스트 정보에 대한 성능 분석

표 8은 dependant view의 enhancement layer와 base layer의 텍스처 정보만을 고려한 실험 결과로써 layer 마다 차별화된 QP를 사용한 실험과 모든 layer에 고정된 QP 값을 사용한 실험 정보를 제시하고 있다. 표 8의 결과에서 알 수 있듯이, 제안하는 부호화 기술들은 기존 부호화 기술 대비 평균 0.42%과 0.40%의 성능향상을 각 실험 조건에 대해서 나타내고 있다. 이 실험 결과에서 layer 마다 차별적인 QP 값을 설정하는 환경에서 더 큰 성능 개선을 보이고 있는데, 이는 앞의 실험 결과 분석에서 설명한 이유와 같다.

표 8.Enhancement Layer와 Base Layer의 텍스처만을 고려할 때, 제안하는 부호화 기술의 성능 Table 8. Performance of the proposed coding technique for the texture data of the enhancement layer and base layer

이 실험에서 base layer의 경우 기존 3D-HEVC 코덱으로 부호화한 결과와 제안하는 기술로 부호화한 결과가 같기 때문에, 성능 비교 시 동일한 PSNR에 똑같은 양의 비트만 추가되는 결과인 것을 알 수 있다. 이로 인해, 표 8의 성능 개선도가 표 7의 성능 개선도보다 감소하는 경향을 보인다

5. 전체 Layer들의 전체 정보에 대한 성능 분석

표 9는 enhancement layer와 base layer의 텍스처 정보와 깊이 영상 정보를 부호화할 때 발생하는 비트율과 각 정보의 화질들을 함께 고려하여 평가한 실험 결과들로써, 제안하는 기술은 3D 스케일러블 코덱 대비, 모든 Layer가 동일 QP일 경우 평균 0.28%의 성능 향상이 있었으며, layer에 따라 다른 QP값을 사용할 경우 평균 0.38%의 성능 향상이 있었다. 표 9에서 나타내는 성능 향상률이 표 8에서 나타내는 성능 향상률보다 작은 이유는 앞서 표 6과 표 7의 성능을 분석할 때, 제시한 이유와 같다.

표 9.Enhancement Layer와 Base Layer의 텍스처 정보와 깊이 정보 모두를 고려할 때, 제안하는 부호화 기술의 성능 Table 9. Performance of the proposed coding technique for the texture data and depth information of the enhancement layer and base layer

 

Ⅵ. Conclusions

본 논문에서는 3D 스케일러블 코덱에서 활용될 수 있는 새로운 부호화 기술들을 제시하였다. 제안하는 기술들은 기존의 3D-HEVC 코덱의 부정확한 깊이 정보 예측 기술을 개선시켜, 통합 코덱의 성능을 향상시킬 수 있었다. 기존에 3D-HEVC에서 사용되는 NBDV와 DoNBDV 기술을 변형시켜, 3D 스케일러블 코덱에서 깊이 정보를 효율적으로 사용할 수 있도록 하였다. 제안된 기술을 이용할 때, 기존 기술의 성능보다 약 0.58%의 BD rate 향상을 얻을 수 있었다.

제안하는 코덱과 알고리즘은 차세대 방송 서비스인 UHDTV 방송, 스마트 TV 방송, 3D TV 방송, 모바일 방송, 비디오 스트리밍, IP 카메라를 이용한 디지털 감시분야, 그리고 디지털 시네마 및 의료영상 등의 다양한 분야에서 하나의 코덱으로 광범위하게 사용될 것으로 예상된다.