Performance Analysis of Viewport-dependent Tiled Streaming on 16K Ultra High-quality 360-degree Video

16K 초고화질 360도 영상에서의 사용자 시점 기반 타일 스트리밍 성능 검증

Abstract

Ultra high-quality and ultra high-resolution omnidirectional 360-degree video streaming is needed to provide immersive media through head-mounted display(HMD) in virtual reality environment, which requires high bandwidth and computational complexity. One of the approaches avoiding these problems is to apply viewport-dependent selective streaming using tile-based segmentation method. This paper presents a performance analysis of viewport-dependent tiled streaming on 16K ultra high-quality 360-degree videos and 4K 360-degree videos which are widely used. Experimental results showed 42.47% of bjotegaard delta rate(BD-rate) saving on 16K ultra high-quality 360-degree video tiled streaming compared to viewport-independent streaming while 4K 360-degree video showed 26.41% of BD-rate saving. Therefore, this paper verified that tiled streaming is more efficient on ultra-high quality video.

가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

1. 서론

최근 가상 현실(virtual reality; VR) 기술의 발전으로 가상 현실에서 몰입형 미디어를 감상하는 것이 가능해졌고, 이를 지원하기 위한 기술 및 장비의 중요성이 강조되고 있다. 몰입감을 증가시키기 위해서는 종래에 널리 사용되던 영상보다 더 높은 해상도 및 frames per second(FPS)를 가지는 초고화질의 영상이 필요하다. 일례로 moving picture experts group(MPEG)에서 가상 현실을 위한 품질요구사항을 정의한 보고서에서는 사용자가 어지러움 (nausea) 및 불편감(motion sickness)을 느끼지 않을 수준의 영상을 제공하려면 12K 이상, 90 FPS 이상, 그리고 20ms 미만의 지연 시간(motion-to-photon latency; MTP)이 필요하다고 주장한다[1].

상기 요구사항이 높은 대역폭과 연산량을 요구하기에, 보다 적은 대역폭과 연산량을 사용하면서 몰입형 고품질 가상 현실 영상을 제공하기 위해 효율적인 360도 전방위 영상 스트리밍 기술이 다수 제안되었다. 다시점 영상을 비대칭 다운샘플링(downsampling)하는 연구[2], 다시점 영상 간 중복성을 제거 및 잔여 영상을 병합하는 연구[3], 360도 영상을 타일로 분할 후 사용자 시점 타일을 추출하여 전송하는 연구[4-8], 샐리언시 맵(saliency map)을 통해 사용자 관심 영역 타일을 전송하는 연구[9] 등이 제안되었다.

360도 영상 스트리밍 시 사용자의 품질 만족도 (quality of experience; QoE)를 높이기 위해 12K 이상의 해상도를 가지는 영상에 대해 스트리밍 효율 검증이 필요하나, 영상 촬영 및 정합의 어려움으로 인해 고해상도의 360도 영상 취득이 어렵고 그로 인해 4K 또는 8K 영상에 대한 실험에 비해 효율 검증이 부족하다.

본 논문은 16K 초고화질 360도 영상에서의 타일 분할 및 사용자 시점 기반 스트리밍 실험 과정 및 결과를 제안한다. 그림 1은 본 논문에서 사용된 사용자 시점 기반 타일 스트리밍 개념도를 나타낸다. 서버에서 입력 영상은 압축된 영역(compressed domain)에서 타일로 분할되어 부호화(encoding)되고, 클라이언트 에서 사용자 시점 타일을 계산하여 서버에 요청하면 서버는 해당 타일들을 추출하여 서버로 전송한다. 클라이언트는 수신한 타일들을 복호화 (decoding)하여 사용자 시점 영상을 생성하고, 생성된 영상과 원본 영상 간 종단간 품질 평가(end-to-end quality assessment)를 통해 스트리밍 효율을 검증한다.

(그림 1) 사용자 시점 기반 타일 스트리밍 개념도

(Figure 1) Conceptual overview of viewport- dependent tiled streaming

본 논문의 구성은 다음과 같다. 2절에서는 관련 연구로 360도 영상 스트리밍 기법들을 소개한다. 3 절에서는 16K 초고화질 영상에 대한 타일 스트리밍 시스템을 소개한다. 4절에서는 제안하는 기법의 결과를 소개하고 마지막으로 5절에서는 본 논문의 결론을 서술한다.

2. 배경 및 관련 연구

최근 널리 사용되고 있는 high-efficiency video codin g(HEVC)를 통한 영상 부호화 시 영상은 하나 이상의 슬라이스(slice)로 분할된다. 슬라이스는 하나 이상의 coding tree unit(CTU)로 이루어지며, 슬라이스 간 의존성이 없어 병렬화가 가능하다. 한편, HEVC에서 타일(tile)이 제안되었고, 타일은 영상을 하나 이상의 직사각형 형태의 타일로 분할한다. 각 타일은 하나 이상의 슬라이스를 포함할 수 있으며, motion-constrained tile set(MCTS)기술에 의해 타일 간 시공간적 의존성이 제한되고, 각 타일은 독립적으로 추출되어 복호화가 가능하다 [10]. MCTS 비트 스트림을 생성할 경우 타일 경계에서 블록 간 참조가 끊어지기 때문에 MCTS를 사용하지 않았을 때보다 비트레이트 (bitrate)가 소폭 증가하는 단점이 있으나, 전체 영상의 일부 영역만을 사용하는 360도 영상 스트리밍 시 MCTS 비트 스트림에서 사용자 시점 영역 타일만을 추출하여 전송하면 대역폭을 절약할 수 있다. Nokia와 탐페레 대학교 공동 연구팀은 우선순위가 낮은 영역을 다운 샘플링하여 우선순위가 높은 영역과 함께 직사각형 형태로 병합하는 region-wise packing(RWP)과 사용자 시점 기반 타일 스트리밍을 결합하여 6K, 8K 영상을 4K 크기의 영상에 패킹 (packing)하는 연구를 진행하였고, 6K와 8K 영상에 대해 각각 31%, 35%의 대역폭 절감을 달성하였다[11]. 프라운호퍼 연구소에서는 cubemap projection(CMP) 형태로 표현된 360도 영상을 다운샘플링하고, 원본 영상과 함께 4×8 타일로 분할 부호화하여 8개의 사용자 시점 타일과 16개의 다운샘플링된 사용자 시점 외 타일로 병합하는 연구를 제안하였다[12].

3. 16K 초고화질 360도 영상 타일 스트리밍

본 절은 16K 초고화질 360도 영상에 적용 가능한 타일 스트리밍 기법에 대해 소개한다. 2절에서 소개된 바와 같이 픽쳐를 타일로 분할하는 MCTS는 전체 영상의 일부만을 사용하는 시스템의 경우 필요한 영역이 포함되는 타일만을 추출 및 전송하여 대역폭을 절약할 수 있다. Head-mounted display(HMD)를 통한 360도 영상 스트리밍의 경우 사용자의 시점 영역(field of view; FoV)이 90도 또는 110도로 영상의 일부만을 디스플레이에 렌더링하기 때문에 사용자 시점 정보를 알고 있으면 해당 시점의 타일 추출 및 전송을 통해 대역폭을 절약 가능하다.

그림 2는 본 논문에서 사용한 사용자 시점 기반 타일 스트리밍 구조도를 나타낸다. 전방위 360도 영상은 서버의 HEVC 부호기(encoder)에 의해 부호화되고, 타일이 적용되지 않은 저화질 비트스트림과 타일로 분할된 고화질 영상 비트스트림이 생성된다. 이후 클라이언트에서 사용자 시점 정보를 서버로 전송하면 서버는 사용자 시점 영역에 포함되는 타일을 계산하여 해당 타일들을 고화질 MCTS 비트스트림에서 추출하여 저화질 비트 스트림과 함께 클라이언트로 전송한다. 저화질 비트스트림의 품질은 영상 부호화 시 사용되는 양자화 매개변수(quantization parameter; QP) 또는 다운샘플링을 통해 조절될 수 있다. 이후 클라이언트는 비트스트림들을 복호화한 후 저화질 영상과 고화질 타일을 병합하여 혼합 품질의 영상을 생성한다. 마지막으로 렌더러는 사용자 시점을 생성하여 디스플레이에 출력한다.

(그림 2) 사용자 시점 기반 타일 스트리밍 시스템 구조도

(Figure 2) System architecture of viewport-dependent tiled streaming

고화질의 사용자 시점만을 전송하는 시스템은 갑작스럽게 사용자가 고개를 움직여서 시점이 변경되었을 때 HMD에 짧은 시간 동안 영상이 렌더링되지 않아 사용자의 QoE를 저하시킨다. 전술한 문제를 극복하기 위해 본 논문에서 사용한 시스템은 타일로 분할되지 않은 전체영상에 대한 저화질 비트스트림을 사용자 시점과 무관하게 전송한다. 따라서, 예상치 못한 사용자 시점 변경이 있더라도 짧은 시간 동안 저화질 영상이 HMD를 통해 송출되고 곧바로 변경된 사용자 시점 고화질 영상이 전송되어 복호화된 후 병합, 렌더링의 과정을 거쳐 반영된다.

4. 실험 결과

본 절은 4K 360도 영상, 16K 초고화질 360도 영상에 사용자 시점 기반 타일 스트리밍을 적용한 실험 결과를 소개한다. 표 1은 실험에 사용된 360도 영상 테스트 시퀀스 목록 및 특성들을 나타낸다. 4K 360도 영상 테스트 시퀀스로 MPEG과 ITU-T video coding experts group(VCEG) 에 의해 설립된 표준화 단체인 joint video experts team(JVET)에서 권장하는 360도 영상에 대한 공통 실험조건(common test conditions; CTC)에서 제시하는 4개의 영상들을 선정하였다[13]. 16K 초고화질 360도 영상 테스트 시퀀스로는 한국전자기술연구원(Korea electronics technology institute; KETI)에서 제공한 2개의 영상들을 사용하였다. 영상 부호화 및 복호화, 타일 추출에는 HEVC 참조 소프트웨어인 HEVC test model(HM) 16.20 버전이 사용되었다[14]. 사용자 시점 생성에는 JVET의 360도 영상 실험 참조 소프트웨어인 360lib 5.1-dev 버전이 사용되었다[15]. 영상 품질 평가 지표로는 전통적인 품질 평가지표인 peak signal-to-noise ratio(PSNR) 이외에도 MPEG- Immersive(MPEG-I) 그룹에서 표준화를 진행중인 MPEG immersive video(MIV)의 공통 실험 조건에서 권장하는 video multimethod assessment fusion(VMAF), immersive video PSNR(IV-PSNR)을 사용하였다[16-18]. VMAF는 Netflix에 의해 제안된 full-reference 영상 품질 평가 기법으로, 프레임 내 및 프레임 간 측면에서 영상 품질을 측정하여 인간의 주관적 평가와 유사한 점수를 출력한다. IV-PSNR은 Poznan University of Technology(PUT)에 의해 제안되었고, 최근 MPEG-I의 품질 평가 기법으로 채택되었다. 기존 PSNR이 화질 열화로 검출하지만 주관적인 평가 기법에서는 영향이 적은 요소들을 배제하는 평가 기법으로, VR 환경에서의 높은 자유도를 지원하는 six degrees of freedom(6DoF) 환경에서 유의미하게 사용될 수 있다.

(표 1) 360도 영상 테스트 시퀀스 정보

(Table 1) Characteristics of the 360-degree video test sequences

표 2는 실험에 적용된 실험 조건들을 나타낸다. 실험조건들은 JVET의 360도 영상 및 MPEG-I 공통 실험 조건을 준수하였다. 대조군으로 사용자 시점 독립적인, 타일을 적용하지 않은 스트리밍 기법이 사용되었고 실험군으로 사용자 시점 적응적인, 타일이 적용된 스트리밍 기법이 사용되었다. 영상의 품질은 양자화 매개변수로 조절되며, 대조군 비트스트림과 실험군 고화질 타일 비트 스트림 생성 시 22, 27, 32, 37의 양자화 매개변수 값이 사용되었다. 실험군에서 전방위 360도 영상에 대한 저화질 일반 비트 스트림 생성 시 42의 QP값을 사용하였다. 프레임률 (frame rate)는 30 fps로 설정되었고, 부호화 조건으로는 보편적으로 사용되는 random access(RA)가 적용되었다. 사용자의 FoV는 90°×90°으로 가정하였고, 각 영상은 32프레임 단위의 비트스트림 청크(chunk)로 분할된다. 타일 스트리밍 적용 시 각 영상은 횡방향으로 6개, 종방향으로 12개의 타일로 분할된다. 사용자 시점 움직임 시나리오는 JVET 의 기고서에서 제안된 4개의 시나리오 중 사용자의 불편감이 적은 option 1, option2를 채택하여 사용하였다[19].

(표 2) 실험 조건

(Table 2) Experimental settings

실험에는 2개의 Intel E5-2687w v4 CPU와 128GB의 메모리가 장착되고, Ubuntu 18.04가 설치된 서버와, 1개의 Intel i7-7700k CPU와 16GB의 메모리가 장착된 Windows 10이 설치된 클라이언트가 사용되었다. 표 3은 사용자 시점 독립적인, 타일이 적용되지 않은 스트리밍 대비 사용자 시점 적응적인 타일 스트리밍의 Y-PSNR, VMAF, IV- PSNR 에 대한 bjotegaard-delta rate(BD-rate) 절감을 나타낸다. 타일 스트리밍이 4K 영상에서는 평균 26 .41%의 Y-PSNR BD-rate 절감을 보여준 반면, 16K 초고화질 영상에서는 평균 42.47%의 절감을 달성하였다. 전체 영상에 대해서는 Y-PSNR, VMAF, IV-PSNR에 대해 각각 34.44%, 27.02%, 33.62%의 BD-rate 절감을 보여주어 대역폭 측면에서 타일 스트리밍이 효율적임을 확인하였다. 그림 3은 대역폭 대비 품질을 나타내는 율-왜곡 곡선(rate-distortion curve; RD curve)을 도시한다. 3-(a)는 4K 영상, 3-(b)는 16K 초고화질 영상에 대한 결과를 나타낸다. 고대역폭으로 갈수록 동일 대역폭 대비 타일 스트리밍의 품질이 높아지는 것을 볼 수 있고, 특히 16K 초고화질 영상 스트리밍 시 고대역폭에서 품질이 급격히 향상되는 것을 관찰하였다.

(표 3) 타일 미적용 스트리밍 대비 타일 스트리밍의 Y-PSNR, VMAF, IV-PSNR에 대한 BD-rate 절감

(Table 3) Y-PSNR, VMAF, IV-PSNR BD-rate savings of the tiled streaming compared to the non-tiled streaming

(그림 3) 타일 미적용 스트리밍과 타일 스트리밍의 율-왜곡 곡선 그래프, (a) 4K 360도 영상, (b) 16K 초고화질 영상

(Figure 3) RD-curves, non-tiled streaming vs tiled streaming, (a) 4K 360-degree videos, (b) 16K ultra high-quality 360-degree videos

그림 4는 16K 초고화질 360도 영상으로부터 생성된 사용자 시점 영상의 주관적 품질 비교를 나타낸다. 4-(a) 와 4-(b)는 Drone에 대한 사용자 시점을 나타내고, 타일 스트리밍이 4.37Mbps의 비트레이트와 2.12dB의 Y-PSNR 상승을 보여주었다. 타일 스트리밍으로 생성된 사용자 시점 영상에서 노란색 원으로 표시된 영역에 위치하는 기중기의 모습이 더 자세하게 표현되었음을 확인하였다. 4-(c)와 4-(d)는 LakePark에 대한 사용사 시점을 나타내고, 타일 스트리밍이 1.68Mbps의 대역폭을 더 요구하지만 2.50dB의 Y-PSNR 향상을 보여주었다. 노란색 원으로 표시된 영역에서 건물의 색상이 타일 스트리밍 미적용 시 옅게 표현되어 있으나, 타일 스트리밍 적용 시 짙게 표현되어 원본의 색감을 잘 보존함을 확인하였다.

(그림 4)16K 초고화질 영상의 사용자 시점 영상 품질 비교, (a) Drone, 38.14Mbps@40.39dB, (b) Drone, 42.51Mbps@42.51dB, (c) LakePark, 15.15Mbps@42.91dB, (d) LakePark, 16.83Mbps@45.41dB

(Figure 4) Generated viewport quality comparison of ultra high-quality 16K videos, (a) Drone, 38.14Mbps@40.39dB, (b) Drone, 42.51Mbps@42.51dB, (c) LakePark, 15.15Mbps@42.91dB, (d) LakePark, 16.83Mbps@45.41dB

4-(b)에 표시된 영상을 렌더링하기 위해서는 34.07Mbps 의 고화질 타일 비트스트림이, 그리고 8.44Mbps의 추가적인 저화질 비트스트림이 요구되었다. 또한, 4-(d)의 영상을 생성하기 위해서 13.75Mbps의 고화질 타일 비트 스트림이, 그리고 3.08Mbps의 저화질 비트스트림이 요구되었다. 본 실험에서 사용한 타일 스트리밍은 저화질 비트 스트림까지 전송하여 대역폭을 타일 미적용할 때 보다 소폭 증가하나, 저화질 비트스트림의 품질을 낮추면 대역폭을 비슷하게 맞출 수 있으므로 여전히 대역폭 대비 화질 면에서 효율적이다.

5. 결론

본 논문은 4K 360도 영상 및 16K 초고화질 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법 효율을 검증한다. HMD를 통한 360도 영상 전송 시 고품질 저 지연 스트리밍을 가능하게 하기 위해 고화질의 사용자 시점 타일과 저화질의 전체 영상 비트스트림을 동시 전송하는 시스템을 적용하였고, 타일 스트리밍 적용 시 객관적 및 주관적 품질에서 장점이 있음을 확인하였다. 영상 전체평균 34.44%, 16K 초고화질 영상에서는 평균 42.47%의 Y-PSNR BD-rate 절약률을 보여주어 타일 스트리밍이 초고화질 영상에서 더 효율적임을 검증하였다. 향후 연구로 중요도 기반 RWP 적용과 주관적 품질 기반 저화질 비트 스트림 품질 할당 및 경량화된 타일 기반 초고화질 영상 복호화 시스템을 개발할 예정이다.

☆ This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIT) (No. 2019R1A2C1010476).