Adaptive QoS Study for Video Streaming Service In MMT Protocol

비디오 스트리밍 서비스를 위한 MMT 기반 적응적 QoS 연구

Abstract

This paper discusses QoS enhancement in the Best-effort services of the service plan provided by MPEG Media Transport (MMT) systems for video streaming applications. Among MMT services, i.e. per-flow, per-class, and best-effort services, the server does not provide guaranteed bandwidth for the best-effort service only. Therefore, in the best-effort services, a bandwidth access priority is defined for various services, where the lowest priority is assigned to the low-level video services. To alleviate the issue of bandwidth limitation in the best-effort services, this paper investigates transmission of low-resolution video with low bitrate and up-sampling. Our experimental results prove the superiority of the proposed method in terms of delivered video quality.

본 논문은 비디오 스트리밍 서비스를 위한 MMT (MPEG Media Transport) 시스템에서 제공하는 서비스 방식 중 노력형 서비스(Best-effort service)의 QoS 향상에 대한 연구이다. 퍼클래스(per-class), 퍼플로우(per-flow), 그리고 노력형 서비스와 같은 MMT 서비스 종류 중, 다른 서비스와는 달리 노력형 서비스는 보장된 대역폭을 제공받지 못한다. 따라서, 서비스 우선순위가 가장 낮은 노력형 서비스는 상대적으로 낮은 수준의 영상 서비스를 제공받게 된다. 본 논문에서는 위와 같은 노력형 서비스의 제한된 대역폭의 한계를 극복하기 위해 전송 비트율이 낮은 저해상도의 영상을 전송하고 상향표본화(Upsampling)하는 방식을 연구하고 실험 결과를 통해 전달된 영상의 화질 측면에서 제안하는 방식의 타당성을 증명한다.

Ⅰ. 서 론

MPEG-2 TS (Moving Picture Experts Group-2 Transport Stream)는 멀티미디어 산업계 전반에 걸쳐 사용되고 있으며 미디어 관련 데이터 네트워크를 통해서 전송하거나 저장하기 위해 개발되었다. 하지만 방송망과 통신망이 점차 융합되고 고도화됨에 따라 네트워크에 대한 새로운 요구사항이 발생하였고 차세대 콘텐츠의 등장과 N 스크린 서비스 등의 새로운 서비스가 등장함에 따라 미디어 자체나 미디어 서비스에 대한 다양한 요구사항이 발생하였다.

여러 종류의 네트워크 환경에서 사용자에게 다양한 형태의 미디어 서비스를 원활하게 제공하기 위한 새로운 표준기술이 필요하게 되었다. 이에 따라 ISO/IEC JTC1/SC29/WG11 (MPEG)에서는 MPEG 미디어 전송 표준(MPEG Media Transport: MMT)이 시작되었다[1][2]. 즉, MMT는 계층 교차적(cross-layer) QoS 지원이 가능한 표준이다. 이미 표준화된 L1/L2/L3 계층의 QoS 도구를 충분히 활용(harmonization) 함으로써 원활한 미디어 서비스를 제공한다.

MMT 기술은 UHD 영상 콘텐츠나 3D 영상 콘텐츠와 같은 차세대 미디어를 전송하기 위한 기능과 함께 TV나 모바일 단말기 등과 같은 다양한 사용자 단말을 통한 미디어 전송 및 재생을 지원하기 위한 기능을 주 개발 범위로 하고 있다. MMT 기술은 사용자 단말과 네트워크의 다양성으로 인한 성능 상 차이를 고려하여 동일한 콘텐츠일지라도 다른 품질로 제공하는 기능, QoS를 향상시키기 위한 계층 간 인터페이스(Cross Layer Interface: CLI)등과 같은 기능 역시 개발 범위에 포함시키고 있다[3][4].

하지만 QoS를 향상시키기 위해 개발된 기능들은 미리 대역폭을 할당받거나(Per-flow) MANE (Media Aware Network Element)에서 할당된 대역폭에 맞게 적응적으로 서비스(Per-class)를 제공해 주는 반면, 노력형과 같은 FU(Free-user)는 만족스러운 서비스를 제공받을 수 없는 단점이 있다. 즉, 사용가능한 대역폭에서 Per-flow는 미리 대역폭을 할당받아 보장된 서비스를 제공받을 수 있고, Per-class는 MANE에서 네트워크 상황에 따라 적응적으로 영상의 QoS를 보장해 준다.

따라서, 본 논문에서는 사용가능한 대역폭에서 네트워크의 상황에 따라 대역폭이 가변적이고 MANE에서도 영상의 화질을 보장해 주지 못하는 노력형 서비스에 초점을 맞추어 기존의 MMT 기술에서의 서비스보다 높은 QoS를 제공하는 노력형 서비스를 제안한다. 즉, 보장된 대역폭을 할당받을 수 없다면 낮은 해상도의 영상을 전송하여 사용자 단말기에서 고해상도의 영상으로 상향표본화 함으로써 제한된 대역폭을 극복한다.

논문의 나머지 부분은 다음과 같다. 본 논문의 2장에서는 연구의 기반이 되는 MMT 시스템에 대한 설명과 제안하는 방식에서 사용되는 상향표본화 기술에 대해 소개한다. 3장에서는 본 논문에서 새롭게 제안하는 방식에 대해 설명한다. 4장에서는 제안하는 방식을 통한 서비스와 기존의 MMT 시스템에서 제공하는 서비스를 비교 분석하는 실험을 통해 본 논문의 타당성을 보인다. 마지막 5장에서는 본 논문에 대한 결론과 향후 발전 가능성에 대하여 논의함으로써 마무리한다.

 

Ⅱ.배경

1. MMT System

다양한 종류의 광대역 통신망에서 디지털 방송 등의 서비스를 제공하기 위한 MPEG-H (High Efficiency Coding and Media Delivery in Heterogeneous Environments) 표준파트의 FDIS 단계에서 개발되었고 2014년에 표준이 완료된 MMT 기술은 고도화되고 있는 여러 네트워크 환경에서 효율적인 멀티미디어 데이터 전송 및 다양한 방법의 재생기능을 제공하는 것을 목표로 하고 있다[5].

그림 1은 현재 MMT 전송방식의 전반적인 그림이다. Per-flow는 미리 대역폭을 예약하고, 사용하는 서비스이기 때문에 사용자들은 좋은 화질의 영상을 서비스 받을 수 있다. Per-class 또한 제한된 대역폭으로 전송하지만 MANE에서 대역폭에 맞게 우선순위가 낮은 프레임을 제거하므로 영상 화질 차이가 그렇게 크지 않다. 하지만 노력형의 경우에는 MANE에서 많은 처리를 하지 않으므로 네트워크 상황에 따라 영상의 화질이 급격히 떨어질 수 있는 단점이 있다. 즉, Per-flow, Per-class 사용자들은 네트워크 상황에 따라 영상 화질의 차이가 없거나 크지 않다. 이는 단순히 보장된 대역폭과 MMT MANE에서의 적응적인 대응뿐만 아니라 ADC (Asset Delivery Characteristic) 기능을 통한 Per-flow의 자원 절약으로 Per-class에게 보다 높은 대역폭을 제공함으로써 더 좋은 화질의 영상을 제공할 수 있다. 반면 노력형은 우선순위가 가장 낮기 때문에 이러한 MMT에서 제공하는 기술들에 대한 서비스를 보장받지 못한다.

그림 1.현재의 MMT 전송 시스템 Fig. 1. present MMT transmission system

그림 1에서 보는 바와 같이 노력형 서비스 영상에만 만족스럽지 못한 영상이 보임을 알 수 있다. 이는 하나의 콘텐츠에서 네트워크 상황에 따라 무작위로 전송 패킷이 제외되기 때문에 발생하는 문제이다. 결과적으로 노력형 서비스를 통해 전송 받는 사용자들은 Per-class, Per-flow에 비해 현저히 낮은 화질의 영상을 서비스 받게 된다.

2. Image Upsampling

본 논문에서는 MMT 기반의 Best-effort 서비스를 제공받는 사용자에게 상향표본화 기술을 사용하여 좋은 화질의 영상 서비스 제공 방안을 제시한다. 저해상도의 영상을 고해상도의 영상으로 상향표본화하기 위해 선형 보간법(Bilinear Interpolation)이라는 기술을 응용한다. 선형 보간법은 가장 일반적인 보간법으로서 고해상도의 하나의 픽셀을 둘러싸고 있는 4개의 픽셀의 평균값을 찾아내어 그 값을 정한다[6].

그림 2에서 보는바와 같이 픽셀 F(i+s,j+t)는 그 주위를 둘러싸는 4개의 픽셀에 의해 계산된다. 식 (1)은 픽셀 F(i+s,j+t)를 구하는 과정으로서 다음과 같다.

그림 2.선형 보간법의 픽셀 배열 Fig. 2. Pixel arrangement of Bilinear Interpolation

F(i+s,j+t) 주위를 둘러싸고 있는 fi,j, fi+1,j, fi,j+1, fi+1,j+1은 저해상도 영상에 대한 픽셀을 의미하고 s와 t는 F(i+s,j+t)의 수직, 수평 방향의 위치를 나타낸다. 각각의 위치에 따른 수직, 수평의 값은 독립적으로 계산된다.

3. Reduced-Resolution Update (RRU)

Reduced-Resolution Update (RRU) 코딩 방식은 H.263 표준의 Annex Q에서 처음으로 적용된 기술이다[7]. RRU 코딩은 인코더에서 양자화 및 변환 과정을 거치기 전에 움직임 보상을 통해 얻은 잔차 신호를 하향 표본화하고 디코더에서 이 잔차 신호를 원래의 해상도로 보간하는 기술이다. 주로 움직임이 크거나 빠르게 화면이 전환되는 영상에 사용되는데 결과적으로 RRU 코딩 기술을 통해 기존의 전체 해상도를 압축한 것과 대비하여 상당한 비트율 이득을 얻을 수 있는 반면 실질적으로 PSNR은 감소하게 된다[8].

이러한 특성은 본 논문에서 제안하는 영상의 해상도를 하향 표본화하여 전송 비트율을 낮추고 제한된 대역폭에서 QoS를 보장하는 방식과 개념적으로 매우 유사하다. 하지만 RRU 코딩 방식은 움직임 보상을 통해 얻은 잔차 신호를 하향 표본화하는 반면 본 논문에서는 영상 전체를 하향 표본화하기 때문에 더 많은 전송 비트율 이득을 얻을 수 있다. 마찬가지로 PSNR은 RRU 코딩방식에 비해 상대적으로 더 많은 감소를 유발한다. 그러나 기존의 MMT 시스템에서 노력형 사용자에게 서비스하는 방식과 비교하였을 때 높은 QoS를 보장할 것이라 기대된다. 이는 4장에서 보여주는 실험 결과를 토대로 입증한다.

 

Ⅲ. 제안하는 Best-effort 서비스 방식

본 논문에서는 노력형 서비스 사용자에 대해 제한된 대역폭에 따라 랜덤하게 패킷을 제외시켜 영상을 전송하여 QoS를 떨어뜨리는 기존의 MMT 시스템 방식을 극복하기 위해 그림 3과 같은 새로운 방식을 제안한다.

그림 3.제안하는 방식의 Best-effort 서비스 Fig. 3. Best-effort service of proposed method

즉, 기존의 MMT 시스템에서 노력형 서비스의 QoS 향상을 위한 피드백 메시지(Feedback Message)를 추가한다. 사용자가 요청한 콘텐츠에 대한 정보는 MPEG-MMT AMD1의 ADC table (Asset Delivery Characteristic table)을 통해 서버가 미리 알고 있다. 피드백 메시지는 MMT 표준에 정의된 NAM (Network Abstraction for Media) 피드백 메시지 (이하 NAMF Message)를 통해 MANE에서 서버로 전달하고 서버는 ADC table에 있는 콘텐츠의 정보와 NAMF message를 통해 전달받은 정보를 비교하여 낮은 해상도의 전송 여부를 결정한다.

동일한 콘텐츠를 Per-flow, Per-class 그리고 노력형 서비스를 사용하는 사용자 모두에게 각각 전송하는 경우, 제한된 대역폭에 대해 Per-flow는 필요한 만큼의 대역폭을 할당 받아 보장된 서비스를 제공받는다. Per-class 역시 기존의 MMT 시스템과 같은 방식으로 할당받은 대역폭에 따라 MANE에서 적응적으로 우선순위가 낮은 프레임을 제거하여 영상의 QoS를 보장한다.

마지막으로 남은 대역폭은 Best-effort 사용자가 할당받게 되고 MANE에서는 피드백 메시지로서 노력형 서비스 사용자에게 주어진 전송 대역폭을 서버에게 전송하게 된다. 서버는 전송하는 콘텐츠의 전송 비트율과 피드백 메시지를 통해 확인된 노력형 서비스 사용자가 할당 받은 대역폭을 비교하여 전송하는 콘텐츠의 전송 비트율이 높을 경우 저해상도의 영상을 전송하여 전송 비트율을 낮춘다. 이렇게 저해상도의 영상을 전송받은 MANE에서는 기존의 MMT에서 수행되었던 랜덤하게 패킷을 제외하는 작업에 대한 확률이 낮아지게 되고 전송받은 패킷들을 우회하여 노력형 사용자에게 전송한다. 전송받은 저해상도의 콘텐츠는 선형 보간법을 통해 고해상도의 영상으로 상향 표본화되고 사용자에게 영상을 서비스한다.

 

Ⅳ. Best-effort 서비스 실험

본 논문에서 새롭게 제안하는 방식의 노력형 서비스는 MANE의 Feedback 메시지를 통해 제한된 대역폭보다 서비스할 콘텐츠의 전송 비트율이 더 높을 경우 서버에서 저해상도의 영상을 전송하여 전송 비트율을 낮추어 제한된 대역폭을 극복하고 기존의 MMT 시스템의 노력형 서비스 보다 좋은 화질의 영상을 제공하는 것이다. 따라서 본 논문에서 제안하는 서비스의 타당성을 입증하기 위해 기존의 MMT 시스템에서 제공하는 노력형 서비스와 제안하는 노력형 서비스를 비교하도록 한다. 즉, 기존의 MMT 시스템을 통해 사용자에게 제공되는 영상과 본 논문에서 제안하는 방식을 통해 사용자에게 제공하는 영상의 MOS (Mean Opinion Square) 측정을 통해 입증하도록 한다.

표 1은 제안하는 방식의 노력형 서비스를 테스트하기 위해 사용된 영상의 특성을 보여준다. 4개의 테스트 영상은 2014년 10월 20일에 프랑스의 스트라스부르에서 열린 MPEG 회의에서 MMT Demo로서 사용한 테스트 영상과 동일한 영상이다[9]. 각 영상은 동일한 콘텐츠로서 기존 MMT 시스템에서 전송 패킷을 랜덤하게 제외하는 점을 고려하여 시간대 별로 나누어 테스트하기 위해 4개의 영상으로 분리하였다. HR (High-Resolution)은 기존의 MMT 시스템에서 고해상도의 영상을 서비스하여 MANE에서 랜덤하게 패킷을 제외하게 되고 LR (Low-Resolution)은 본 논문에서 제안하는 방식으로서 MANE의 피드백 메시지를 통해 전송하게 되는 저해상도의 영상이다.

표 1.제안하는 방식을 테스트하기 위한 영상들의 특성 Table 1. specification of videos for proposed method test

그림 4에서 보는 바와 같이 기존의 MMT 시스템의 노력형 서비스는 제한된 대역폭에 맞추어 랜덤하게 패킷을 제외하여 사용자에게 전송하기 때문에 영상을 시청하는 중간에 화면 깨짐 현상을 확인할 수 있다. 반면, 본 논문에서 새롭게 제안하는 방식의 노력형는 제한된 대역폭을 피드백 메시지를 통해 서버로 전달하여 저해상도의 영상을 전송하여 사용자에게 전달하고 선형 보간법을 통해 고해상도의 영상으로 상향 표본화하였기 때문에 화질은 떨어지더라도 화면 깨짐 현상은 찾아볼 수가 없다.

그림 4.기존의 노력형과 새롭게 제안하는 방식의 노력형 서비스 결과 영상 Fig. 4. result videos of original method and proposed method for Best-effort service

표 2는 기존의 MMT 시스템을 통해 사용자에게 서비스 하는 영상과 본 논문에서 제안하는 방식으로 서비스하는 영상의 PSNR을 각각 나타내고 있다. 표 2에서 보는 바와 같이 PSNR 측정 값이 기존의 방식과 비교하였을 때 제안하는 방식의 타당성을 입증하기에는 부족하다. 이는 기존의 방식에서 랜덤하게 패킷을 제외하여 화면이 깨지는 현상을 제외한 영상의 나머지 부분들은 기존의 고해상도의 영상과 동일한 화질을 보여주는 반면 본 논문에서 제안하는 방식은 저해상도의 영상 전체를 선형 보간법을 통해 상향 표본화하였기 때문에 화면이 깨지는 현상이 없어도 높은 PSNR을 기대할 수가 없다.

표 2.기존의 방식과 제안하는 방식에 대한 각각의 PSNR (BE: Best-effort) Table 2. each PSNR for original and proposed method

그림 5는 결과 영상에 대한 영상 품질을 결정하기 위한 척도를 나타낸다. 그림 5의 척도를 기준으로 기존의 MMT 시스템을 통해 서비스되는 영상과 본 논문에서 제안하는 방식을 통해 서비스되는 영상의 품질을 원본 영상과 함께 비교하여 평가를 진행한다. 평가를 진행하는 방식은 다음과 같다.

그림 5.MOS에서 영상의 시각적 화질에 대한 척도 Fig. 5. Perceptual video quality scale in MOS

표 3은 각 영상에 대해 MOS 측정을 통해 얻은 평균 점수를 나타낸다[10]. 표 3에서 보는 바와 같이 기존의 MMT 시스템을 통해 영상을 서비스하는 경우 MOS가 평균적으로 1.9점으로 좋은 평가를 받지 못하였다. 반면, 본 논문에서 제안하는 방식을 통해 영상을 서비스하는 경우 MOS가 평균적으로 3.6점으로 좋은 영상이라는 평가를 받았다.

표 3.기존의 방식과 제안하는 방식에 대한 각각의 MOS Table 3. each MOS for original and proposed method

이는 사용자가 직접 눈으로 영상을 시청하는 경우 상향 표본화을 통해 저하된 영상이 패킷 제외로 인해 깨지는 영상보다 사람의 시각으로 볼 때 더 좋은 영상이라는 점을 보여준다.

 

Ⅴ. 결 론

본 논문에서는 기존의 MMT 시스템에서 노력형 사용자에게 서비스하는 방식의 문제점을 지적하고 낮은 전송 비트율인 저해상도의 영상을 전송하여 상향 표본화하는 방식을 통해 제한된 대역폭의 한계를 극복하고 표 3에서 보는 바와 같이 시각적으로 보다 좋은 화질의 영상을 서비스하였다. 또한, 본 논문에서와 같이 사용자의 QoS를 높이고 동시에 제한된 대역폭에서 영상의 전송 비트율을 줄이면 실시간 네트워크 트래픽 부하를 완화시킬 수 있을 것이다. 하지만 기존의 MMT 시스템을 통해 얻은 영상의 화면 깨짐 현상에 대해 오류 숨김(Error Concealment)작업을 배제하고 평가를 진행하였기 때문에 평가 점수의 격차가 크게 나타난 것으로 예상된다. 따라서 오류 숨김 작업을 거치고 평가를 진행하였을 때의 점수 결과에서도 본 논문에서 제안하는 방식이 시각적으로 좋은 화질이라는 것을 증명하기 위한 추가적인 연구가 필요할 것이다.