Decoder Adaptive Tile Clustering Algorithm for Viewport-Dependent Virtual Reality Video Decoding System

시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘

  • Park, Jun-Ho (Department of Computer Education, Sungkyunkwan University (SKKU)) ;
  • Jeong, Jong-Beom (Department of Computer Education, Sungkyunkwan University (SKKU)) ;
  • Jeong, Se-Hoon (Department of Computer Education, Sungkyunkwan University (SKKU)) ;
  • Ryu, Eun-Seok (Department of Computer Education, Sungkyunkwan University (SKKU))
  • 박준호 (성균관대학교 컴퓨터교육과) ;
  • 정종범 (성균관대학교 컴퓨터교육과) ;
  • 정세훈 (성균관대학교 컴퓨터교육과) ;
  • 류은석 (성균관대학교 컴퓨터교육과)
  • Published : 2021.11.26

Abstract

몰입형 고품질 가상 현실 영상 스트리밍을 위한 360도 영상 부호화 및 전송 기술 중 하나로 사용자 시점 기반 타일 스트리밍 기법이 활발히 연구되고 있다. 360도 영상은 용량이 크기 때문에 개별 타일 기반 스트리밍 방법을 사용해 사용자 시점만 보내는 것이 효율적이다. 본 논문은 시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘을 제안한다. 제안하는 방법은 클라이언트의 복호기가 최대로 복호화 가능한 해상도를 탐색한 후, 사용자 시점 데이터와 복호기 적응적 타일 클러스터링 알고리즘을 이용해 클러스터화할 복수 개의 사용자 시점 타일들의 목록을 생성한 후, 타일 병합기를 이용해 타일들을 병합하여 클러스터 비트스트림을 생성한다. 이후 클라이언트는 병합된 클러스터 비트스트림들을 복호화한 후 사용자 시점을 생성한다. 제안하는 방법을 이용하면 클라이언트의 복호기 환경에 제약받지 않는 복호화가 가능하며, 제안하는 방법 중 하나인 4K_clustering 방법의 경우 8%의 복호화 속도 개선 효과를 얻을 수 있어 몰입형 고품질 가상 현실 영상을 위한 실시간 타일 스트리밍이 가능하다.

Keywords

Acknowledgement

이 논문은 2021년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No. 2020-0-00920-002, (세부 2) 중대형 공간용 초고해상도 비정형 플렌옵틱 영상 저장/압축/전송 기술 개발)