• ETRI Journal
• /
• 제45권4호
• /
• pp.615-626
• /
• 2023

Under limited transmission conditions, many factors affect the efficiency of video transmission. During the flight of an unmanned aerial vehicle (UAV), frequent network switching often occurs, and the channel transmission condition changes rapidly, resulting in low-video transmission efficiency. This paper presents an efficient video coding flow for UAVs working in the 5G nonstandalone network and proposes two bit controllers, including time and spatial bit controllers, in the flow. When the environment fluctuates significantly, the time bit controller adjusts the depth of the recursive codec to reduce the error propagation caused by excessive network inference. The spatial bit controller combines the spatial bit mask with the channel quality multiplier to adjust the bit allocation in space to allocate resources better and improve the efficiency of information carrying. In the spatial bit controller, a flexible mini graph is proposed to compute the channel quality multiplier. In this study, two bit controllers with end-to-end codec were combined, thereby constructing an efficient video coding flow. Many experiments have been performed in various environments. Concerning the multi-scale structural similarity index and peak signal-to-noise ratio, the performance of the coding flow is close to that of H.265 in the low bits per pixel area. With an increase in bits per pixel, the saturation bottleneck of the coding flow is at the same level as that of H.264.

• 한국산업정보학회논문지
• /
• 제27권2호
• /
• pp.35-44
• /
• 2022

본 논문은 깊이 영상의 부호화를 위해 이차 곡면 모델링 방법을 통한 화면 내 예측 방법을 제안한다. 깊이 영상 내 깊이 화소는 거리 정보를 통해 3차원 좌표로 변환한다. 화면 내 예측을 위한 참조 화소들에 대해 최소자승법을 통해 오차가 제일 작은 이차 곡면을 찾는다. 참조 화소로는 상단의 화소들 또는 좌단의 화소들 중 하나가 될 수 있다. 이차 곡면을 통한 화면 내 예측에서, 한 화소에 대해 두 개의 예측 값이 계산된다. 각각의 참조 화소에 대해 예측 값들과 참조 화소의 차아의 제곱합으로 두 오차 값을 계산한다. 계산된 총 4개의 오차 중 제일 작은 오차를 가지는 참조 화소 선택 방법과 예측 화소 선택 방법이 선택되고, 이를 통해 블록 내 화소를 예측한다. 실험 결과는 최신 영상 부호화 방법과 비교하여 왜곡과 비트율이 각각 최대 5.16%과 5.12% 개선됨을 보인다.

• ETRI Journal
• /
• 제39권3호
• /
• pp.301-309
• /
• 2017

In this paper, we propose a parallelization method for a High Efficiency Video Coding (HEVC) deblocking filter with transform unit (TU) split information. HEVC employs a deblocking filter to boost perceptual quality and coding efficiency. The deblocking filter was designed for data-level parallelism. In this paper, we demonstrate a method of distributing equal workloads to all cores or threads by anticipating the deblocking filter complexity based on the coding unit depth and TU split information. We determined that the average time saving of our proposed deblocking filter parallelization method has a speed-up factor that is 2% better than that of the uniformly distributed parallel deblocking filter, and 6% better than that of coding tree unit row distribution parallelism. In addition, we determined that the speed-up factor of our proposed deblocking filter parallelization method, in terms of percentage run-time, is up to 3.1 compared to the run-time of the HEVC test model 12.0 deblocking filter with a sequential implementation.

• 전자공학회논문지
• /
• 제53권11호
• /
• pp.41-47
• /
• 2016

고효율 영상 부호화 기술인 high efficiency video coding (HEVC)은 부호화 효율을 높이기 위하여 coding tree unit (CTU)을 사용한다. CTU는 coding unit (CU), prediction unit (PU), transform unit (TU)으로 구성되며 모든 가능한 경우의 CU, PU, TU 분할연산을 통해 최적의 분할 조합을 찾아내게 된다. 블록 분할 연산의 복잡도를 감소시키기 위하여 본 논문은 움직임 벡터에 의한 관심 영역 CTU 추출에 근거하는 PU 분할 결정 방법과 이전에 부호화된 프레임의 같은 위치의 CTU 정보를 사용하는 CU 깊이 결정 분할 알고리즘을 제안한다. 첫 번째 방법은 프레임 중 움직임이 많은 동적 CTU 부분과 움직임이 적은 정적 CTU 부분으로 나누어 정적인 영역에 대해 PU 분할 연산을 감소시키는 방법이며, 두 번째 방법은 이전 프레임의 CTU 깊이 정보를 기반으로 현재 CTU의 분할 깊이를 미리 예측하여 CU 분할 연산을 감소시킨다. 결과적으로 제안하는 알고리즘은 HEVC test model (HM) 14.0 버전 대비 BDBR 손실은 2.5% 발생했지만, 전체 부호화 시간이 약 44.8%로 크게 감소했다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3165-3181
• /
• 2019

Spherical videos, which are also called 360-degree videos, have become increasingly popular due to the rapid development of virtual reality technology. However, the large amount of data in such videos is a huge challenge for existing transmission system. To use the existing encode framework, it should be converted into a 2D image plane by using a specific projection format, e.g. the equi-rectangular projection (ERP) format. The existing high-efficiency video coding standard (HEVC) can effectively compress video content, but its enormous computational complexity makes the time spent on compressing high-frame-rate and high-resolution 360-degree videos disproportionate to the benefits of compression. Focusing on the ERP format characteristics of 360-degree videos, this work develops a fast decision algorithm for predicting the coding unit depth interval and adaptive mode decision for intra prediction mode. The algorithm makes full use of the video characteristics of the ERP format by dealing with pole and equatorial areas separately. It sets different reference blocks and determination conditions according to the degree of stretching, which can reduce the coding time while ensuring the quality. Compared with the original reference software HM-16.16, the proposed algorithm can reduce time consumption by 39.3% in the all-intra configuration, and the BD-rate increases by only 0.84%.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.182-184
• /
• 2013

A HEVC-based scalable 3D video coding system is proposed. The proposed system supports scalable transmission of multiview video data with depth maps. Key technologies in this system are reference picture management, reference picture list construction, and cross-layer dependency signaling. All the proposed technologies are used for the development of video coding system for UHD stereo display and glassless 3D display.

• ETRI Journal
• /
• 제36권2호
• /
• pp.242-252
• /
• 2014

Since July of 2012, the 3D video extension of H.264/AVC has been under development to support the multi-view video plus depth format. In 3D video applications such as multi-view and free-view point applications, synthesized views are generated using coded texture video and coded depth video. Such synthesized views can be distorted by quantization noise and inaccuracy of 3D wrapping positions, thus it is important to improve their quality where possible. To achieve this, the relationship among the depth video, texture video, and synthesized view is investigated herein. Based on this investigation, an edge noise suppression filtering process to preserve the edges of the depth video and a method based on a total variation approach to maximum a posteriori probability estimates for reducing the quantization noise of the coded texture video. The experiment results show that the proposed methods improve the peak signal-to-noise ratio and visual quality of a synthesized view compared to a synthesized view without post processing methods.

• 한국정보통신학회논문지
• /
• 제15권5호
• /
• pp.1155-1163
• /
• 2011

본 논문에서는 깊이 맵(depth map)에 대한 효율적인 부호화를 위하여 전처리 기법을 제안한다. 현재 3차원 비디오 부호화(3D video coding : 3DVC)에 대한 표준화가 진행 중에 있지만 아직 깊이 맵의 부호화 방법에 대한 표준은 확정되지 않은 상태이다. 제안하는 기법에서는 먼저 입력된 깊이 맵의 히스토그램 분포를 가우시안 혼합모델(Gaussian mixture model : GMM) 기반의 EM(expectation maximization) 군집화 기법을 이용하여 분리한다. 분리된 히스토그램을 기반으로 깊이 맵을 여러 개의 레이어로 분리하게 된다. 분리된 각각의 레이어에서 배경과 객체의 포함여부에 따라 다른 조건의 민쉬프트 필터(mean shift filter)를 적용한다. 결과적으로 영상내의 각 영역 경계는 최대한 살리면서 영역내의 화소 값에 대해서는 평균 연산을 취하여 부호화시 효율을 극대화 하고자 하였다. 다양한 실험영상에 대하여 제안한 기법을 적용한 깊이 맵을 부호화하여 비트율(bit rate)이 감소하고 부호화 시간도 다소 줄어드는 것을 확인 할 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제14권2호
• /
• pp.43-51
• /
• 2014

깊이 영상을 고려한 다시점 비디오는 매우 많은 양의 데이터 때문에 저장과 전송을 위해서 새로운 부호화 압축 기술 개발이 요구된다. 계층적 깊이 영상은 다시점 비디오의 효과적인 표현방법이 된다. 이 방법은 다시점 칼라와 깊이 영상을 합성하는 데이터 구조를 만들어 준다. 이 새로운 콘텐츠를 효과적으로 압축하는 방법으로 3차원 워핑을 이용한 계층적 깊이 영상 표현과 비디오 압축 부호화를 적용하는 방법을 제안하였다. 이 논문은 계층적 영상 표현을 사용한 H.264/AVC 비디오 부호화 기술의 개선된 압축 방법을 제시하여 준다. 컴퓨터 모의시험으로 좋은 압축율과 좋은 성능의 회복 영상을 얻을 수 있음을 제시하였다.

• 디지털산업정보학회논문지
• /
• 제7권2호
• /
• pp.91-100
• /
• 2011

Free viewpoint TV can provide multi-angle view point images for viewer needs. In the real world, But all angle view point images can not be captured by camera. Only a few any angle view point images are captured by each camera. Group of the captured images is called multi-view image. Therefore free viewpoint TV wants to production of virtual sub angle view point images form captured any angle view point images. Interpolation methods are known of this problem general solution. To product interpolated view point image of correct angle need to depth image of multi-view image. Unfortunately, multi-view video including depth image is necessary to develop a new compression encoding technique for storage and transmission because of a huge amount of data. Layered depth image is an efficient representation method of multi-view video data. This method makes a data structure that is synthesis of multi-view color and depth image. This paper proposed enhanced compression method using layered depth image representation and H.264/AVC video coding technology. In experimental results, confirmed high compression performance and good quality reconstructed image.