• Korea Information Processing Society Review
• /
• v.28 no.3
• /
• pp.4-17
• /
• 2021

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.183-186
• /
• 2020

방대한 비디오 데이터의 지능형 분석을 수행하는 기계를 위한 비디오 부호화 기술의 필요성이 대두되면서 MPEG 에서는 VCM(Video Coding for Machine) 표준화를 시작하였다. VCM 은 지능형 머신(machine)의 임무 수행을 위한 비디오 또는 비디오 특징(feature)의 압축 표준 기술로 기술 탐색 단계의 표준화를 진행하고 있다. 본 논문에서는 머신비전(machine vision) 네트워크에서 추출되는 대용량의 특징 압축을 위한 전처리 단계로 보다 효과적인 특징 표현 방법을 제시한다. 제안하는 특징 표현 방법은 정규화, 양자화 과정을 거쳐 특징 데이터 크기를 감소시킨다. 실험에서 특징을 4 개의 값으로 양자화 했을 때, 원본 대비 16 배의 데이터 크기가 감소되지만 mAP 평가 성능은 35.4592 로 높은 수준으로 유지함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.270-271
• /
• 2018

본 논문에서는 새로이 시작된 비디오 압축 표준인 VVC(Versatile Video Coding)의 인-루프(in-loop) 필터링을 위한 CNN 구조를 제안한다. 제안하는 CNN 구조는 복호화된 영상을 입력으로 하고 원본 영상과 복호화된 영상의 오차를 손실함수로 사용하여 학습을 진행한다. 또한, 비디오 부호화에서의 다양한 크기의 CU(Coding Unit)를 고려한 다양한 크기의 컨볼루션 필터를 사용하여 특징을 추출하는 구조에 기반하고 있다. 실험을 통하여 제안한 CNN 기반의 필터링이 VVC 의 시험모델인 VTM(VVC Test Model)의 인-루프 필터링의 성능을 개선할 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.116-118
• /
• 2022

MPEG-VCM(Video Coding for Machine)은 입력된 이미지/비디오의 특징(feature)를 압축하는 Track 1 과 입력 이미지/비디오를 직접 압축하는 Track 2 로 나뉘어 표준화가 진행 중이다. 본 논문은 Track 1 의 비전임무 네트워크로 사용하는 Detectron2 의 FPN(Feature Pyramid Network)에서 추출한 멀티-스케일 특징을 효율적으로 압축하는 MSFC 기반의 압축 모델의 개선 기법을 제시한다. 제안기법은 해상도를 줄여서 단일-스케일 압축맵을 압축하는 기존의 압축 모델에서 저해상도 특징맵을 고해상도 특징맵에 바텀-업(Bottom-Up) 구조로 합성하여 단일-스케일 특징맵을 구성하는 바텀-업 MSFF 를 가지는 압축 모델을 제시한다. 제안방법은 기존의 모델 보다 BPP-mAP 성능에서 1 ~ 2.7%의 개선된 BD-rate 성능을 보이며 VCM 의 이미지 앵커(image anchor) 대비 최대 -85.94%의 BD-rate 성능향상을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.51-53
• /
• 2022

MIV(MPEG Immersive Video)의 시험모델 TMIV 는 다시점의 비디오와 깊이(depth) 비디오를 입력 받아 시점 사이의 중복성을 제거한 후 남은 텍스처(texture)와 깊이로 텍스처 아틀라스(atlas)와 깊이 아틀라스를 각각 생성하고 이를 압축한다. 각 화소별 점유(occupancy) 정보는 깊이 아틀라스에 포함되어 압축되는데 압축 손실로 인한 점유맵 오류를 방지하기 위하여 임계값 T = 64 로 설정한 보호대역을 사용한다. 기존에 설정된 임계값을 낮추어 깊이 동적범위를 확대하면 보다 정확한 깊이값 표현으로 부호화 효율을 개선할 수 있지만 보호대역 축소로 점유맵 오류가 증가한다. 본 논문에서는 TMIV 의 부호화기와 보호화기에 비대칭 임계값을 사용하여 보호대역 축소로 인한 점유맵 오류를 보정하면서 보다 정확한 깊이 값 표현을 통하여 부호화 효율을 개선하는 기법을 제안한다. 제안기법은 깊이 동적범위 확대와 비대칭 임계값 기반의 점유맵 오류 보정을 통하여 CG 시퀀스에서 2.2% BD-rate 이득과 주관적 화질 개선을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.55-56
• /
• 2021

최근, 딥러닝 및 인공신경망 기술의 발전으로 비디오 부호화 분야에서도 인공지능을 이용한 요소 기술에 대한 연구가 활발이 진행되고 있다. 본 논문에서는 주변 참조샘플로부터 문맥정보를 이용하여 현재블록을 예측하는 CNN 기반의 화면내 예측 모델을 구현하고, 비디오 부호화의 블록 분할 구조를 반영한 학습 기법에 따른 부호화 성능을 분석한다. 실험결과 HM(HEVC Test Model)에 구현한 문맥적응적 신경망 기반 예측 모델에서 트리 분할 구조를 반영한 학습이 HM16.19 대비 0.35% BD-rate 부호화 성능 향상을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1239-1240
• /
• 2022

JVET 은 VVC(Versatile Video Coding) 표준화 완료 이후 보다 높은 압축 성능을 갖는 차세대 비디오 코덱의 표준 기술을 탐색하고 있으며 ECM(Enhanced Compression Model) 참조 소프트웨어를 통해 제안된 알고리즘의 성능을 검증하고 있다. 현재 ECM 에서는 정해진 순서에 의해 병합(Merge) 후보를 구성하고 템플릿 매칭(template matching)을 통하여 후보들의 순서를 재배열하는 ARMC(Adaptive Reordering of Merge Candidate) 기법을 채택하고 있다. 본 논문은 ARMC 의 병합 후보의 선택 빈도 분석을 바탕으로 정규 병합(regular merge) 후보 수를 확장하여 구성하고, 실제 탐색에 사용되는 최종 후보의 수를 제한하는 효율적인 ARMC 후보 구성 기법을 제안한다. 실험결과 ECM 4.0 대비 Cb 와 Cr 에서 0.12%, 0.19% 비디오 부호화 성능을 확인하였다.

• Journal of Broadcast Engineering
• /
• v.24 no.2
• /
• pp.273-280
• /
• 2019

360 video is attracting attention as immersive media with the spread of VR applications, and MPEG-I (Immersive) Visual group is actively working on standardization to support immersive media experiences with up to six degree of freedom (6DoF). In virtual space of omnidirectional 6DoF, which is defined as a case of degree of freedom providing 6DoF in a restricted area, looking at the scene at any viewpoint of any position in the space requires rendering the view by synthesizing additional viewpoints called virtual omnidirectional viewpoints. This paper presents the performance results on view synthesis and their analysis, which have been done as exploration experiments (EEs) of omnidirectional 6DoF in MPEG-I. In other words, experiment results on view synthesis in various aspects of synthesis conditions such as the distances between input views and virtual view to be synthesized and the number of input views to be selected from the given set of 360 videos providing omnidirectional 6DoF are presented.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.148-150
• /
• 2020

최근 VVC(Versatile Video Coding) 표준 완료 이후 JVET(Joint Video Experts Team)은 인공신경망 기반의 비디오 부호화를 위한 AhG(Ad-hoc Group) 구성하고 인공지능을 이용한 비디오 압축 기술들을 검증하고 있으며, MPEG(Moving Picture Experts Group)에서는 DNNVC(Deep Neural Network based Video Coding) 활동을 통해 딥러닝 기반의 차세대 비디오 부호화 표준 기술을 탐색하고 있다. 본 논문은 VVC 에 채택된 신경망 기반의 기술인 MIP(Matrix Weighted Intra Prediction)를 참조하여, MIP 모델의 학습에서 손실함수가 예측 성능에 미치는 영향을 분석한다. 즉, 예측의 왜곡(MSE)만을 고려한 경우와 예측오차의 부호화 비용도 함께 반영한 손실함수를 비교한다. 실험을 위해 HEVC(High Efficiency Video Coding) 화면내 예측 대비 평균적인 PSNR 향상 정도를 나타내는 성능 지표(��PSNR)를 정의한다. 실험결과 예측오차의 부호화 특성을 반영하는 손실함수를 이용한 학습이 MSE 만 고려한 학습 대비 ��PSNR 기준 평균 0.4dB 향상됨을 보였다.

• Journal of Environmental Impact Assessment
• /
• v.10 no.1
• /
• pp.21-37
• /
• 2001

항공 비디오의 가장 큰 장점은 협각조망범위에 동영상을 제공함으로서 저렴한 경비로 소폭/장거리 지상물체를 감시하는 최적의 원격탐사도구로 알려져 있다. 선형감시에 대한 비디오의 이와 같은 이론적인 장점에 의거하여 하천수질을 모니터링 하기 위한 비디오 샘플링 기법이 본 연구를 통해 제시되었다. 본 연구의 근본적인 의도는 전통적인 샘플링에 기반을항공 비디오의 가장 큰 장점은 협각조망범위에 동영상을 제공함으로서 저렴한 경비로 소폭/장거리 지상물체를 감시하는 최적의 원격탐사도구로 알려져 있다. 선형감시에 대한 비디오의 이와 같은 이론적인 장점에 의거하여 하천수질을 모니터링 하기 위한 비디오 샘플링 기법이 본 연구를 통해 제시되었다. 본 연구의 근본적인 의도는 전통적인 샘플링에 기반을 둔 현장조사의 개념을 디지털 비디오의 해석기법에 연계시키려는 것이었다. 특정 지점에서 시료를 채취하는 현지 샘플링조사와 동일한 방식으로 장거리에 걸친 하천의 수질감시를 위해 원격동영상을 컴퓨터 모니터에 디스플레이 하면서 비디오 샘플지점을 선정하여 수질을 감시하였다. 비디오 샘플링 기법은 하천 색조의 변화실태에 대한 가상현실의 형태로 정보를 제공했다. 다양한 샘플지점에서 나타나는 하천 색조의 변화추세를 가시적으로 파악할 수 있었으며 전통적인 현장 샘플링 방법으로는 추적하는 데 한계가 있는 특정오염원에 기인한 하천수질의 광역적인 변화패턴을 파악하는 데 상당한 가능성을 보여주었다. 이와 같이 영구적으로 보전된 영상기록은 오염 물질의 이동확산 등 수질환경의 광역적인 변화 추이에 대한 시각적인 정보를 제공하고 있어 현장샘플링과 동시에 사용할 경우 하천수질감시에 있어 상당히 유용한 도구가 될 수 있음을 보여주었다. 본 연구를 통해서 제시된 비디오 샘플링 기법이 도로, 철도, 송유관 등 다양한 선형지형지물의 환경감시에 효과적으로 사용될 수 있을 것으로 사료된다. 둔 현장조사의 개념을 디지털 비디오의 해석기법에 연계시키려는 것이었다. 특정 지점에서 시료를 채취하는 현지 샘플링조사와 동일한 방식으로 장거리에 걸친 하천의 수질감시를 위해 원격동영상을 컴퓨터 모니터에 디스플레이 하면서 비디오 샘플지점을 선정하여 수질을 감시하였다. 비디오 샘플링 기법은 하천 색조의 변화실태에 대한 가상현실의 형태로 정보를 제공했다. 다양한 샘플지점에서 나타나는 하천 색조의 변화추세를 가시적으로 파악할 수 있었으며 전통적인 현장 샘플링 방법으로는 추적하는 데 한계가 있는 특정오염원에 기인한 하천수질의 광역적인 변화패턴을 파악하는 데 상당한 가능성을 보여주었다. 이와 같이 영구적으로 보전된 영상기록은 오염 물질의 이동확산 등 수질환경의 광역적인 변화 추이에 대한 시각적인 정보를 제공하고 있어 현장샘플링과 동시에 사용할 경우 하천수질감시에 있어 상당히 유용한 도구가 될 수 있음을 보여주었다. 본 연구를 통해서 제시된 비디오 샘플링 기법이 도로, 철도, 송유관 등 다양한 선형지형지물의 환경감시에 효과적으로 사용될 수 있을 것으로 사료된다.