• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.116-118
• /
• 2022

MPEG-VCM(Video Coding for Machine)은 입력된 이미지/비디오의 특징(feature)를 압축하는 Track 1 과 입력 이미지/비디오를 직접 압축하는 Track 2 로 나뉘어 표준화가 진행 중이다. 본 논문은 Track 1 의 비전임무 네트워크로 사용하는 Detectron2 의 FPN(Feature Pyramid Network)에서 추출한 멀티-스케일 특징을 효율적으로 압축하는 MSFC 기반의 압축 모델의 개선 기법을 제시한다. 제안기법은 해상도를 줄여서 단일-스케일 압축맵을 압축하는 기존의 압축 모델에서 저해상도 특징맵을 고해상도 특징맵에 바텀-업(Bottom-Up) 구조로 합성하여 단일-스케일 특징맵을 구성하는 바텀-업 MSFF 를 가지는 압축 모델을 제시한다. 제안방법은 기존의 모델 보다 BPP-mAP 성능에서 1 ~ 2.7%의 개선된 BD-rate 성능을 보이며 VCM 의 이미지 앵커(image anchor) 대비 최대 -85.94%의 BD-rate 성능향상을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1203-1206
• /
• 2022

자율주행, IoT 등 많은 양의 영상 정보를 실시간으로 처리해야 하는 기술과 mobile device 등의 기기에서 Machine Learning 연산을 하는 소프트웨어들이 등장함에 따라 사람을 위한 영상을 출력하는 영상 부호화 기술 대신 기계의 vision task 성능을 위해 특화된 영상 부호화 기술의 필요성이 대두됐다. 본 연구에서는 영상에서 추출한 특징맵을 Neural-Net based Video Coding 모델을 이용해 압축률과 기계의 vision task 성능을 동시에 최적화한다. 또한, 하드웨어 친화적인 block-based 처리와 이로 인한 성능 저하를 최소화하기 위해 적응적 resizing 방식을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.49-52
• /
• 2020

MPEG-I(Immersive) 그룹에서는 몰입형 미디어 영상처리 표준화의 일환으로 마이크로렌즈를 통한 다시점 영상 처리 기술인 Dense Light Field에 대한 성능 탐색을 진행하고 있다. 본 논문에서는 MPEG-I에서 정의된 라이트 필드 시퀀스에 대해 versatile video codec(VVC)에 대한 압축 성능 분석을 시행하였으며, 또한 렌즈렛(Lenslet) 형태의 특정적인 이미지 정보를 효율적으로 압축하기 위한 스크린 콘텐츠 코딩 툴의 효율 비교를 진행하였다. 또한 렌즈렛 영상에서의 화면 내 블록 카피(intra block copy) 기법이 선택되는 비율을 확인하고, 화면 내 블록 카피 기법을 통해 렌즈렛 영상이 효율적으로 압축될 수 있음을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.280-282
• /
• 2020

최근 사물인터넷(IoT), 자율주행과 같이 기계 간의 통신이 요구되는 서비스가 늘어감에 따라, 기계 임무 수행에 최적화된 데이터의 생성 및 압축에 대한 필요성이 증가하고 있다. 또한, 사물인터넷과 인공지능(AI)이 접목된 기술이 주목을 받으면서 딥러닝 모델에서 추출되는 특징(feature)을 디바이스에서 클라우드로 전송하는 방안에 관한 연구가 진행되고 있으며, 국제 표준화 기구인 MPEG에서는 '기계를 위한 부호화(Video Coding for Machine: VCM)'에 대한 표준 기술 개발을 진행 중이다. 딥러닝으로 특징을 추출하는 가장 대표적인 방법으로는 합성곱 신경망(Convolutional Neural Network: CNN)이 있으며, 오토인코더는 입력층과 출력층의 구조를 동일하게 하여 출력을 가능한 한 입력에 근사시키고 은닉층을 입력층보다 작게 구성하여 차원을 축소함으로써 데이터를 압축하는 딥러닝 기반 이미지 압축 방식이다. 이에 본 논문에서는 이러한 오토인코더의 성질을 이용하여 CNN 기반의 이미지 분류 네트워크의 합성곱 신경망으로부터 추출된 feature에 오토인코더를 적용하여 압축하는 방안을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.129-132
• /
• 2020

최근 모바일 기기에서 딥러닝 모델을 사용하기 위한 경량화 연구가 진행되고 있다. 그중 모델의 가중치 표현 bit를 줄이는 양자화와 사용하기 위한 다양한 압축 알고리즘이 개발되었다. 하지만 대부분의 양자화 및 압축 알고리즘들은 한 번 이상의 Fine-tuning을 거쳐야 하는데 이 과정은 모바일 환경에서 수행하기에는 연산복잡도가 너무 높다. 따라서 본 논문은 양자화된 가중치를 High Efficiency Video Coding(HEVC)을 통해 압축하는 방법을 제안하고 정확도와 압축률을 실험한다. 실험결과는 양자화만 실시한 경우 대비 크기는 25%의 감소했지만, 정확도는 0.7% 감소했다. 따라서 이런 결과는 모바일 기기에 가중치를 전송하는 과정에 적용될 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.7-9
• /
• 2021

본 논문은 Detectron2 [1]에서 지원하는 객체 검출 임무 수행 네트워크의 과정 중에서 추출한 피쳐 맵을 신경망 기반으로 압축하는 방법을 제안한다. 이를 위해, 신경 망 기반 영상 압축을 지원하는 공개 소프트웨어인 CompressAI [2] 모델 중 하나인 bmshj2018-hyperprior 의 압축 네트워크를 활용하여 임무 수행 네트워크의 과정 중 스탬 레이어(stem layer)에서 추출된 피쳐 맵을 압축하도록 학습시켰다. 또한, 압축 네트워크의 입력 피쳐 맵의 너비와 높이 크기가 64 의 배수가 되도록 객체 검출 네트워크의 입력 영상 보간 값을 조정하는 방법도 제안한다. 제안하는 신경망 기반 피쳐 맵 압축 방법은 피쳐 맵을 최근 표준이 완료된 차세대 압축 표준 방법인 VVC(Versatile Video Coding, [3])로 압축한 결과에 비해 큰 성능 향상을 보이고, VCM 앵커와 유사한 성능을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.151-153
• /
• 2021

포인트 클라우드는 특정 개체 혹은 장면을 다수의 3 차원 포인터를 사용하여 표현하는 데이터의 표현 방식 중 하나로 3D 데이터를 정밀하게 수집하고 표현할 수 있는 방법이다. 하지만 방대한 양의 데이터를 필요로 하기 때문에 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group 에서는 포인트 클라우드 데이터의 효율적인 압축 방법 중 하나로 Video based Point Cloud Compression(V-PCC)에 대한 표준을 제정하였다. V-PCC 는 포인트 클라우드 정보를 Occupancy, Geometry, Texture 와 같은 다수의 2D 영상으로 변환하고 각 2D 영상을 전통적인 2D 비디오 코덱을 활용하여 압축하는 방법이다. 본 논문에서는 V-PCC 에서 변환하는 Occupancy 의 정보를 활용하여 효율적으로 Texture 영상을 압축할 수 있은 방법을 소개한다. 또한 제안방법이 V-PCC 에서 약 1%의 부호화 효율을 얻을 수 있음을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.550-552
• /
• 2020

본 논문에서는 YOLO(You Only Look Once) 사물 인식 알고리즘을 활용하여 영상 압축에 적용한다. YOLO 는 물체의 일반화된 특징을 학습한 뉴럴 네트워크이다. 영상을 압축하는 동시에 YOLO 를 활용하여, 영상 내의 사물을 인식한다. 사물이 인식된 영역을 영상 압축을 할 때, 더 구체적으로 예측을 하는 방법을 제안한다. 본 논문에서 제안하는 방법은 QP(Quantization Parameter)를 조절하여, YOLO 로부터 인식된 사물을 더 정교하게 사물을 부호화/복호화한다. VVC(Versatile Video Coding) 기반에서 Rate-Control 를 사용하며, QP 를 조절한다. QP 는 CTU-Level 단위로 조절하며, 사물이 포함된 CTU 는 더 낮은 QP 를 바탕으로 효율적인 화질을 가져온다. 본 논문에서 제안하는 방법은 VVC 기반으로 한 Rate-Control 보다 주관적 화질이 선명한 것으로 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1236-1238
• /
• 2022

JVET 은 최신 비디오 부호화 표준인 VVC(Versatile Video Coding) 표준화를 완료한 후, VVC 보다 더 높은 압축 성능을 가지는 새로운 표준기술 탐색을 진행하고 있으며, 이를 위하여 참조 소프트웨어 ECM(Enhanced Compression Model)을 개발하고 있다. 현재 ECM4.0 에는 다양한 후보 구성 및 예측 성능 개선 기법을 추가하여 기존 VVC 의 GPM(Geometric Partitioning Mode)을 확장한 GPM-MMVD(GPM with merge MV differences), GPM-TM(GPM with template matching) 등을 채택하고 있다. 본 논문에서는 ECM 에 채택된 확장된 GPM 기술들의 각 기술 별 선택 빈도를 분석하고 이를 바탕으로 보다 효율적인 GPM 확장 모드 시그널링 방식을 제안한다. 또한 후보 탐색 알고리즘을 간소화한 복잡도 감소 기법을 제시한다. 실험결과 제안하는 시그널링 기법은 ECM4.0 대비 Y와 Cb, Cr 에서 각각 0.02%, 0.16%, 0.09% BD-rate 부호화 성능 향상을 보였고 GPM 인덱스 탐색 간소화 기법은 ECM4.0 대비 Y 와 Cr 에서 각각 0.02%, 0.18% BD-rate 부호화 성능 향상을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1239-1240
• /
• 2022

JVET 은 VVC(Versatile Video Coding) 표준화 완료 이후 보다 높은 압축 성능을 갖는 차세대 비디오 코덱의 표준 기술을 탐색하고 있으며 ECM(Enhanced Compression Model) 참조 소프트웨어를 통해 제안된 알고리즘의 성능을 검증하고 있다. 현재 ECM 에서는 정해진 순서에 의해 병합(Merge) 후보를 구성하고 템플릿 매칭(template matching)을 통하여 후보들의 순서를 재배열하는 ARMC(Adaptive Reordering of Merge Candidate) 기법을 채택하고 있다. 본 논문은 ARMC 의 병합 후보의 선택 빈도 분석을 바탕으로 정규 병합(regular merge) 후보 수를 확장하여 구성하고, 실제 탐색에 사용되는 최종 후보의 수를 제한하는 효율적인 ARMC 후보 구성 기법을 제안한다. 실험결과 ECM 4.0 대비 Cb 와 Cr 에서 0.12%, 0.19% 비디오 부호화 성능을 확인하였다.