• 제목/요약/키워드: object-based video coding

검색결과 65건 처리시간 0.019초

계층 간 특징 복원-예측 네트워크를 통한 피라미드 특징 압축 (Pyramid Feature Compression with Inter-Level Feature Restoration-Prediction Network)

  • 김민섭;심동규
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.283-294
    • /
    • 2022
  • 딥 러닝 네트워크에서 사용되는 특징 맵은 일반적으로 영상보다 데이터가 크며 특징 맵을 전송하기 위해서는 영상의 압축률보다 더 높은 압축률이 요구된다. 본 논문은 딥러닝 기반의 영상처리에서 객체의 크기에 대한 강인성을 가지는 FPN 구조의 네트워크에서 사용되는 피라미드 특징 맵을 높은 압축률로 전송하기 위해 제안한 복원-예측 네트워크를 통해 전송된 일부 계층의 피라미드 특징 맵으로 전송하지 않은 계층의 피라미드 특징 맵을 예측하며, 압축으로 인한 손상을 복원하는 구조를 제안한다. 제안한 방법의 COCO 데이터셋 2017 Train images에 대한 객체 탐지의 성능은 rate-precision 그래프에서 VTM12.0을 통해 특징 맵을 압축한 결과 대비 BD-rate 31.25%의 성능향상을 보였고, PCA와 DeepCABAC을 통한 압축을 수행한 방법 대비 BD-rate 57.79%의 성능향상을 보였다.

MPEG-4 영상의 화질 개선에 관한 연구 (Image Enhancement Techniques for MPEG-4)

  • 김태근;신정호;백준기
    • 방송공학회논문지
    • /
    • 제2권2호
    • /
    • pp.169-181
    • /
    • 1997
  • 초고속압축률, 내용기반 부호화, 객체 단위의 계층적 구조로 대표되는 MPEG-4, 비디오의 화질 개선 기술에 관하여 논의한다. 화질 개설은 크게 두 가지로 나누어 압축과정에서 발생하는 화질 열화(degradation) 요인을 제거하고, 제한되어 있는 공간 및 시간적 해상도를 향상시키는 기술을 제안한다. 첫째 화질 열화의 제거를 위해서, 다시 MPEG-4 비디오 압축 기술을 크게 MPEG-2와 공통되는 부분과 차별되는 부분으로 나눈 후, 전자에 대해서는 이미 개발되어 있는 화질 개선을 적용하고, 후자에 대해서는 새로운 수학적 모델을 제시하여 복원이 가능하게 한다. 둘째 공간적 해상도 향상을 위해서는 다채널 영상보건(multichannel interpolation) 기법의 구현을 위한 일반화된 구조를 제안하고, 시간 해상도 향상을 위해서는 기존의 프레임률 향상 기법을 정리한다. MPEG-4 표준 제정 단계에서 매우 다양한 고려가 이루어지고 있지만, 가장 중요한 화질에 대해서는 상대적으로 제약이 많지 않기 때문에, 사용화 단계에서 화질 개선 기술의 추가가 매우 중요할 것으로 예상된다.

  • PDF

POCS와 정규화를 기반으로한 프레임간 압출 영사의 후처리 (Postprocessing of Inter-Frame Coded Images Based on Convex Projection and Regularization)

  • 김성진;정시창;황인경;백준기
    • 대한전자공학회논문지SP
    • /
    • 제39권3호
    • /
    • pp.58-65
    • /
    • 2002
  • 본 논문에서는 프레임간 압축된 영상의 블록화 현상을 감소시키기 위해 재구성하기 전 차분 영상을 처리하는 새로운 복원 알고리듬을 제안한다. 프레임내 압축 영상의 블록화 현상은 오직 8×8 DCT에 의해서 일어나는 반면에, 프레임간 압축된 영상에서는 8×8 DCT뿐만 아니라 움직임 보상을 위해 사용한 16×16의 매크로 블록에 의해서 발생된다. 이러한 이유로 본 논문에서는 차분 영상에 대한 새로운 열화모델을 제시하고, 블록 경계와 내부의 불연속에 대한 POCS를 이용한 복원 알고리듬을 제시한다. 제안된 알고리듬은 DCT계수의 일부를 이용해 블록 경계의 방향을 고려하는 공간 적응적 저대역 통과 필터를 포함하는 표준 정규화의 변환된 형태이다. 일반적인 비디오 압축 표준은 블록을 기준으로 하는 움직임 보상과 블록 이산여현 변환(BDCT)을 이용한 혼성(hybrid) 구조를 채택하고 있다. 이러한 이유에서 블록화 현상은 블록 경계와 블록 내부에서 일어난다. 두 종류의 블록화 현상을 좀 더 완벽히 제거하기 위해서 복원된 차분 영상은 블록 경계와 블록 내부에서의 방향성 불연속과 같은 제약조건을 만족시켜야만 한다. 그러한 제약조건은 차분 영상을 복구하기 위한 convex set을 정의하는데 이용한다.

영상집적 기반의 다시점 부호화 기술을 이용한 디지털 홀로그램의 압축 기술 (Digital Hologram Compression Technique using Multi-View Prediction based on Image Accumulation)

  • 최현준;서영호;배진우;유지상;김화성;김동욱
    • 한국통신학회논문지
    • /
    • 제31권10C호
    • /
    • pp.933-941
    • /
    • 2006
  • 본 논문에서는 다시점 예측기법과 MPEG 동영상 압축 표준 기법을 이용하여 CCD 카메라로부터 광학적으로 획득되거나 컴퓨터에 의해 생성된 디지털 홀로그램(프린지 패턴)을 효율적으로 압축하는 방법을 제안하였다. 이 방법은 RGB의 각 색차신호를 분리하여 처리하고, 각 색차신호의 객체영상을 $N{\times}N$ 크기로 분할한 부분영상들을 기본단위로 하며, 이때의 각 부분영상은 객체 전체에 대한 정보를 보유하고 있다. 본 논문의 방법은 분할되고 주파수 변환된 한 열의 부분영상들을 다시점 예측기법을 이용하여 집적영상을 만들고, 이 영상을 기준으로 데이터압축을 수행한다. 즉, 이 집적영상에서 역으로 생성된 부분영상과 원 부분영상에 대해 MPEG의 움직임 예측/보상방법으로 데이터를 압축한다. 따라서 압축된 데이터는 집적영상을 만들기 위한 각 부분영상의 변위벡터, 집적영상, 각 부분영상에 대한 움직임벡터 및 보상영상이다. 이 방법을 구현하여 실험한 결과 기존의 방법에 비해 동일 압축율에서의 NC(Normal Correlation) 값이 약 4% 이상 높은 값을 보여 압축효율이 더 좋음을 알 수 있었다. 따라서 본 논문의 방법은 디지털 홀로그램 데이터를 전송하여야 하는 응용분야에서 보다 효율적으로 사용될 수 있을 것으로 기대된다.

PCA 기반 변환을 통한 다해상도 피처 맵 압축 방법 (A Feature Map Compression Method for Multi-resolution Feature Map with PCA-based Transformation)

  • 박승진;이민훈;최한솔;김민섭;오승준;김연희;도지훈;정세윤;심동규
    • 방송공학회논문지
    • /
    • 제27권1호
    • /
    • pp.56-68
    • /
    • 2022
  • 본 논문에서는 VCM을 위한 다해상도 피처 맵에 대한 압축 방법을 제안한다. 제안하는 압축 방법은 PCA 기반의 변환을 통해 다해상도 피처 맵의 채널 및 해상도 계층 간 중복성을 제거하며 변환에 사용된 기저 벡터와 평균 벡터 그리고 변환을 통해 얻어진 변환 계수를 각각의 특성에 따라 VVC 기반 부호화기와 DeepCABAC을 통하여 압축한다. 제안하는 방법의 성능을 측정하기 위하여 OpenImageV6와 COCO 2017 validation set에 대하여 객체 검출 성능을 평가하며, MPEG-VCM 앵커 및 본 논문에서 제안하는 피처 맵 압축 앵커 대비 bpp와 mAP를 BD-rate 관점에서 비교한다. 실험 결과, 제안하는 방법은 OpenImageV6에서 피처 맵 압축 앵커 대비 25.71%의 BD-rate 성능 향상을 보이며, 특히 COCO 2017 validation set의 크기가 큰 객체들에 대해서 MPEG-VCM 앵커 대비 최대 43.72%의 BD-rate 성능이 향상됨을 보인다.