• 제목, 요약, 키워드: 양자화 모델

검색결과 167건 처리시간 0.037초

MPEG-NNR 의 지역 비선형 양자화를 이용한 CNN 압축 (Compression of CNN Using Local Nonlinear Quantization in MPEG-NNR)

  • 이정연;문현철;김수정;김재곤
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • /
    • pp.662-663
    • /
    • 2020
  • 최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

  • PDF

양자화 된 범용 화자모델을 이용한 연속적 화자분류 (Sequential Speaker Classification Using Quantized Generic Speaker Models)

  • 권순일
    • 전자공학회논문지CI
    • /
    • v.44 no.1
    • /
    • pp.26-32
    • /
    • 2007
  • 연속적 화자 분류에 있어서 분류 대상이 되는 화자에 대한 정보가 없거나 부족할 경우 정확한 연속적 분류가 어렵다. 이러한 문제를 해결하기 위해 표본 화자모델을 이용하는 방법이 제안되었는데, 이 방법을 이용하면 미리 준비된 화자의 데이터가 없이 화자모델 초기화와 화자분류가 가능해진다. 하지만 여전히 화자모델의 표본을 얻는 방법에 어려움이 따른다. 이 문제를 해결하기 위해 벡터 양자화에서 비롯된 화자 양자화를 제안한다. 유선전화 데이터를 이용한 실험에서 화자 양자화를 이용한 표본 화자모델 방법은 무작위 표본추출 방법을 이용할 경우 보다 25%의 성능 향상을 보였다.

계층별 양자화 기반 초해상화 다중 스케일 잔차 네트워크 압축 (A Model Compression for Super Resolution Multi Scale Residual Networks based on a Layer-wise Quantization)

  • 황지원;배성호
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • /
    • pp.540-543
    • /
    • 2020
  • 기존의 초해상도 딥러닝 기법은 모델의 깊이가 깊어지면서, 좋은 성능을 내지만 점점 더 복잡해지고 있고, 실제로 사용하는데 있어 많은 시간을 요구한다. 이를 해결하기 위해, 우리는 딥러닝 모델의 가중치를 양자화 하여 추론시간을 줄이고자 한다. 초해상도 모델은 feature extraction, non-linear mapping, reconstruction 세 부분으로 나누어져 있으며, 레이어 사이에 많은 skip-connection 이 존재하는 특징이 있다. 따라서 양자화 시 최종 성능 하락에 미치는 영향력이 레이어 별로 다르며, 이를 감안하여 강화학습으로 레이어 별 최적 bit 를 찾아 성능 하락을 최소화한다. 본 논문에서는 Skip-connection 이 많이 존재하는 MSRN 을 사용하였으며, 결과에서 feature extraction, reconstruction 부분과 블록 내 특정 위치의 레이어가 항상 높은 bit 를 가짐을 알 수 있다. 기존에 영상 분류에 한정되어 사용되었던 혼합 bit 양자화를 사용하여 초해상도 딥러닝 기법의 모델 사이즈를 줄인 최초의 논문이며, 제안 방법은 모바일 등 제한된 환경에 적용 가능할 것으로 생각된다.

  • PDF

계층적 부호화 구조의 H.264/AVC에서 효율적인 비트율 제어를 위한 향상된 비트율-양자화 모델링 (Improved R-Q model for rate control in hierarchical coding structure of H.264/AVC)

  • 서찬원;한종기
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • /
    • pp.91-92
    • /
    • 2010
  • 계층적 부호화 구조는 H.264/AVC의 부호화 효율을 최대화하고 시간적 스케일러빌리티를 지원하는 등 다양한 장점을 제공한다. 이러한 구조에서 비트 할당 및 비트율 제어 기술은 비디오 코덱의 성능을 향상시킬 수 있는 중요한 요소들이다. 기존의 비트율 제어 기술에서는 계층적 구조의 특성을 고려하지 못한 비트율-양자화 모델을 사용하여 비디오 코덱의 성능을 최적화하기에 어려움이 있었다. 따라서, 본 논문에서는 계층적 구조에서도 효율적으로 비트 할당 및 비트율 제어를 할 수 있도록, 기존보다 향상된 비트율-양자화 모델을 제안한다. 그리고 실험을 통하여 제안하는 비트율-양자화 모델이 기존 기술에 비해 정확함을 보인다.

  • PDF

HEVC에서 효율적인 비트율 제어를 위한 비트율-양자화 모델링 (R-Q model for efficient rate control in HEVC)

  • 이민호;한종기
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • /
    • pp.228-230
    • /
    • 2012
  • ITU와 ISO/IEC가 공동으로 UHD(Ultra High Definition)급 영상 부호화를 위해 표준화를 진행하고 있는 HEVC(High Efficient Video Codec)는 H.264/AVC 대비 2배 이상의 압축 효율을 갖는 것을 목표로 정하고 있다. HEVC는 다수의 개선된 기술을 사용하고 있기 때문에 부호화효율을 크게 향상시켰는데 여기에 비트 할당 및 비트율 제어 기술사용을 비디오 코덱의 성능을 향상 시킬 수 있는 중요한 요소들이다. 기존 H.264/AVC의 비트율 제어 기술에는 HEVC의 특성을 고려하지 못한 비트율-양자화 모델을 사용하여 HEVC의 성능을 최적화하기에 어려움이 있었다. 따라서 본 논문에서는 HEVC에서 효율적으로 비트 할당 및 비트율 제어를 할 수 있도록, 기존보다 향상된 비트율-양자화 모델을 제안한다. 그리고 실험을 통하여 제안하는 비트율-양자화 모델이 기존 기술에 비해 정확함을 보인다.

  • PDF

양자화 잡음 모델에 근거한 블록기반 동영상 부호화에서의 후처리 (Postprocessing in Block-Based Video Coding Based on a Quantization Noise Model)

  • 문기웅;장익훈;김남철
    • 한국통신학회논문지
    • /
    • v.26 no.8B
    • /
    • pp.1129-1140
    • /
    • 2001
  • 본 논문에서는 블록기반 동영상 부호화에서 나타나는 양자화 잡음을 그 특성에 맞게 모델링을 하고, 이를 기반으로 웨이블렛 변환(wavelet transform)을 이용하여 양자화 잡음을 제거하는 후처리 방법을 제안한다. 제안된 방법에서는 양자화 잡음을 특정 프로화일(profile)로 표현되는 블록화 잡음과 비에지 화소(non-edge pixel)에서 백색 가우시안 특성을 가지는 나머지 잡음의 합으로 모델링 한다. 이러한 양자화 잡음의 모델을 기반으로 정칙화 미분(regularized differentiation)을 표현하는 Mallat의 1차원 웨이브렛 변환을 이용하여 영상복원 관점에서 각각의 잡음을 제거한다. 먼저, 웨이브렛 영역의 블록경계에서 임펄스로 나타나는 블록화 잡음 성분들의 크기를 추정하여 줄임으로 해서 블록화 잡음을 제거한다. 이때 임펄스 크기의 추정은 메디안 필터와 양자화 파라미터(quantization parameter), 그리고 국부 활동도(local activity)를 이용하여 이루어진다. 그리고 나머지 잡음은 비에지 화소에서 연역치화(soft-thresholding)을 수행함으로써 제거한다. 이러한 후처리 방법의 구현은 실시간 응용을 위해 웨이브렛 필터를 이용하여 근사적으로 공간 영역에서 이루어진다. 실험 결과, 제안된 방법이 다양한 영상과 압축률에 대해 MPEG-4 VM(verification model) 후처리 필터(post-filter)보다 PSNR 성능뿐만 아니라 주관적 화질면에서도 우수함을 확인하였다.

  • PDF

DCT를 이용한 CNN 모델의 압축방법 (Compression Method for CNN Models Using DCT)

  • 김승환;박은수;굴람 무즈타바;류은석
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • /
    • pp.553-556
    • /
    • 2020
  • 최근 이미지 인식을 위한 Convolutional Neural Network(CNN) 모델의 경량화에 관한 연구가 활발하게 이루어지고 있다. 그중 양자화는 모델을 구성하는 가중치의 크기를 낮추는 방법이다. 기존의 CNN 모델에서 가장 큰 비중을 하는 Fully Connected Layer(FCL)는 내부적으로 32 Bit의 실수 행렬로 표현된다. 본 논문에서는 미리 학습된 실수 가중치를 더 작은 비트의 정수 행렬로 양자화한다. 양자화된 행렬에 대해서 영상 압축 등에서 사용하는 Discrete Cosine Transform(DCT)을 통해 주파수 영역으로 변환한 후 고주파 영역을 생략하는 손실압축 방법을 제안한다. 실험을 통해 그 과정에서 손실에 따른 정확도의 변화를 나타낸다.

  • PDF

한국어 음소 HMM 모델 결정을 위한 파라미터 비교 연구 (A Comparative Study on Parameter for Korean Phoneme-based HMM Model Decision)

  • 권혁제
    • 한국음향학회:학술대회논문집
    • /
    • /
    • pp.302-305
    • /
    • 1998
  • 음소의 확률적 분포를 이용하는 음소 HMM 모델을 결정하기 위한 여러 가지 거리 측정방법에 대한 연구이다. 음소 HMM 모델 결정을 위해서 LPC 계수를 이용하고, 거리 측정자를 LPC 계수, LPC 스첵트럼, LPC 켑스트럼 등의 파라미터를 이용하고, 또한 양자화 과정은 k-means 와 LBG 알고리즘을 혼합한 하이브리드 알고리듬을 사용하였다. LPC 코드북을 구성하기 위해 세 가지 파라미터를 유클리디안 거리로 거리측정에 이용하였다. 이렇게 양자화한 파라미터의 평균과 분산을 구하고, 양자화한 파라미터 코드북의 확률갑승ㄹ 비교해 한국어 음소 HMM 모델 결정을 위한 거리 측정 파라미터를 비교하였으며, 그 결과 LPC 계수를 주파수 영역으로 변환하여 유클리디안 거리를 이용한 코드북의 분산이 작으므로 상대적으로 높은 확률을 가짐을 보았다.

  • PDF

간략화된 심리음향모델을 이용한 MPEG Audio Layer-III 부호화기 (MPEG Audio Layer-III Encoder Using Approximated Psy-choacoustic Model)

  • 송창준;오현오;박영철;윤대희
    • 대한전자공학회:학술대회논문집
    • /
    • /
    • pp.469-472
    • /
    • 2001
  • MPEC Audio Layer-III(MP3)알고리듬은 복호화기에 비해 부호화기가 월등히 많은 연산량을 가지고 있는 비대칭 구조를 가지고 있다. MP3 부호화기의 대부분의 연산량은 복잡한 초월함수 연산이 포함되는 심리음향모델과 반복 루프 과정을 수행하는 비선형 양자화와 비트 할당과정 이 차지한다. 본 논문에서는 MP3 부호화기의 실시간 구현을 위한 알고리듬 레벨의 최적화를 수행하였다. MP3 부호화기의 연산량을 줄이기 위해 심리음향모델을 간략화하고 반복 루프의 회수를 최소화할 수 있는 방법을 제안하였다. 프레임당 한 그래뉼의 심리음향모델 정보를 계산하여 한 프레임 내에서의 심리음향모델 정보를 추정함으로써 연산량을 45% 이상 감소시켰다. 또한 외부 반복 루프의 반복 회수를 줄이기 위하여 외부 반복 루프의 반복에 따른 스케일 팩터(Scale Factor) 및 양자화 스탭의 증가 패턴을 관찰하고 최적화된 스캐일 팩터 증가 방법을 제안하였다. 제안된 고속화 방법은 주관적 음질 평가를 통해 성능을 검증하였다.

  • PDF

화면간 상관성을 고려한 비트율 제어 방법 (Rate Control for Using Temporal Correlation Between Frames)

  • 김세호;이정우;서재원
    • 대한전기학회:학술대회논문집
    • /
    • /
    • pp.423-424
    • /
    • 2007
  • 비트율 제어는 제한된 대역폭 내에서 더 좋은 화질을 제공하기 위해 필요로하는 비디오 부호화의 구성요소이다. 본 논문에서는 저 전송률 환경에서의 모델기반 율제어 기법의 개선 방안에 대하여 연구하였다. H.263 TMN8과 MPEG-4 VMl6은 비트율-왜곡 분석관점에서 접근한 모델기반 비트율 제어 알고리즘으로 양자화가 수행될 데이터의 특성 분포를 단일 모델로 정의하여 해석한다. 이는 실제적인 데이터 분포 특성을 지나치게 간략화하기 때문에 부호화 효율을 떨어뜨리는 원인이 될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 SAD값을 이용해 의미 있는 영역을 구하고, 이전 프레임의 양자화 변수들을 반영하여 양자화 변수를 결정하는 방법을 제안한다.

  • PDF