• 전자공학회논문지
• /
• 제49권12호
• /
• pp.201-208
• /
• 2012

본 논문에서는 실시간 동영상 부호화를 위한 효과적인 비트율 제어 방법을 제안하고 하드웨어로 구현한다. 제안하는 비트율 제어는 각 기본유닛 마다 R-D 파라미터 갱신에 의해 많은 연산 처리를 필요로 하는 이차원 R-D 모델을 사용하지 않고, 프레임의 평균 복잡도 가중치를 이용한 Qstep 결정 모델을 사용함으로써 연산량을 감소시킨다. 또한 적은 연산량과 빠른 MAD 예측을 위해 부호화된 기본유닛을 기반으로 영상의 공간적 및 시간적 상관관계를 이용하여 MAD를 예측한다. 제안하는 비트율 제어는 프레임 레벨 MAD 예측과 매크로블록 레벨 MAD 예측, GOP 비트 할당, 프레임 비트 할당, 가상버퍼, Qstep 결정 모델, 비트율 제어 파라미터 갱신, QP 결정 모듈을 포함하며 총 8개의 모듈로 구성된다. 비트율 제어 하드웨어는 Verilog-HDL을 이용하여 설계하였으며, Synopsys사의 Design Compiler를 이용하여 UMC 공정 $0.18{\mu}m$ 셀 라이브러리로 합성한 결과, 최대 동작 주파수는 108 MHz이고, 게이트 수는 19.1k이다. 실험 결과로부터 제안한 구조는 기존 구조 보다 게이트 수가 85% 감소하였고, 매크로블럭 당 QP를 결정하는데 평균 220 사이클 수가 소요되어 기존 구조보다 64% 단축됨을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제43권1호
• /
• pp.27-38
• /
• 2006

제한된 채널 대역폭이나, 저장 공간의 한계가 있는 경우 일정한 화질의 영상을 얻기 위해서는 영상의 움직임, 화면전환, 버퍼 용량, 채널 대역폭등의 변화에 순간, 순간 적응할 수 있는 비트율 제어 방법이 필요하다. 각 프레임마다 목표한 비트수를 얼마나 정확하게 예측할 수 있는지, 또는 버퍼에 의한 영상 지연 시간을 얼마나 짧게 할 수 있는지 등이, 효율적인 부호화기를 구성하는데 필요한 기술들이다. 따라서 본 논문에서는 비디오 부호화기에서 찾을 수 있는 여러 가지 선형 관계를 이용하여 위의 요구 조건을 만족하는 비트율 제어 방법을 제안한다. 제안된 방법에서는 3가지의 선형 관계에 대해서 설명을 한다. 첫 번째로, 비트수(R)와 양자화 된 변환 계수 중 Zero의 비율(p)과의 관계. 두 번째, PSNR과 양자화변수(QP) 사이의 관계, 그리고 마지막으로 QP와 p에서의 선형적 특성을 찾을 수 있었다. 제안된 비트율 제어 방법과 H.264/MPEG-4 AVC JM9.3의 비트율 제어 방법을 비교 실험하여 본 결과, 제안된 방법에서 정확한 비트수 예측, 낮은 버퍼 충만도, 높은 PSNR을 관찰 할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제12권3호
• /
• pp.354-361
• /
• 2009

장면 전환 검출은 비디오 분할의 주요 기술로서 하드웨어에서 구현하기 위해서는 실시간 및 자동적 처리가 만족되어야 한다. 현재까지 PMP나 핸드폰 같은 낮은 하드웨어 성능의 단말기에서 실시간으로 적용 가능한 장면 전환 검출 기술은 거의 없다. 이와 같은 단말기들에서 장면 전환 검출의 실시간 적용을 위하여, 본 논문에서는 가변 참조 구간의 적응적 임계값 설정 방법을 이용한 장면 전환 검출 기술을 제안한다. 제안하는 방법은 현재 프레임의 특징값과 가변 참조 구간의 평균 특징값을 비교하여 장면 전환 유무를 결정한다. 제안하는 방법은 프레임의 특징값에 독립적으로 사용할 수 있으며, 가변 참조 구간 동안의 평균 특징값을 이용하여 자동적인 임계값 설정이 가능하다. 동일한 영상에 대한 실험을 통하여 기존의 방법들보다 최고 정확도(precision)에서 0.146, 회수도(recall)에서 0.083, F1에서 0.089 이상 결과가 향상된 것을 확인하였다. 제안한 실시간 SCD 모델을 H사의 PMP에 적용하여 실시간 장면 전환 검출이 가능한 것을 검증하였다. 제안한 방법은 PMP나 핸드폰 같은 휴대용 미디어 재생 장치에서 비디오 데이터를 검색할 때 유용하게 사용될 수 있다.

• 방송공학회논문지
• /
• 제16권3호
• /
• pp.448-461
• /
• 2011

H.264/AVC는 새로운 부호화 기술에 의해 이전 비디오 부호화 표준보다 높은 성능을 나타낸다. 이러한 부호화 기술들 중 화면내 예측 부호화 기술은 부호화 효율을 높이는 중요 기술이다. H.264/AVC의 화면내 예측 부호화 기술에서 예측 모드 정보를 부호화하기 위해 최우선 모드를 이용하며 최우선 모드의 선택율은 매우 높다. 또한 일반적으로 자연 영상이나 동영상의 경우 균일한 특성을 나타내는 영역을 많이 포함하고 있으며, 이러한 영역은 주변 블록과의 상관도가 매우 높다. 따라서 주변 블록의 예측 모드, 화소 에지의 방향성을 이용하면 복호화기에서도 현재 블록의 최적의 예측 모드를 결정할 수 있다. 본 논문에서는 화면내 부호화 효율을 향상시키기 위해 예측 모드 정보를 전혀 전송하지 않는 복호화기 예측을 이용한 화면내 SKIP 부호화 모드를 제안한다. 제안하는 방법은 주변 블록의 정보만을 이용하여 예측 모드를 결정하고 기존의 예측/변환 방법을 이용하여 부호화를 실시하며 예측 모드 정보는 전혀 전송하지 않는다. 부호화가 생략된 예측 모드 정보는 주변 블록의 정보만을 이용하여 결정된 것이기 때문에 복호화기가 부호화기에서 결정된 예측 모드와 동일하게 결정할 수 있다. 실험 결과 제안하는 방법은 H.264/AVC의 참조 소프트웨어인 JM 17.0에 비하여 CIF 영상에서 1.40%, 720p 영상에서는 3.24%의 비트 감소를 나타내었다.

• 융합신호처리학회논문지
• /
• 제9권1호
• /
• pp.18-23
• /
• 2008

본 논문에서는 SR(Super Resolution) 복원 과정에 있어 사용되는 입력 후보 영상 중 적합한 입력 영상을 자동 선택하는 알고리즘을 제안함으로써 복원된 고해상도 영상의 질을 개선하고자 한다. SR 복원과정에서 이상적인 결과 영상을 얻기 위해서는 입력되는 모든 영상이 유기적으로 잘 정합 되어야 하지만, 실제로는 그렇지 못하다. 이런 이유로 입력 후보군 영상의 정합 적합성이 얼마나 높은가가 단순히 많은 입력 영상의 수보다 고품질의 고해상도 결과 영상을 얻는데 더욱 결정적이라 할 수 있다. 입력 영상의 적합성은 통계 특성 및 정합 특성을 이용하여 평가 가능하다. 그러므로 본 논문에서는 SR 복원과정에 정합 적합성을 자동으로 평가하여 이에 따라 입력 영상을 결정하는 전처리 과정을 제안하고 구조화하였다. 또한 비디오 시퀀스의 모든 입력 영상은 SR 복원과정의 기준 영상이나 저해상도 입력 영상과 같이 사용될 수 있으므로 본 논문에서는 연속적인 비디오 시퀀스를 위한 SR 복원알고리즘을 제안한다. 적합성의 유무는 임계값(Threshold Value)에 의해 결정되며, 이 임계값은 기준 영상과의 움직임 추정에서 그 보상 값의 오류 값 중 최대치(MMCE, Maximum Motion Compensation Error)로 결정된다. 만약 저해상도 입력 영상의 보상 오류 값의 범위가 0과 MMCE사이(0 < MCE < MMCE )값이라면 그 범위 안의 입력 후보 영상은 SR 복원과정에 사용되며 범위 밖의 후보영상은 제외된다. 최적의 저해상도 기준(ORLR, Optimal Reference Low Resolution)영상은 선택된 저해상도 입력(SLRI, Selected LR Input)영상들과 각각의 저해상도 기준 입력(RLRI, Reference Low Resolution Input)영상들의 비교를 통해 결정된다. 본 논문에서는 이와 같은 과정에 의해 결정된 저해상도의 최적 기준영상과 선택영상을 'Hardie' 보간법을 사용하여 고해상도 영상을 만들어 내는 것으로 사용자의 조정이 없이도 SR 복원영상의 질적 향상을 가져올 것이라 기대된다.

• 대한전자공학회논문지SP
• /
• 제46권5호
• /
• pp.56-65
• /
• 2009

스테레오 영상은 단일 영상과는 달리 오른쪽과 왼쪽, 2개의 영상으로 구성되어 있기 때문에 단일 영상에 비하여 더욱 많은 데이터량을 가지게 된다. 따라서 이를 효율적으로 처리하기 위한 영상 압축 기술이 필요하게 되었고, 이를 위해 DPCM기반의 예측 부호화 압축 기술을 대부분의 비디오 압축 표준에서 사용한다. 예측 부호화 기술의 구현을 위해 움직임 추정 및 변이 추정이 필요한데 이를 수행하는 알고리즘으로 여러 가지 비디오 코딩 표준들에서 블록 정합 알고리즘을 사용한다. 블록 정합 알고리즘 중 완전탐색 알고리즘은 기준 블록을 탐색영역 안에 존재하는 모든 블록과 비교하여 최적의 블록을 찾아낸다. 이 알고리즘은 최적의 블록을 찾을 수 있어 효율은 좋으나 많은 연산량이 단점이 된다. 본 논문에서는 스테레오 영상에서 움직임 벡터 정보와 전 프레임의 변이벡터 정보를 이용하여 고속으로 현재 프레임의 변이 벡터를 추정할 수 있는 방안을 제시한다. 변이 벡터 추정시 전역 변이 벡터를 사용하여 탐색 영역을 줄이고, 전 프레임들 사이에서 구한 변이 벡터 정보를 재사용하면서 움직임 벡터 정보를 이용하여 탐색 위치를 제한함으로 연산량을 줄여 고속의 변이 벡터 추정을 가능하게 하였다. 실험결과 제안 알고리즘은 움직임이 많은 복잡 영상 보다는 움직임이 적은 단순 영상에서의 성능이 훨씬 뛰어났으며, 움직임이 적은 단순 영상에서의 변이 벡터 추정 시에 약간의 residual 증가는 있지만 빠른 처리 속도를 제공하여 고속의 변이 벡터 추정을 가능하게 함을 확인하였다.

• 한국정보통신학회논문지
• /
• 제17권8호
• /
• pp.1908-1918
• /
• 2013

자유시점 또는 오토스테레오스코픽 비디오 서비스는 3차원 영상을 제공하는 차세대 방송 시스템으로, 여러 시점의 영상들이 필요하다. 본 논문에서는 가상 시점 영상을 고속 생성하기 위해 알고리즘 병렬 구조를 최적화하고, Compute Unified Device Architecture(CUDA)를 이용한 General Propose Graphic Processing Unit(GPGPU) 기반의 중간시점 영상 고속 생성을 위한 최적화 기법을 제안한다. 제안한 방법은 좌/우 깊이영상을 병렬화시킨 스테레오 정합알고리즘을 이용하여 변위정보를 얻은 후, 깊이 당 변위증분을 계산하여 사용한다. 계산된 변위증분을 사용하여 해당 각 화소들의 깊이 값을 이용하여 좌/우 영상들을 원하는 위치의 중간시점으로 영상을 이동시킨다. 그 다음, 비폐색영역들을 서로 상호 보완하여 없앤 다음에 남은 홀들은 홀 필링으로 없애 최종 중간시점 영상을 생성한다. 제안한 방법을 구현하여 여러 실험 영상에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 30.47dB이었으며, Full HD급 중간시점 영상을 초당 38 프레임 정도 생성하는 속도를 보였다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.216-225
• /
• 2011

최근 3차원 영상 콘텐츠와 디스플레이의 증가에 따라 지상파 방송사들은 스테레오스코픽 3차원 텔레비전(3DTV) 방송을 위한 준비를 시작하고 있다. 하지만 현재 지상파 방송사들이 비디오 전송을 위하여 사용하고 있는 ATSC 방송규격의 약 18Mbps 대역폭 제한 내에서 는 고화질의 스테레오스코픽 영상을 전송하는 데 한계가 있다. 따라서 보다 고화질의 3D 영상 방송 서비스를 제공하는 동시에, 기존 2DTV 시청자를 위한 호환성을 유지하기 위하여 좌영상은 현재 지상파 방송에서 채택하고 있는 MPEG-2 기반, 그리고 우영상은 보다 압축 효율이 높은 H.264/AVC 기반의 비디오 압축 및 전송 시스템이 고려되고 있다. 본 연구에서는 이러한 지상파 3DTV 방송 조건 하에서 이종 부호화기로부터 산출되는 비트스트림의 양을 대역폭 제한에 맞게 조절하는 합동 비트율 제어 방법을 제안한다. 제안하는 합동 비트율 제어 방법은 H.264/AVC의 비트율 제어 방법인 이차 율-양자화 모델(quadratic rate-quantization model)을 MPEG-2 부호화 과정 내에 구현하여 압축된 두 비디오 비트스트림의 합이 대역폭 조건을 충족시키면서 화질왜곡을 최소화하는 양자화계수를 계산하도록 설계되었다. 또한 시청자의 시각적 피로도가 양안 영상의 화질 차이와 관계가 있다는 가정 하에 좌영상과 우영상의 화질의 차이를 일정하게 유지되도록 하는 제약식을 최적화 문제에 추가하여 양자화계수를 계산하였다. 실험결과 제안한 지상파 스테레오스코픽 3DTV를 위한 합동 비트율 제어 알고리듬은 목표 비트율을 맞추는 동시에, MPEG-2 및 H.264/AVC의 기존 비트율 제어 알고리듬 방법에 비하여 좌/우 영상의 평균 화질 합을 약 2.02% 향상시켰고, 화질 절대차의 평균은 약 77.6%, 화질차의 분산은 약 74.38% 감소시키는 성능을 보였다.

• 대한전자공학회논문지SP
• /
• 제46권3호
• /
• pp.89-95
• /
• 2009

H.264/AVC는 높은 압축 성능을 보이는 현존하는 가장 우수한 비디호 부호화 표준이다. H.264/AVC는 양자화된 변환 계수를 부호화하기 위해 지그재그 탐색 방법을 채택하고 있다. 하지만 이 방법은 모든 블록의 양자화된 변환 계수를 블록의 특성을 고려하지 않고 동일한 순서로 탐색하기 때문에 효과적이지 못하다. 따라서 본 논문에서는 H.264/AVC의 화면 간 예측에서 압축 효율을 증가시키기 위한 적응적인 계수 탐색 방법을 제안한다. 제안하는 방법에서는, 이전 블록들의 정보를 기반으로 각 화면 간 예측 모드의 계수 탐색 순서를 조절한다. 실험 결과는 제안하는 적응적인 계수 탐색 방법은 고화질의 HD 영상에서 2.29%의 압축 효율 향상을 보여준다.

• 방송공학회논문지
• /
• 제20권2호
• /
• pp.265-272
• /
• 2015

폐색영역 탐지(Occlusion detection)와 중간값 필터(Median filter)를 조합한 새로운 움직임 추정 기반의 프레임율 변환(Frame rate up-conversion based on motion estimation) 기술을 소개한다. 움직임 추정은 움직임 벡터(Motion vector)를 얻기 위해 수행한다. 그 후 폐색영역 탐지방법은 폐색된 부분에서 움직임 벡터를 개선한다. 폐색된 영역에서는 잘못된 움직임 벡터를 찾을 가능성이 높으므로 움직임 벡터 의존율이 적은 중간값 필터를 적용하고, 비폐색된 영역에서는 움직임 벡터가 연속적이고 신뢰도가 높으므로 BDMC(Bi-Directional Motion Compensated interpolation)를 적용하여 보간 영상을 생성한다. 양방향 움직임 벡터를 사용하는 BDMC는 움직임 벡터의 연속성과 신뢰도가 높을수록 좋은 결과를 얻는다. 실험결과에서 제안된 알고리즘이 기존의 방법보다 더 나은 성능을 갖는다. 실험에서의 평균 PSNR(Peak signal to noise ratio)은 테스트 시퀀스들에 대하여 BDMC 대비 약 0.16dB 향상되었다.