• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.309-312
• /
• 2019

본 논문에서는 계산의 복잡성을 줄이고 피크 신호 대 잡음 비율(PSNR) 성능을 개선하기 위한 새로운 프레임 상향 변환 (Frame Rate Up Conversion) 알고리즘을 제안한다. 제안된 알고리즘을 사용하기 위한 모션 추정 과정(Motion Estimation) 은 이전 프레임과 현재 프레임에서 마크로블록(Macroblock) 값의 최소 차이값(Sum of absolute differences) 을 이용하여 보간된 프레임(Interpolated Frame) 의 마크로블록이 가지게 되는 모션 벡터 값을 추출한다. 이 때 반복된 배경 패턴 및 여러 움직임들 때문에 모션 추정 과정에서 출력되는 벡터값이 비정상적으로 출력되는 경우가 있다. 여기서 제안된 알고리즘을 통해 모션 벡터값들의 특이치(Outlier) 를 검출하고 이를 교정하기 위한 분산값(Variance) 을 이용하여 모션 벡터 평활화 작업(Motion Vector Smoothing) 을 거친다. 이와 같이 제안된 알고리즘을 이용하여 실험한 결과값으로 프레임률 상향 변환 과정을 통해 상대적으로 계산의 복잡성은 낮으면서 양호한 PSNR 값이 출력됨을 확인할 수 있다.

• 한국산업정보학회논문지
• /
• 제24권1호
• /
• pp.1-12
• /
• 2019

본 논문에서는 영상의 프레임률을 증가시키기 위한 새로운 움직임 벡터 평활화 기법과 움직임 보상 기법에 대해 제안한다. 제안하는 움직임 벡터 평활화 방법은 적응적 가중 벡터 중간값 필터를 사용하는 기존 방법의 한계를 극복하기 위해 정확도를 반영하여 가중치를 개선함으로써 잘못된 움직임 평활화를 줄인다. 또한 기존 움직임 보상 기법인 OBMC로 보간된 영상의 화질을 향상시키기 위해 원래의 블록을 4등분하여 등분된 각 블록을 기준으로 움직임 벡터를 재추정하고 이를 통해 보간 프레임을 생성하는 방법을 제안하다. 모의실험 결과는 제안된 방법이 객관적 측면과 주관적 측면에서 기존 기법에 비해 우수한 화질을 제공할 수 있음을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권10호
• /
• pp.2448-2463
• /
• 2013

The traditional block-based motion compensation methods in frame rate up-conversion (FRUC) only use a single uniquely motion vector field. However, there will always be some mistakes in the motion vector field whether the advanced motion estimation (ME) and motion vector analysis (MA) algorithms are performed or not. Once the motion vector field has many mistakes, the quality of the interpolated frame is severely affected. In order to solve the problem, this paper proposes a novel joint overlapped block motion compensation method (8J-OBMC) which adopts motion vectors of the interpolated block and its 8-neighbor blocks to jointly interpolate the target block. Since the smoothness of motion filed makes the motion vectors of 8-neighbor blocks around the interpolated block quite close to the true motion vector of the interpolated block, the proposed compensation algorithm has the better fault-tolerant capability than traditional ones. Besides, the annoying blocking artifacts can also be effectively suppressed by using overlapped blocks. Experimental results show that the proposed method is not only robust to motion vectors estimated wrongly, but also can to reduce blocking artifacts in comparison with existing popular compensation methods.

• 방송공학회논문지
• /
• 제23권1호
• /
• pp.138-145
• /
• 2018

본 논문에서는 움직임 추정을 이용한 새로운 프레임 율 향상 변환 알고리듬을 제안한다. 제안 된 알고리듬은 더 정확한 움직임 벡터를 찾기 위해 움직임 추정 방법에서 오차의 분산을 추가적으로 이용한다. 그런 다음, 이웃 움직임 벡터들의 분산 및 현재 움직임 벡터와 이웃하는 평균 움직임 벡터 간의 분산을 사용하여 잘못 찾아진 움직임 벡터를 탐색한다. 탐색된 벡터들은 8 개의 이웃 움직임 벡터의 가중 합에 의해 수정된다. 또한, 보다 정확한 움직임 벡터를 찾고 동시에 계산 복잡도를 줄일 수 있는 적응적 탐색 영역 결정 알고리듬을 제안한다. 결과적으로, 제안하는 알고리듬은 기존의 알고리듬들에 비해 평균 최대 신호 대 잡음 비 (PSNR)와 구조적 유사도 (SSIM)을 각각 1.44dB 및 0.129까지 향상시켰다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.228-230
• /
• 2016

본 논문은 깊이 영상 기반의 렌더링 방식을 이용하는 다시점 영상 시스템에서 새로운 프레임율 변환(Frame Rate Up-Conversion, FRUC) 방식을 소개한다. 제안된 방식은 깊이 영상을 이용해 각각의 블록을 세부 영역으로 나누고, 주변 시점의 영상을 이용해 각각 세부 영역의 폐쇄 영역의 정보를 복원한다. 복원된 폐쇄 영역의 정보와 기존의 세부 영역의 정보를 이용해 움직임 예측 및 보상을 수행한다. 제안하는 방법은 폐쇄 영역이 발생하는 영역에서 기존의 방법보다 정확한 움직임 예측을 수행한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.947-949
• /
• 2015

본 논문은 기존의 시간적으로 이웃한 프레임 사이의 움직임을 추정 보상하여 새로운 프레임을 생성하는 프레임률 향상 기법 (frame rate up conversion)을 제안한다. 움직임 추정(Motion Estimation)을 통하여 계산된 움직임 벡터를 이용하여 프레임을 생성하며, 생성된 프레임에서 발생되는 구명 (hole)과 중첩 (overlap) 영역을 처리하는 기법을 제안한다. 특히 k-NN 보간법(k-nearest neighbor interpolation)[3]과 중간값을 적응적으로 활용하여 향상된 화질의 영상을 생성한다. 실험 결과를 통하여 제안하는 기술의 우수성을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1520-1522
• /
• 2015

본 논문은 기존의 시간적으로 이웃한 프레임 사이의 움직임을 추정 보상하여 새로운 프레임을 생성하는 프레임률 향상 기법 (frame rate up conversion)을 제안한다. 움직임 추정(Motion Estimation)을 통하여 계산된 움직임 벡터를 이용하여 프레임을 생성하며, 생성된 프레임에서 발생되는 구멍 (hole)과 중첩 (overlap) 영역을 처리하는 기법을 제안한다. 특히 k-NN 보간법(k-nearest neighbor interpolation)[3]과 중간값을 적응적으로 활용하여 향상된 화질의 영상을 생성한다. 실험 결과를 통하여 제안하는 기술의 우수성을 입증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.650-652
• /
• 2022

Frame rate up-conversion (FRUC) 알고리즘은 동영상의 프레임율을 향상시키는 영상 보간 기술이다. 이는 고화질 디지털 비디오 시스템에서 저프레임율 동영상으로 인한 화면 떨림이나 흐릿한 움직임 등의 문제를 해소하고 시청자에게 보다 자유롭고 매끄러운 시각 경험을 제공한다. 본 논문에서는 딥러닝 기반의 FRUC 알고리즘을 이용하여 동영상을 압축하는 기술을 제안한다. 제안 방법은 원시 동영상에서 일부 영상을 제외한 후 압축 및 전송하고, 복호화 과정에서 딥러닝 기반의 보간 방법을 이용하여 제외된 영상을 복원함으로써 고효율로 압축한다. 실험에서는 동영상을 1, 3장 단위로 건너뛰며 부호화한 후 복호된 영상과 FRUC 알고리즘에 의해 복원한 영상으로 압축 성능을 평가했다. 1장 및 3장씩 제외했을 때 실험결과는 평균 81.22%, 27.80% BD-rate 감소를 보였다. 3 장씩 제외하는 것이 1장의 제외에 비해 부호화 효율이 낮은 이유는 FRUC 방법으로 복원한 영상의 PSNR이 낮기 때문이다.

• 대한전자공학회논문지SP
• /
• 제46권3호
• /
• pp.28-36
• /
• 2009

본 논문은 비디오의 시간적 화질 향상을 위한 새로운 프레임율 증가 방법을 제안한다. 제안하는 방법에서는 계층적 움직임 추정 시에 탐색범위를 적응적으로 변환하는 방법을 이용하며, 움직임 보상 시 보간되지 않은 부분에 한하여 양방향 움직임 추정 및 보상과 선형 보간법을 수행한다. 부정확한 움직임 벡터 추정으로 인한 오류를 방지하기 위하여 신뢰도를 기반으로 탐색범위를 적응적으로 조절하며, 움직임 추정에 대한 신뢰도를 높이기 위하여 분산이 높은 블록 순으로 움직임 추정을 수행한다. 또한, 보간되지 않은 영역에서 배경과 객체를 분리한 후 배경인 영역에서는 선형보간법을 수행하고, 객체로 추정된 영역에서는 양방향 움직임 추정 방법을 이용하여 보간한다. 알고리즘의 성능을 평가하기 위하여 원본 프레임과 제안한 알고리즘을 이용하여 보간한 프레임 사이의 PSNR을 측정하였다. 그 결과, 화질이 기존 알고리즘보다 약 2dB 정도 개선되었으며, 블록화 현상과 몽롱화 현상이 감소한 것을 확인할 수 있었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권10호
• /
• pp.532-536
• /
• 2016

프레임율 상향 변환은 프레임 사이의 시간적 연속성을 고려하여 객체의 움직임을 예측, 이 정보를 토대로 가상의 프레임을 생성하는 기술이다. 프레임율 상향 변환은 양쪽 프레임의 평균값을 취하는 블렌딩 기반의 보간 방법을 사용하기 때문에 오추정된 모션 벡터는 품질이 낮은 보간 프레임들을 생성한다. 따라서, 전처리 혹은 후처리를 통해 품질을 높일 수 있게 하기 위해서, 품질이 낮은 보간 프레임들의 특성을 분석하여야 한다. 본 논문에서는 이런 특성을 파악하기 위해서 밝기값 히스토그램과 모션벡터의 상관성을 분석하였고, 이 피쳐들이 품질이 낮은 보간 프레임을 판단하는 근거가 될 수 있음을 밝기값 히스토그램의 카이제곱 검정방법과 모션 벡터의 공분산 차이의 절대값에 대한 실험 및 분석을 통해 파악하였다.