• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.334-336
• /
• 2015

본 논문은 다시점 영상에서 프레임율 변환 (Frame Rate Up Conversion, FRUC) 기법을 적용하는 방식에 대하여 서술한다. 먼저, 임의의 시점의 영상을 생성하기 위해서 사용되는 중간시점 영상합성 (View Synthesis, VS)기법과 연속되는 영상 사이에 새로운 영상을 만들어내는 프레임율 변환기법에 대하여 간략히 소개한다. 그리고, 기존의 프레임율 변환 방식과 다시점 영상의 특징을 이용한 프레임율 변환 방식을 소개하고 각각의 방식으로 생성한 영상의 화질을 비교한다.

• 전자공학회논문지
• /
• 제52권6호
• /
• pp.62-69
• /
• 2015

본 논문에서는 움직임 추정 기법을 적응적으로 사용하는 프레임율 증강 기법인 AME-FRUC (Adaptive Motion Estimation Frame Rate Up-Conversion)을 제안하고자 한다. 제안하는 알고리즘은 영상의 움직임이 적은 영역에서 기존의 EBME (Extended Bilateral Motion Estimation)을 활용하고, 움직임 벡터 정보를 활용하여 관심영역을 결정한다. 관심 영역에서는 제안하는 텍스쳐 정보에 기반한 블록 분할을 활용한 단방향 움직임 추정을 수행하도록 하여 정확도를 높였다. 최종적으로 MCFI (Motion Compensated Frame Interpolation)기법을 움직임 추정 방법에 따라 적용하고 보간 하여 중간 프레임을 생성 한다. 실험 결과를 통해 제안하는 알고리즘이 기존의 FRUC 알고리즘에 비해 최대 68% 적은 SAD 연산으로 3dB 높은 PSNR 성능과 0.07 더 높은 SSIM 성능을 보이는 것을 확인할 수 있다.

• 방송공학회논문지
• /
• 제21권4호
• /
• pp.472-483
• /
• 2016

본 논문에서는 MC-FRUC(Motion Compensated Frame Rate Up-Conversion) 에서 사용될 수 있는 주파수 영역에서의 블로킹 현상(blocking artifacts) 검출 알고리즘을 제안한다. MC-FRUC 알고리즘은 블록 단위로 움직임 벡터를 계산하여 움직임 보상을 수행함으로써 블록 경계선 주변에서 블로킹 현상이 발생할 수 있다. 본 논문에서는 효율적인 블로킹 현상 검출을 위해 보간된 영상(interpolated frame)의 주파수 성분을 분석하여 블록경계에서 블록킹 현상을 감소시킨다. 실험결과에서 제안된 알고리즘이 기존의 FRUC 방법보다 더 나은 주관적 화질을 보인다. 제안한 방법은 또한 기존의 BDMC(Bi-Directional Motion Compensation) 대비 평균 약 0.45 dB PSNR(Peak Signal to Noise Ratio)이 향상되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.927-929
• /
• 2011

본 논문에서는 FRUC(Frame Rate Up Conversion)에 사용되는 대표적인 움직임 보상 프레임 보간 기술들에 사용되는 블록 기반의 왜곡 예측기법에 대한 성능을 비교한다. 기존에 제안된 블록 기반의 움직임 보상 보간에 대한 왜곡 측정 기법들에 대한 각각 특징과 차이점에 대하여 조사하고, 각각의 독립적인 제어와 결합된 통합 제어에 의해 실제 왜곡을 효과적으로 예측하는 모델에 대해 논한다. 특히, 블록 기반의 시간축 정합특성, 공간적 정합특성, 이웃블록과의 움직임 벡터 유사성, 공간 주파수 특성 등으로 세분화하고, 컴퓨터 모의실험에 기초하여 성능을 비교한다. 본 논문에서 제시된 결과들은 FRUC 기법에 효과적으로 사용될 수 있을 뿐만 아니라, 분산 비디오 부호화 기법에 효과적으로 사용되어 성능개선을 이룰 수 있음을 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.650-652
• /
• 2022

Frame rate up-conversion (FRUC) 알고리즘은 동영상의 프레임율을 향상시키는 영상 보간 기술이다. 이는 고화질 디지털 비디오 시스템에서 저프레임율 동영상으로 인한 화면 떨림이나 흐릿한 움직임 등의 문제를 해소하고 시청자에게 보다 자유롭고 매끄러운 시각 경험을 제공한다. 본 논문에서는 딥러닝 기반의 FRUC 알고리즘을 이용하여 동영상을 압축하는 기술을 제안한다. 제안 방법은 원시 동영상에서 일부 영상을 제외한 후 압축 및 전송하고, 복호화 과정에서 딥러닝 기반의 보간 방법을 이용하여 제외된 영상을 복원함으로써 고효율로 압축한다. 실험에서는 동영상을 1, 3장 단위로 건너뛰며 부호화한 후 복호된 영상과 FRUC 알고리즘에 의해 복원한 영상으로 압축 성능을 평가했다. 1장 및 3장씩 제외했을 때 실험결과는 평균 81.22%, 27.80% BD-rate 감소를 보였다. 3 장씩 제외하는 것이 1장의 제외에 비해 부호화 효율이 낮은 이유는 FRUC 방법으로 복원한 영상의 PSNR이 낮기 때문이다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.164-166
• /
• 2012

최근 스마트 기기의 보급과 무선 인터넷망의 보급으로 언제 어디에서나 비디오를 시청할 수 있다. 하지만 무선 인터넷 망의 품질이 안좋을 경우 영상의 QoS(Quality of Service)를 낮춰 프레임을 스킵하여 전송하게 된다. 이 때 FRUC(Frame Rate Up Conversion)기술을 적용한다면 원본의 프레임 레이트를 확보할 수 있어 QoS를 높일 것으로 기대한다. FRUC에서 MV(Motion Vector)추정시에 연산량이 매우 높아서 스마트 기기에 적용하는 것이 어렵지만 H.264코덱으로 인코딩된 동영상은 자체적으로 MV정보를 갖고 있기 때문에 이 MV를 FRUC에 적용할 수 있다면 FRUC의 연산량을 줄일 수 있을 것이다. 이를 위해서 H.264에 적용된 ME(Motion Estimation)와 FRUC에 적용된 ME의 차이를 고려하여 H.264코덱의 MV가 유용한지 분석하는 것이 선행돼야 한다. 본 논문에서는 H.264 MV와 FRUC의 MV의 차이를 분석하고 유용성을 판단하는 실험을 통해 H.264로 인코딩 된 비디오의 MV중 상당수가 FRUC에 적합함을 확인했다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권10호
• /
• pp.532-536
• /
• 2016

프레임율 상향 변환은 프레임 사이의 시간적 연속성을 고려하여 객체의 움직임을 예측, 이 정보를 토대로 가상의 프레임을 생성하는 기술이다. 프레임율 상향 변환은 양쪽 프레임의 평균값을 취하는 블렌딩 기반의 보간 방법을 사용하기 때문에 오추정된 모션 벡터는 품질이 낮은 보간 프레임들을 생성한다. 따라서, 전처리 혹은 후처리를 통해 품질을 높일 수 있게 하기 위해서, 품질이 낮은 보간 프레임들의 특성을 분석하여야 한다. 본 논문에서는 이런 특성을 파악하기 위해서 밝기값 히스토그램과 모션벡터의 상관성을 분석하였고, 이 피쳐들이 품질이 낮은 보간 프레임을 판단하는 근거가 될 수 있음을 밝기값 히스토그램의 카이제곱 검정방법과 모션 벡터의 공분산 차이의 절대값에 대한 실험 및 분석을 통해 파악하였다.

• 한국통신학회논문지
• /
• 제35권9C호
• /
• pp.761-770
• /
• 2010

본 논문에서는 비트율의 증가와 동시에 주관적 화질의 향상을 얻을 수 있는 알고리듬인 Frame Rate Up-Conversion (FRUC)을 제안한다. 제안하는 알고리듬에서는 단방향이 아닌 양방향의 움직임 예측을 통해 신뢰도가 높은 블록을 탐색하여 두 장의 예비 프레임을 생성한다. 예비 프레임 생성과정에서는 설정된 임계값 보다 작은 경우를 제외한 나머지 영역에 대해서는 폐색 구간으로 설정하기 때문에 해당 구간에 대한 추가적인 보간 과정이 수행된다. 폐색 구간을 중심으로 이용 가능한 이웃하는 블록의 수를 고려하여 적응적으로 참조 라인을 설정하여 추가적인 재탐색 과정을 수행한다. 선택된 최적의 블록이 두 장의 예비 프레임에 모두 존재할 경우와 한 장에만 존재할 경우를 고려하여 선택적으로 보간한다. 본 논문에서는 제안하는 알고리듬의 성능을 입증하기 위해 기존에 제안되었던 알고리듬과의 PSNR 및 주관적 화질을 비교한다. 또한 실험 결과를 통해 기존의 알고리듬 보다 제안하는 알고리듬이 우수한 성능을 나타냄을 확인 할 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2012년도 추계학술대회
• /
• pp.867-869
• /
• 2012

FRUC(Frame Rate Up Conversion) 기법은 더욱 높은 품질의 단말기 또는 낮은 채널 전송율을 갖는 응용 시스템에서는 꼭 필요한 요소 기술이다. 본 논문에서는 이러한 응용분야를 위하여 양방향 대칭형 탐색에 기초한 FRUC 기법에서 생성된 움직임 보상 보간 프레임에 대하여 블록기반의 신뢰성을 평가하는 방법을 제안한다. 먼저 신뢰도를 측정할 수 있는 시간적 정합특성과 공간적 정합특성과 움직임 벡터의 균일성 분석을 통해 측정되는 비용함수를 도입하고, 비용 함수들의 조합을 통하여 실제 발생된 왜곡의 크기순과 매우 상관성이 높은 정렬 방식을 제안한다. 다양한 모의실험을 통하여 제안 방식은 높은 왜곡 블록을 찾는데 효과적임을 보인다. 또한, 제안방식은 FRUC기법과 더불어 분산 비디오 부호화 기술에도 효과적으로 활용될 수 있을 것으로 기대된다.

• Journal of information and communication convergence engineering
• /
• 제9권2호
• /
• pp.201-206
• /
• 2011

FRUC (Frame Rate Up-Conversion) technique needs an effective frame interpolation algorithm using motion information between adjacent neighboring frames. In order to have good visual qualities in the interpolated frames, it is necessary to develop an effective detection and interpolation algorithms for occluded regions. For this aim, this paper proposes an effective occluded region detection algorithm through the adaptive forward and backward motion searches and also by introducing the minimum value of normalized cross-correlation coefficient (NCCC). That is, the proposed scheme looks for the location with the minimum sum of absolute differences (SAD) and this value is compared to that of the location with the maximum value of NCCC based on the statistics of those relations. And, these results are compared with the size of motion vector and then the proposed algorithm decides whether the given block is the occluded region or not. Furthermore, once the occluded regions are classified, then this paper proposes an adaptive interpolation algorithm for occluded regions, which still exist in the merged frame, by using the neighboring pixel information and the available data in the occluded block. Computer simulations show that the proposed algorithm can effectively classify the occluded region, compared to the conventional SAD-based method and the performance of the proposed interpolation algorithm has better PSNR than the conventional algorithms.