• 한국컴퓨터그래픽스학회논문지
• /
• 제30권3호
• /
• pp.99-107
• /
• 2024

기존에 존재하는 비디오 영역을 가로 혹은 세로로 확장하는 비디오 확장 기술에 대한 수요가 높아지고 있지만, 최신 기술로도 모든 비디오를 성공적으로 확장할 수는 없다. 따라서 비디오 확장을 시도하기 전에 해당 비디오가 잘 확장될 수 있을지 판단하는 것이 중요하다. 이를 통해 불필요한 컴퓨팅 자원 낭비를 줄일 수 있기 때문이다. 이 논문은 비디오가 수평 확장에 적합한지 판별하는 비디오 분류기를 제안한다. 이 분류기는 광학 흐름과 적응형 가우시안 블러 네트워크를 활용하여 흐름 기반 비디오 확장 방식에 적용할 수 있다. 학습을 위한 라벨링은 유저 테스트 및 정량적 평가를 거쳐 엄격하게 이루어졌다. 이렇게 라벨링된 데이터셋으로 학습한 결과, 주어진 비디오의 확장 가능성을 분류하는 네트워크를 개발할 수 있었다. 제안된 분류기는 광학 흐름과 적응형 가우시안 블러 네트워크를 통해 비디오의 특성을 효과적으로 포착함으로써, 단순히 원본 비디오나 고정된 블러만을 사용하는 경우보다 훨씬 정확한 분류 성능을 보였다. 이 분류기는 향후 다양한 분야에서 활용될 수 있으며, 특히 몰입감 있는 시청 경험을 위해 장면을 자동으로 확장하는 기술과 함께 사용될 수 있을 것으로 기대된다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권1호
• /
• pp.16-21
• /
• 2015

Most video services are transmitted in wireless networks. In a network environment, a packet of video is likely to be lost during transmission. For this reason, numerous error concealment (EC) algorithms have been proposed to combat channel errors. On the other hand, most existing algorithms cannot conceal the whole missing frame effectively. To resolve this problem, this paper proposes a new Adaptive Prediction Unit-based Motion Vector Extrapolation (APMVE) algorithm to restore the entire missing frame encoded by High Efficiency Video Coding (HEVC). In each missing HEVC frame, it uses the prediction unit (PU) information of the previous frame to adaptively decide the size of a basic unit for error concealment and to provide a more accurate estimation for the motion vector in that basic unit than can be achieved by any other conventional method. The simulation results showed that it is highly effective and significantly outperforms other existing frame recovery methods in terms of both objective and subjective quality.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.533-544
• /
• 2015

최근에 대부분의 비디오 서비스는 무선 네트워크를 통해서 전송된다. 하지만 무선 네트워크 환경에서 비디오 패킷은 전송되는 동안 오류에 노출되기 쉽다. 이러한 문제를 해결하기 위해 본 논문에서는 새로운 오류 은닉 (Error Concealment : EC) 알고리즘을 제안한다. 제안하는 알고리즘에서는 High Efficiency Video Coding (HEVC) 환경에서 시간적 상관도를 이용한 적응적인 예측 단위 기반의 움직임 벡터 외삽 (Adaptive Prediction Unit-based Motion Vector Extrapolation : APMVE)과 공간적 상관도를 이용한 경계 정합(Boundary Matching : BM) 알고리즘을 이용한다. APMVE는 시간적 상관도를 기반으로 손실 프레임 이전 프레임의 예측 단위(Prediction Unit : PU)를 이용하여 오류 은닉 기본 단위 (Error Concealment Basic Unit : ECBU)를 적응적으로 결정하고 BM은 공간적 상관도를 이용하여 비신뢰 블록 (Unreliable Block)들에 한하여 수행한다. 제안하는 알고리즘은 기존 알고리즘에서 나타나는 블록킹 열화를 효과적으로 제거하여 높은 주관적 화질을 보여준다.

• 한국통신학회논문지
• /
• 제36권4C호
• /
• pp.207-216
• /
• 2011

움직임 보상 외삽 기법은 움직임 보상 보간 기법에 비해서 과거의 프레임만 사용하기 때문에 성능은 다소 떨어지지만, 전송 중에 손상된 프레임의 복원 및 프레임율 증가 뿐 아니라 분산 동영상 부호화 시스템의 부가 정보 생성에도 활용될 수 있다. 본 논문에서는 다양한 움직임 보상 외삽 기법의 성능을 평가하고 순방향과 역방향 움직임 추정을 함께 이용한 효율적인 움직임 보상 외삽 기법을 제안한다. 제안하는 기법은 순방향과 역방향 움직임 추정을 통해 두 개의 프레임을 생성하여 두 프레임의 화소값의 평균을 현재 프레임으로 한다. 모의 실험 결과 제안하는 기법이 기존의 기법에 비해서 블록 현상이 감소하고 우수한 PSNR 성능을 보임을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.209-210
• /
• 2014

최근 인터넷 상에서 제공되는 영상 서비스에 대한 요구가 증가하고 있다. 하지만 네트워크 환경에서 전송되는 데이터는 오류로 인하여 쉽게 손실될 수 있다. 특히 HEVC(High Efficiency Video Coding)와 같이 높은 압축률로 압축된 정보에 대한 전송 오류는 영상 복원에 심각한 영향을 끼친다. 따라서 네트워크 환경에서 일정한 화질을 유지하기 위한 오류 은닉(Error Concealment : EC) 방법이 필요하다. 본 논문은 HEVC EC 를 위한 PU(Prediction Unit) 기반 움직임 벡터 외삽법(Motion Vector Extrapolation : MVE) 모델을 제안한다. PU 는 예측의 기본 단위로써 PU 내에 동일한 물체가 포함될 확률이 높다. 따라서, 이 모델은 손실된 프레임의 이전 프레임이 갖는 PU 정보를 이용하여 PU 단위로 외삽(extrapolation)을 실시한다. 또한, 손실된 블록과 외삽 블록간의 관계를 고려하여 겹쳐진(overlapped) 외삽 블록 중 가장 작은 PU 크기를 EC 기본 단위로 결정한다. 이 방법은 PU 정보를 반영함으로써 블록 경계 오류(block artifact)를 감소시킨다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권2호
• /
• pp.366-385
• /
• 2013

In this paper, we propose a compressed sensing (CS) based Wyner-Ziv (WZ) codec using motion-aligned auto regressive model (MAAR) based side information (SI) extrapolation to improve the compression performance of low-delay distributed video coding (DVC). In the CS based WZ codec, the WZ frame is divided into small blocks and CS measurements of each block are acquired at the encoder, and a specific CS reconstruction algorithm is proposed to correct errors in the SI using CS measurements at the decoder. In order to generate high quality SI, a MAAR model is introduced to improve the inaccurate motion field in auto regressive (AR) model, and the Tikhonov regularization on MAAR coefficients and overlapped block based interpolation are performed to reduce block effects and errors from over-fitting. Simulation experiments show that our proposed CS based WZ codec associated with MAAR based SI generation achieves better results compared to other SI extrapolation methods.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 ITC-CSCC -1
• /
• pp.670-673
• /
• 2002

This paper proposes a digital algorithm for gray-scale/color image segmentation of real-time video signals and a cell-network-based implementation architecture in state-of-the-art CMOS technology. Through extrapolation of design and simulation results we predict that about 300$\times$300 pixels can be integrated on a chip at 100nm CMOS technology, realizing very high-speed segmentation at about 1600sec per color image. Consequently real-time color-video segmentation will become possible in near future.

• 한국멀티미디어학회논문지
• /
• 제18권5호
• /
• pp.575-582
• /
• 2015

Obtaining the complete trajectory of the object is a very important task in computer vision applications, such as video surveillance. Previous studies to recover the trajectory between two disconnected trajectory segments, however, do not takes into account the object's motion characteristics and uncertainty of trajectory segments. In this paper, we present a novel approach to recover the trajectory between two disjoint but associated trajectory segments, called goal-directed tracking. To incorporate the object's motion characteristics and uncertainty, the goal-directed state equation is first introduced. Then the goal-directed tracking framework is constructed by integrating the equation to the object tracking and trajectory linking process pipeline. Evaluation on challenging dataset demonstrates that proposed method can accurately recover the missing trajectory between two disconnected trajectory segments as well as appropriately constrain a motion of the object to the its goal(or the target state) with uncertainty.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.24-27
• /
• 2010

움직임 보상 외삽 기법은 전송중 손상된 프레임의 복원 및 프레임율 증가 뿐 아니라 분산 동영상 부호화 시스템(distributed video coding:DVC)의 부가 정보(side information) 생성에도 활용될 수 있다. 본 논문에서는 기존의 다양한 움직임 보상 외삽기법의 성능을 평가하고 정방향과 역방향 움직임 예측을 함께 이용한 효율적인 움직임 보상 외삽 기법을 제안한다. 모의 실험결과 제안하는 기법이 기존의 기법에 비해서 우수한 성능을 보임을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.58-63
• /
• 2007

본 논문은 현미경이나 카메라 영상 등의 실시간 영상을 이용한 변형체(deformable object)의 햅틱 렌더링을 구현하는 방법에 관한 것이다. 이는 저속으로 변형하는 물체의 영상정보를 실시간으로 추출하여, 그에 대한 영상처리를 통해 변형과 이동에 대한 위치 정보를 제공함으로써 이루어진다. 물체에 변형이 가해지면 카메라를 통해 컴퓨터로 그 영상이 전송되며 얻어진 영상은 스네이크 알고리즘의 영상처리 과정을 거쳐 이차원 모델 구현을 위한 위치정보를 제공한다. 이 가상모델에 대한 햅틱 렌더링을 구현하여 햅틱장치에 힘 피드백을 주게 되며, 안정적인 햅틱 렌더링의 구현을 위해 보간법(interpolation) 및 보외법(extrapolation)을 적용하여 모델과 햅틱장치간의 샘플링 문제를 해결한다. 그래픽 렌더링 또한 구현하여 조작의 용이함을 제공한다.