• 제목/요약/키워드: Video object segmentation

검색결과 20건 처리시간 0.16초

Higher-Order Conditional Random Field established with CNNs for Video Object Segmentation

  • Hao, Chuanyan;Wang, Yuqi;Jiang, Bo;Liu, Sijiang;Yang, Zhi-Xin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.15 no.9
    • /
    • pp.3204-3220
    • /
    • 2021
  • We perform the task of video object segmentation by incorporating a conditional random field (CRF) and convolutional neural networks (CNNs). Most methods employ a CRF to refine a coarse output from fully convolutional networks. Others treat the inference process of the CRF as a recurrent neural network and then combine CNNs and the CRF into an end-to-end model for video object segmentation. In contrast to these methods, we propose a novel higher-order CRF model to solve the problem of video object segmentation. Specifically, we use CNNs to establish a higher-order dependence among pixels, and this dependence can provide critical global information for a segmentation model to enhance the global consistency of segmentation. In general, the optimization of the higher-order energy is extremely difficult. To make the problem tractable, we decompose the higher-order energy into two parts by utilizing auxiliary variables and then solve it by using an iterative process. We conduct quantitative and qualitative analyses on multiple datasets, and the proposed method achieves competitive results.

Video Object Segmentation with Weakly Temporal Information

  • Zhang, Yikun;Yao, Rui;Jiang, Qingnan;Zhang, Changbin;Wang, Shi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.13 no.3
    • /
    • pp.1434-1449
    • /
    • 2019
  • Video object segmentation is a significant task in computer vision, but its performance is not very satisfactory. A method of video object segmentation using weakly temporal information is presented in this paper. Motivated by the phenomenon in reality that the motion of the object is a continuous and smooth process and the appearance of the object does not change much between adjacent frames in the video sequences, we use a feed-forward architecture with motion estimation to predict the mask of the current frame. We extend an additional mask channel for the previous frame segmentation result. The mask of the previous frame is treated as the input of the expanded channel after processing, and then we extract the temporal feature of the object and fuse it with other feature maps to generate the final mask. In addition, we introduce multi-mask guidance to improve the stability of the model. Moreover, we enhance segmentation performance by further training with the masks already obtained. Experiments show that our method achieves competitive results on DAVIS-2016 on single object segmentation compared to some state-of-the-art algorithms.

실시간 고압축 MPEG-4 부호화를 위한 비디오 객체 분할과 프레임 전처리 (Video object segmentation and frame preprocessing for real-time and high compression MPEG-4 encoding)

  • 김준기;이호석
    • 한국통신학회논문지
    • /
    • v.28 no.2C
    • /
    • pp.147-161
    • /
    • 2003
  • 비디오 객체 분할(Video Object Segmentation)은 MPEG-4 부호화의 핵심기술로 실시간 요구사항을 위해 빠르고 정확하여야 한다. 그러나 대부분의 존재하는 알고리즘은 계산량이 많으며 실시간 응용을 위해 적합하지 않다. 또한 이전 MPEG-4 VM(Verification Model) 기본 모델은 MPEG-4 부호화 처리를 위한 기본 알고리즘을 제공하였으나 실시간 요구사항을 위한 카메라 입력 시스템, 실용적인 소프트웨어 개발, 비디오 객체 분할 그리고 압축효율에 많은 제한이 있다. 이에 본 논문은 기본 MPEG-4 VM모델에 내용 기반 비디오 코딩의 핵심인 VOP 추출알고리즘, 실시간 카메라 입력 시스템, 압축율을 높일 수 있는 움직임 감지 알고리즘을 추가하여 최대 180:1의 압축율을 보여주는 실시간 고압축 MPEG-4 전처리 시스템을 개발하였다.

양방향 개인방송 서비스를 위한 동영상 객체분할 시스템의 구현 (Implementation of Video Object Segmentation System for Interactive Personal Broadcasting Service)

  • 유홍연;전도영;김민성;홍성훈
    • 대한전기학회:학술대회논문집
    • /
    • /
    • pp.17-19
    • /
    • 2007
  • This paper describe an interactive video object segmentation tool which can be used to generate MPEG-4 video object planes for multimedia broadcasting and enables content based functionalities. In order to apply these functionalities, each frame of video sequence should be represented in terms of video objects. Semiautomatic segmentation can be thought of as a user-assisted segmentation technique. A user can initially mark objects of interest around the real object boundaries. Then the user-guided and selected objects are continuously separated from the unselected areas though time evolution in the image sequences. We proposed method shows very promising result and this encourages the development of object based video editing system.

  • PDF

비선형 다중스케일 필터링을 사용한 비디오 객체 분할에 관한 연구 (A Study on Video Object Segmentation using Nonlinear Multiscale Filtering)

  • 이웅희;김태희;이규동;정동석
    • 한국통신학회논문지
    • /
    • v.28 no.10C
    • /
    • pp.1023-1032
    • /
    • 2003
  • MPEG-4와 같은 객체 기반 부호화는 멀티미디어 응용을 위한 다양한 내용 기반 기능들을 제공한다. 압축 효율의 향상과 더불어 이러한 기능들이 지원되도록 하기 위해서는 비디오 데이터의 각 프레임은 비디오 객체로 분할되어야 한다. 본 논문에서는 비선형 다중스케일 필터링과 시공간 정보를 사용한 효과적인 비디오 객체 분할 기법을 제안한다. 제안된 방법은 안정화된 역 확산 방정식(Stabilized Inverse Diffusion Equation : SIDE)에 기반한 비선형 다중스케일 필터링을 사용하여 공간적 분할을 수행한다. 또한 구해진 초기 분할된 영역들은 인접 영역 그래프 (Region Adjacency Graph : RAG)를 사용하여 병합된다. 본 논문에서는 통계적 유의성 검사(Statistical significance test)와 시변 메모리(Time-variant memory)를 시간적 분할 방법으로 사용하며 구해진 공간적 분할과 시간적 분할을 결합하여 최종 객체 영역을 효과적으로 분할한다. 본 논문에서 제안된 공간적 분할 방법은 기존의 형태학적 Watershed 알고리즘에 비해 잡음에 강인한 분할 특성을 나타내었으며 기존의 A. Neri의 방법과 비교하였을 때, 최종 분할된 객체 영역의 정확도 비율이 Akiyo는 43%, Claire는 29% 정도 향상됨을 확인할 수 있었다.

SOM 기반의 계층적 군집 방법을 이용한 계산 효율적 비디오 객체 분할 (Computation ally Efficient Video Object Segmentation using SOM-Based Hierarchical Clustering)

  • 정찬호;김경환
    • 대한전자공학회논문지SP
    • /
    • v.43 no.4
    • /
    • pp.74-86
    • /
    • 2006
  • 본 논문에서는 계산 효율적이고 노이즈에 강건한 비디오 객체 분할 알고리즘을 제안한다. 움직임 분할과 색 분할을 효율적으로 결합한 시공간 분할 방법의 구현을 위해 SOM 기반의 계층적 군집 방법을 도입하여 특징 벡터들의 군집 관점에서 분할 과정을 해석함으로써 기존의 객체 분할 방법에서 정확한 분할 결과를 얻기 위해서 요구되어지는 많은 연산량과 노이즈에 의한 시스템의 성능 저하 문제를 최소화한다. 움직임 분할 과정에서는 움직임 추정 에러에 의한 영향을 최소화하기 위해서 MRF 기반의 MAP 추정 방법을 이용하여 계산한 움직임 벡터의 신뢰도를 이용한다. 또한 움직임 분할의 성능 향상을 위해서 움직임 신뢰도 히스토그램을 이용한 노이즈 제거 과정을 거칠 뿐만 아니라 자동으로 장면 내에 존재하는 객체의 수를 구하기 위해서 군집 유효성 지표를 이용한다. 객체 추적의 성능 향상을 위해 교차 투영 기법을 이용하며, 분할 결과의 시간적 일관성 유지를 위해 동적 메모리를 이용한다. 다양한 특성을 가지는 비디오 시퀀스들을 이용한 실험을 통해 제안하는 방법이 계산 효율적이고 노이즈에 강건하게 비디오 객체 분할을 수행함은 물론 기존의 구현 방법에 비해 정확한 분할 결과를 얻을 수 있음을 확인하였다.

커널 밀도 추정과 시공간 일치성을 이용한 동영상 객체 분할 (Video Object Segmentation using Kernel Density Estimation and Spatio-temporal Coherence)

  • 안재균;김창수
    • 전기전자학회논문지
    • /
    • v.13 no.4
    • /
    • pp.1-7
    • /
    • 2009
  • 본 논문에서는 고정되지 않은 배경의 동영상에서 객체를 추출하는 방법을 제안한다. 제안하는 알고리즘은 추적에 기반을 둔 기법으로 크게 세 단계의 과정으로 이루어져 있다. 첫 번째 단계는 초기 분할로서, 사용자의 반응을 이용하여 첫 프레임의 분할 결과를 획득하는 과정이다. 초기 분할을 통해 획득된 결과 샘플은 커널 밀도 추정을 이용하여 각 매크로 블록별 컬러 확률 밀도 함수를 생성하는데 사용된다. 두 번째 단계에서는 각 프레임에 대해 이전 프레임의 경계 정보와 움직임 벡터를 이용하여 일치성 띠를 생성하고, 생성된 띠에 대한 시공간 확률을 추정한다. 마지막 단계에서는 각 픽셀별 컬러, 시공간, 스무드항의 합으로 구성된 에너지 함수를 최소화하여 최종 결과를 획득한다. 실험 결과를 통해서 본 논문에서 제안하는 기법이 정확한 분할 결과를 추출하는 지 다양한 테스트 영상을 통해 확인한다.

  • PDF

칼라/움직임 정보를 이용한 MPEG-4 비디오 객체 분할 설계 (A design of MPEG-4 video object segmentation using color/motion information)

  • 김준기;이호석
    • 한국정보과학회:학술대회논문집
    • /
    • /
    • pp.206-208
    • /
    • 2000
  • 본 논문은 칼라 정보와 움직임 정보를 이용한 객체 분할 기법의 설계에 대하여 소개한다. 객체 분할 알고리즘은 L*u*v 공간의 칼라 특성과 움직임 특성을 결합하여 설계하였다. 즉 공간 분할은 mean shift 칼라 클러스터링 알고리즘(color clustering algorithm)을 사용하여 중심 칼라 영역에 따라 동일한 칼라 지역으로 통합한다. 시간 분할은 움직임 검출을 위하여 affine six parameter 움직임 모델과 optical flow equation를 이용하여 움직임이 발생한 부분을 검출한다. 다음에 공간 분할과 시간 분할에 따라 결과를 통합하고 MAD(mean absolute difference)를 사용하여 객체를 추출하는 알고리즘을 설계하였다.

  • PDF

딥러닝 기반 동영상 객체 분할 기술 동향

  • 고영준
    • 방송과미디어
    • /
    • v.25 no.2
    • /
    • pp.44-51
    • /
    • 2020
  • 동영상 프레임 내 객체 영역들을 배경으로부터 분할하는 기술인 동영상 객체 분할(video object segmentation)은 다양한 컴퓨터 비전 분야에 활용 가능한 연구 분야이다. 최근, 동영상 객체 분할과 관련된 연구 내용으로 CVPR, ICCV, ECCV의 컴퓨터 비전 최우수 학회에 매년 20편 가까이 발표될 정도로 많은 관심을 받고 있다. 동영상 객체 분할은 사용자가 제공하는 정보에 따라 비지도(unsupervised) 동영상 객체 분할, 준지도(semi-supervised) 동영상 객체 분할, 인터렉티브(interactive) 동영상 객체 분할의 세 카테고리로 분류할 수 있다. 본 고에서는 최근 연구가 활발하게 수행되고 있는 비지도 동영상 객체 분할과 준지도 동영상 객체 분할 연구의 최신 동향에 대해 소개하고자 한다.

효과적인 임계값을 이용한 자동영상 분할 기법 (Automatic Video Object Segmentation Using Effective Thresholding)

  • 이지호;유홍연;홍성훈
    • 대한전자공학회:학술대회논문집
    • /
    • /
    • pp.1976-1979
    • /
    • 2003
  • 본 논문에서는 연속영상에서 잡음과 객체가 잘 분할되지 않는 환경 내에 있는 객체를 자동으로 분할하는 차영상 기반 알고리즘을 제안하였다. 기존의 차영상 기반의 단일 임계간을 이용한 방식에는 잡음에 크게 영향을 받고 배경과 객체가 비슷한 밝기 값을 가지는 경우 잘 추출되지 않는 많은 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하고자 임계값을 설정하는 영역을 축소하여 잡음간섭의 최소화를 구성하였고 축소된 영역 내의 윤곽선정보를 이용하여 배경 밝기 값의 유사함에서 나오는 간섭을 최소화함으로써 정밀한 객체를 추출할 수 있었다.

  • PDF