• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 KOBA 방송기술 워크샵 KOBA Broadcasting Technology Workshop
• /
• pp.165.1-170
• /
• 1999

Object segmentation fro natural video scenes has recently become one of very active research to pics due to the object-based video coding standard MPEG-4. Object detection and isolation is also useful for object-based indexing and search of video content, which is a goal of the emerging new standard, MPEG-7. In this paper, an automatic segmentation method of moving objects in image sequence is presented which is applicable to multimedia content authoring for MPEG-4, and two different segmentation approaches suitable for surveillance applications are addressed in raw data domain and compressed bitstream domains. We also propose an object-based video description scheme based on object segmentation for video indexing purposes.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.17-19
• /
• 2007

This paper describe an interactive video object segmentation tool which can be used to generate MPEG-4 video object planes for multimedia broadcasting and enables content based functionalities. In order to apply these functionalities, each frame of video sequence should be represented in terms of video objects. Semiautomatic segmentation can be thought of as a user-assisted segmentation technique. A user can initially mark objects of interest around the real object boundaries. Then the user-guided and selected objects are continuously separated from the unselected areas though time evolution in the image sequences. We proposed method shows very promising result and this encourages the development of object based video editing system.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권3호
• /
• pp.1434-1449
• /
• 2019

Video object segmentation is a significant task in computer vision, but its performance is not very satisfactory. A method of video object segmentation using weakly temporal information is presented in this paper. Motivated by the phenomenon in reality that the motion of the object is a continuous and smooth process and the appearance of the object does not change much between adjacent frames in the video sequences, we use a feed-forward architecture with motion estimation to predict the mask of the current frame. We extend an additional mask channel for the previous frame segmentation result. The mask of the previous frame is treated as the input of the expanded channel after processing, and then we extract the temporal feature of the object and fuse it with other feature maps to generate the final mask. In addition, we introduce multi-mask guidance to improve the stability of the model. Moreover, we enhance segmentation performance by further training with the masks already obtained. Experiments show that our method achieves competitive results on DAVIS-2016 on single object segmentation compared to some state-of-the-art algorithms.

• 한국멀티미디어학회논문지
• /
• 제9권5호
• /
• pp.529-541
• /
• 2006

본 논문에서는 객체기반 비디오 부호화 또는 멀티미디어 편집을 위한 반지동 비디오 객체 분할방식을 제안한다. 반자동 객체분할은 사용자 지원에 의한 분할 방식으로, 비디오 시퀀스의 초기 프레임에서 사용자가 관심객체의 경계를 표시하고 이후의 영상 프레임의 객체를 배경으로부터 연속적으로 분리해 낸다. 제안된 방식은 부분적으로 사용자 조력에 의한 프레임내 분할과 완전 자동에 의한 프레임간 분할 처리과정으로 구성되는데, 영상 전체에 대해 연산을 수행하는 기존 방식과는 달리 객체 경계가 존재하는 영상영역 부분에서만 연산을 수행한다. 프레임내 분할은 사용자가 관심객체의 경계를 지정하고, 이 경계 주위 화소들의 유사성을 이용한 후처리에 의해 정확한 초기 객체를 구한다. 프레임간 분할에서는 이전 프레임에서 추출한 객체의 경계 정보에 근거하여 시간적 유사성을 구한 후 경계와 영역 추적에 의해 연속적으로 동영상 객체를 추출한다. 실험결과로부터 제안된 방식은 비디오 편집, 객체기반 비디오 압축 및 인덱싱 등의 멀미디어 응용에 사용 가능할 정도로 안정되고 정확한 객체추출을 수행함을 확인하였다. 이 결과를 바탕으로 다수의 편리한 기능을 포함한 비디오 편집시스템을 개발하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권9호
• /
• pp.3204-3220
• /
• 2021

We perform the task of video object segmentation by incorporating a conditional random field (CRF) and convolutional neural networks (CNNs). Most methods employ a CRF to refine a coarse output from fully convolutional networks. Others treat the inference process of the CRF as a recurrent neural network and then combine CNNs and the CRF into an end-to-end model for video object segmentation. In contrast to these methods, we propose a novel higher-order CRF model to solve the problem of video object segmentation. Specifically, we use CNNs to establish a higher-order dependence among pixels, and this dependence can provide critical global information for a segmentation model to enhance the global consistency of segmentation. In general, the optimization of the higher-order energy is extremely difficult. To make the problem tractable, we decompose the higher-order energy into two parts by utilizing auxiliary variables and then solve it by using an iterative process. We conduct quantitative and qualitative analyses on multiple datasets, and the proposed method achieves competitive results.

• 대한전자공학회논문지SP
• /
• 제40권1호
• /
• pp.51-62
• /
• 2003

본 논문에서는 분할기반 영상 부호화를 위한 새로운 영상 분할 알고리즘을 제안한다. 제안된 방법은 움직임과 밝기 정보에 기반한 새로운 유사성 척도를 사용한다. 그리고 하나의 분할 단계 내에 밝기와 움직임 정보가 함께 결합된다. 영상 분할은 분수령 알고리즘에 기반한 영역 확장법을 통해 이루처지며, 연속된 프레임에 대한 분할은 분할결과가 시간축으로 일관성을 유지하도록 추적방법을 통해 이루어진다. 모의실험결과, 제안된 방법이 통계적 척도만을 사용한 방법과는 달리, 물체의 경계를 결정하는데 효과적임을 보였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제8권4호
• /
• pp.430-441
• /
• 2002

비디오 객체 분할은 MPEG-4와 같은 객체기반 비디오 코딩을 위한 중요한 구성 요소이다. 본논문은 비디오 시퀸스에서 움직임 객체 분할을 위한 새로운 알고리즘과 VOP(Video Object Plane)추출 방법을 소개한다. 본 논문의 핵심은 시간적으로 변하는 움직임 객체 에지와 공간적 객체 에지 검출 결과를 효율적으로 조합하여 정확한 객체 경계를 추출하는 것이다. 이후 추출된 에지를 통하여 VOP를 생성한다. 본 알고리즘은 첫 번째 프레임을 기준영상으로 설정한 후 두 개의 연속된 프레임 사이의 움직임 픽셀 차이 값으로부터 시작된다. 차이영상을 추출한 후 차이영상에 Canny 에지 연산과 수리형태 녹임 연산(erosion)을 적용하고, 다음 프레임의 영상에 Canny 에지 연산과 수리형태 녹임 연산을 적용하여 두 프레임 사이의 에지 비교를 통하여 정확한 움직임 객체 경계를 추출한다. 이 과정에서 수리형태학 녹임 연산은 잘못된 객체 에지의 검출을 방지하는 작용을 한다. 두 영상 사이의 정확한 움직임 객체 에지(moving object edge)는 에지 크기를 조절하여 생성한다. 본 알고리즘은 픽셀 범위까지 고려한 정화한 객체의 경계를 얻음으로서 매우 쉬운 구현과 빠른 객체 추출을 보였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제1권3호
• /
• pp.125-132
• /
• 2012

This paper proposes an automatic object segmentation and background composition method for video communication over consumer mobile phones. The object regions were extracted based on the motion and color variance of the first two frames. To combine the motion and variance information, the Euclidean distance between the motion boundary pixel and the neighboring color variance edge pixels was calculated, and the nearest edge pixel was labeled to the object boundary. The labeling results were refined using the morphology for a more accurate and natural-looking boundary. The grow-cut segmentation algorithm begins in the expanded label map, where the inner and outer boundary belongs to the foreground and background, respectively. The segmented object region and a new background image stored a priori in the mobile phone was then composed. In the background composition process, the background motion was measured using the optical-flow, and the final result was synthesized by accurately locating the object region according to the motion information. This study can be considered an extended, improved version of the existing background composition algorithm by considering motion information in a video. The proposed segmentation algorithm reduces the computational complexity significantly by choosing the minimum resolution at each segmentation step. The experimental results showed that the proposed algorithm can generate a fast, accurate and natural-looking background composition.

• 한국통신학회논문지
• /
• 제28권2C호
• /
• pp.147-161
• /
• 2003

비디오 객체 분할(Video Object Segmentation)은 MPEG-4 부호화의 핵심기술로 실시간 요구사항을 위해 빠르고 정확하여야 한다. 그러나 대부분의 존재하는 알고리즘은 계산량이 많으며 실시간 응용을 위해 적합하지 않다. 또한 이전 MPEG-4 VM(Verification Model) 기본 모델은 MPEG-4 부호화 처리를 위한 기본 알고리즘을 제공하였으나 실시간 요구사항을 위한 카메라 입력 시스템, 실용적인 소프트웨어 개발, 비디오 객체 분할 그리고 압축효율에 많은 제한이 있다. 이에 본 논문은 기본 MPEG-4 VM모델에 내용 기반 비디오 코딩의 핵심인 VOP 추출알고리즘, 실시간 카메라 입력 시스템, 압축율을 높일 수 있는 움직임 감지 알고리즘을 추가하여 최대 180:1의 압축율을 보여주는 실시간 고압축 MPEG-4 전처리 시스템을 개발하였다.

• 대한전자공학회논문지SP
• /
• 제39권1호
• /
• pp.17-31
• /
• 2002

멀티미디어 표준안으로 제안된 MPEG-4는 객체기반 부호화 방식으로서, 객체를 효율적으로 분할하는 것은 MPEG-4에 있어 중요한 관건이다. 지금까지 이 분야에 대한 연구는 주로 rigid object를 대상으로 하였으나, 본 논문에서는 non-rigid object, 특히 구름이나 연기와 같은 non-rigid object를 대상으로 하여 효율적인 영역 분할 방식을 연구하였다. Non-rigid object는 모양이나 크기가 일정치 않으며 시간에 따라 형태도 변형되므로 정확히 분할해내는 것은 쉽지 않다. 따라서 본 논문에서는 이를 효율적으로 극복하기 위해 정지 영상에서는 watershed 알고리즘을 사용하여 non-rigid object를 분할해 주었다. 그리고 동영상에서는 intra-frame segmentation과 inter-frame segmentation을 통해 연속되는 프레임 내 관심 있는 객체의 경계선을 자동으로 추출해 주었다. 이 때 영상 내 경계 정보와 영역 정보 각각에 가중치를 두어 원하는 객체를 보다 정확히 추출해 주었다.