• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.41 no.5
• /
• pp.45-52
• /
• 2004

According tothe development of digital media technologies various algorithms for video sequence matching have been proposed to match the video sequences efficiently. A large number of video sequence matching methods have focused on frame-wise query, whereas a relatively few algorithms have been presented for video sequence matching or video shot matching. In this paper, we propose an efficientalgorithm to index the video sequences and to retrieve the sequences for video sequence query. To improve the accuracy and performance of video sequence matching, we employ the Cauchy function as a similarity measure between histograms of consecutive frames, which yields a high performance compared with conventional measures. The key frames extracted from segmented video shots can be used not only for video shot clustering but also for video sequence matching or browsing, where the key frame is defined by the frame that is significantly different from the previous fames. Several key frame extraction algorithms have been proposed, in which similar methods used for shot boundary detection were employed with proper similarity measures. In this paper, we propose the efficient algorithm to extract key frames using the cumulative Cauchy function measure and. compare its performance with that of conventional algorithms. Video sequence matching can be performed by evaluating the similarity between data sets of key frames. To improve the matching efficiency with the set of extracted key frames we employ the Cauchy function and the modified Hausdorff distance. Experimental results with several color video sequences show that the proposed method yields the high matching performance and accuracy with a low computational load compared with conventional algorithms.

• Proceedings of the IEEK Conference
• /
• 2001.06c
• /
• pp.141-144
• /
• 2001

In this paper, a new algorithm for extracting and recognizing characters from video, without pre-knowledge such as font, color, size of character, is proposed. To improve the recognition rate for videos with complex background at low resolution, continuous frames with identical text region are automatically detected to compose an average frame. Using boundary pixels of a text region as seeds, we apply region filling to remove background from the character Then color clustering is applied to remove remaining backgrounds according to the verification of region filling process. Features such as white run and zero-one transition from the center, are extracted from unknown characters. These feature are compared with a pre-composed character feature set to recognize the characters.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.337-340
• /
• 2001

본 논문에서는 MPEG가 비디오 스트림의 형상 정보를 클러스터링 하여 VO(Visual Object)의 동작을 요약하는 새로운 방법을 제안한다. 제안하는 방법은 MPEG-4 비트 스트림의 디코딩 없이 형상 정보를 근사화 한다. 그리고 사용자가 입력한 질의 VOP(Video Object Plane)와 VO의 각 VOP와의 NMHD(Normalized Mean Hausdorff Distance)를 구한 후 클러스터링을 수행하여 키 영역을 분리해낸다. 클러스터링에 의해 시간적으로 분리된 영역의 지속성을 고려하여 Rank를 매김으로써 사용자가 원하는 수의 키 VOP를 선택할 수 있게 한다. 제안하는 방법은 클러스터링을 사용함으로써 키 VOP를 선정하였으며, Rank와 질의 VOP를 사용하여 사용자와의 상호작용이 가능하다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.73-76
• /
• 2002

비디오 시청을 원하는 사용자들은 비디오의 전반적인 개요를 짧은 시간에 시청하여 보고싶은 비디오를 쉽게 선택하기를 바란다. 본 논문에서는 전환 검출 방법과 샷 클러스터링을 이용한 비디오 개요 추출 방법을 제시한다. 장면전환 검출 방법은 컬러 히스토그램과 χ2 히스토그램을 합성한 방법을 이용하여 추출하도록 한다. 클러스터링은 히스토그램의 차이값을 측정과 샷 병합 알고리즘을 통해 수행하도록 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.481-483
• /
• 2001

본 논문에서는 동영상으로부터 색상, 서체, 크기와 같은 사전 지식 없이도 글자/자막을 효율적으로 추출하는 방법을 제안한다. 해상도가 낮고 복잡한 배경을 포함할 수 있는 비디오에서 글자 인식률 향상을 위해 먼저 동일한 텍스트 영역의 존재하는 프레임들을 자동적으로 추출한 후 이들의 시간적 평균영상을 만들어 향상된 영상을 얻는다. 평균영상의 외각선 영상의 투영 값을 통해 문자영역을 찾고 각 텍스트 영역에 대해 1차 배경제거 과정인 region filling을 적용하여 글자의 배경들을 제거 함으로써 글자를 추출한다. 1차 배경제거의 결과를 검증하고 추가적으로 k-means를 이용한 color clustering을 적용하여 남아있는 배경들을 효율적으로 제거 함으로써 최종 글자영상을 추출한다.

• Proceedings of the IEEK Conference
• /
• 2002.06d
• /
• pp.141-144
• /
• 2002

This paper describes a new feature based tracking system that can track moving objects with a pan-tilt camera. We extract corner features of the scene and tracks the features using filtering, The global motion energy caused by camera movement is eliminated by finding the maximal matching position between consecutive frames using Pyramidal template matching. The region of moving object is segmented by clustering the motion trajectories and command the pan-tilt controller to follow the object such that the object will always lie at the center of the camera. The proposed system has demonstrated good performance for several video sequences.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2002.11a
• /
• pp.583-587
• /
• 2002

비디오를 시청하기 위하여 원하는 비디오를 선택하고자 할 때 사용자들은 비디오의 전반적인 내용을 알 수 있는 방법이 많지 않다. 따라서 비디오 시청을 원하는 사용자들에게 비디오의 전반적인 개요를 보여주어 선택 할 수 있는 방법이 요구된다. 본 논문에서는 전환 검출 방법과 샷 클러스터링을 이용한 비디오 개요 추출 방법을 제시한다. 장면전환 검출 방법은 컬러 히스토그램과 $\times$2 히스토그램을 합성한 방법을 이용하여 추출하도록 한다. 클러스터링은 히스토그램의 차이값을 측정과 샷 병합 알고리즘을 통해 수행하도록 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.206-208
• /
• 2000

본 논문은 칼라 정보와 움직임 정보를 이용한 객체 분할 기법의 설계에 대하여 소개한다. 객체 분할 알고리즘은 L*u*v 공간의 칼라 특성과 움직임 특성을 결합하여 설계하였다. 즉 공간 분할은 mean shift 칼라 클러스터링 알고리즘(color clustering algorithm)을 사용하여 중심 칼라 영역에 따라 동일한 칼라 지역으로 통합한다. 시간 분할은 움직임 검출을 위하여 affine six parameter 움직임 모델과 optical flow equation를 이용하여 움직임이 발생한 부분을 검출한다. 다음에 공간 분할과 시간 분할에 따라 결과를 통합하고 MAD(mean absolute difference)를 사용하여 객체를 추출하는 알고리즘을 설계하였다.

• Smart Media Journal
• /
• v.9 no.1
• /
• pp.23-29
• /
• 2020

This paper presents an approach for dynamic hand gesture recognition by using algorithm based on 3D Convolutional Neural Network (3D_CNN), which is later extended to 3D Residual Networks (3D_ResNet), and the neural network based key frame selection. Typically, 3D deep neural network is used to classify gestures from the input of image frames, randomly sampled from a video data. In this work, to improve the classification performance, we employ key frames which represent the overall video, as the input of the classification network. The key frames are extracted by SegNet instead of conventional clustering algorithms for video summarization (VSUMM) which require heavy computation. By using a deep neural network, key frame selection can be performed in a real-time system. Experiments are conducted using 3D convolutional kernels such as 3D_CNN, Inflated 3D_CNN (I3D) and 3D_ResNet for gesture classification. Our algorithm achieved up to 97.8% of classification accuracy on the Cambridge gesture dataset. The experimental results show that the proposed approach is efficient and outperforms existing methods.

• Annual Conference of KIPS
• /
• 2009.04a
• /
• pp.35-38
• /
• 2009

The paper presents an effective method to detect fire in video surveillance and monitoring system. The main contribution of this work is that we successfully use the Hidden Markov Models in the process of detecting the fire with a few preprocessing steps. First, the moving pixels detected from image difference, the color values obtained from the fire flames, and their pixels clustering are applied to obtain the image regions labeled as fire candidates; secondly, utilizing massive training data, including fire videos and non-fire videos, creates the Hidden Markov Models of fire and non-fire, which are used to make the final decision that whether the frame of the real-time video has fire or not in both temporal and spatial analysis. Experimental results demonstrate that it is not only robust but also has a very low false alarm rate, furthermore, on the ground that the HMM training which takes up the most time of our whole procedure is off-line calculated, the real-time detection and alarm can be well implemented when compared with the other existing methods.