• Journal of the Korean Data and Information Science Society
• /
• 제15권4호
• /
• pp.891-898
• /
• 2004

An effective video indexing is required to manipulate large video databases. Most algorithms for video indexing have been commonly used histograms, edges, or motion features. In this paper, we propose an efficient algorithm using the luminance projection for video retrieval. To effectively index the video sequences and to reduce the computational complexity, we use the key frames extracted by the cumulative measure, and compare the set of key frames using the modified Hausdorff distance. Experimental results show that the proposed video indexing and video retrieval algorithm yields the higher accuracy and performance than the conventional algorithm.

• 스마트미디어저널
• /
• 제9권1호
• /
• pp.23-29
• /
• 2020

This paper presents an approach for dynamic hand gesture recognition by using algorithm based on 3D Convolutional Neural Network (3D_CNN), which is later extended to 3D Residual Networks (3D_ResNet), and the neural network based key frame selection. Typically, 3D deep neural network is used to classify gestures from the input of image frames, randomly sampled from a video data. In this work, to improve the classification performance, we employ key frames which represent the overall video, as the input of the classification network. The key frames are extracted by SegNet instead of conventional clustering algorithms for video summarization (VSUMM) which require heavy computation. By using a deep neural network, key frame selection can be performed in a real-time system. Experiments are conducted using 3D convolutional kernels such as 3D_CNN, Inflated 3D_CNN (I3D) and 3D_ResNet for gesture classification. Our algorithm achieved up to 97.8% of classification accuracy on the Cambridge gesture dataset. The experimental results show that the proposed approach is efficient and outperforms existing methods.

• International journal of advanced smart convergence
• /
• 제5권4호
• /
• pp.1-9
• /
• 2016

In order to reconstruct a 3D model in video sequences, to select key frames that are easy to estimate a geometric model is essential. This paper proposes a method to easily extract informative frames from a handheld video. The method combines selection criteria based on appropriate-baseline determination between frames, frame jumping for fast searching in the video, geometric robust information criterion (GRIC) scores for the frame-to-frame homography and fundamental matrix, and blurry-frame removal. Through experiments with videos taken in indoor space, the proposed method shows creating a more robust 3D point cloud than existing methods, even in the presence of motion blur and degenerate motions.

• 한국통신학회논문지
• /
• 제30권8C호
• /
• pp.775-782
• /
• 2005

비교정 연속영상(uncalibrated sequence images)에서의 조밀한 데이터로부터 3차원 재구성할 경우, 대량의 대응점 탐색 문제 및 계산시간 문제에 봉착한다. 본 논문에서는 이에 대한 대응책으로, 비교정 영상에서 중요영상 선택법을 제안하고, 이를 이용해 최소한의 영상으로 효율적인 3차원 재구성하는 새로운 방법을 제안한다. 즉 입력된 영상에서 소수만의 영상을 이용해서 작업을 수행하게 된다. 선택된 중요영상에서 대응점을 선택한다. 선택된 대응점은 카메라 교정을 수행하는데 이용된다. 외곽선 이미지를 이용하여 조밀한 형태의 대응점을 추출한다. 조밀한 대응점을 찾기 위한 제안된 알고리즘은 3차원 구조 복원을 효과적으로 수행하는데 이용된다.

• 한국컴퓨터정보학회논문지
• /
• 제17권12호
• /
• pp.95-100
• /
• 2012

본 논문에서는 불법한 유형력의 행사인 폭행에 대해 그 의미를 알아보았다. 또한 폭행에 동반되는 물리적인 행사인 폭력에 대해서도 알아보았다. 현재 승강기 내에서 수많은 범죄들이 발생하고 있다. 본 논문은 승강기 내에서 발생하는 폭행과 폭력을 추출하는 방법을 제시하도록 한다. 장면 전환 검출 방법 중의 하나인 컬러히스토그램 기법을 사용하여 키 프레임을 추출한다. 이렇게 추출된 키 프레임들은 영상 포렌식에서 범죄 현장을 담은 장면의 키 프레임이 된다. 또한 이 장면의 키 프레임들은 포렌식 증거 자료로 제출하도록 한다.

• ETRI Journal
• /
• 제34권2호
• /
• pp.190-198
• /
• 2012

An adaptive correlation noise model (CNM) construction algorithm is proposed in this paper to increase the efficiency of parity bits for correcting errors of the side information in transform domain Wyner-Ziv (WZ) video coding. The proposed algorithm introduces two techniques to improve the accuracy of the CNM. First, it calculates the mean of direct current (DC) coefficients of the original WZ frame at the encoder and uses it to assist the decoder to calculate the CNM parameters. Second, by considering the statistical property of the transform domain correlation noise and the motion characteristic of the frame, the algorithm adaptively models the DC coefficients of the correlation noise with the Gaussian distribution for the low motion frames and the Laplacian distribution for the high motion frames, respectively. With these techniques, the proposed algorithm is able to make a more accurate approximation to the real distribution of the correlation noise at the expense of a very slight increment to the coding complexity. The simulation results show that the proposed algorithm can improve the average peak signal-to-noise ratio of the decoded WZ frames by 0.5 dB to 1.5 dB.

• Steel and Composite Structures
• /
• 제33권5호
• /
• pp.641-652
• /
• 2019

This paper investigates the effect of aftershocks on the seismic performance of self-centering (SC) prestressed concrete frames using the probabilistic seismic demand analysis methodology. For this purpose, a 4-story SC concrete frame and a conventional reinforced concrete (RC) frame are designed and numerically analyzed through nonlinear dynamic analyses based on a set of as-recorded mainshock-aftershock seismic sequences. The peak and residual story drifts are selected as the demand parameters. The probabilistic seismic demand models of the SC and RC frames are compared, and the SC frame is found to have less dispersion of peak and residual story drifts. The results of drift demand hazard analyses reveal that the SC frame experiences lower peak story drift hazards and significantly reduced residual story drift hazards than the RC frame when subjected to the mainshocks only or the mainshock-aftershock sequences, which demonstrates the advantages of the SC frame over the RC frame. For both the SC and RC frames, the influence of as-recorded aftershocks on the drift demand hazards is small. It is shown that artificial aftershocks can produce notably increased drift demand hazards of the RC frame, while the incremental effect of artificial aftershocks on the drift demand hazards of the SC frame is much smaller. It is also found that aftershock polarity does not influence the drift demand hazards of both the SC and RC frames.

• 전자공학회논문지CI
• /
• 제38권5호
• /
• pp.58-64
• /
• 2001

현재 많은 정보들이 비디오 데이터로 전송 또는 저장되고 있으며 고성능 PC의 보급과 internet과 같은 통신망의 대중화로 이런 비디오 데이터는 급속도로 증가하고 있다. 본 논문에서는 이런 비디오 데이터의 검색을 위하여 비디오 스트립을 분석하여 shot을 찾아내고 이들 중 key frame을 찾는 방법에 대하여 연구하고 이로서 사용자의 질의에 부합하는 비디오를 검색한다. 본 논문에서는 shot 경계 검출을 위해 객체의 움직임에 강인하면서 shot 내에서의 칼라의 변화에 둔감한 새로운 feature를 제안하고, shot frame에서 구한 각 feature들의 통계적 특성을 이용하여 스트립의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간 변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 비디오 스트림에서 각각 가장 특정적인 frame과 평균적인 frame을 나타낸다. 이 순간의 short frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원 영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고, 사용자가 질의한 영상에 대해서 이들 parameter를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다. 실험결과 일반적인 방법보다 더 나은 결과를 보였고, 높은 검색율을 보였다.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.897-905
• /
• 2022

비디오 영상 내 주요 프레임(Key Frame) 검출은 컴퓨터 비전 분야에서 꾸준히 연구되고 있는 분야 중 하나이다. 최근 심층학습(Deep Learning) 기술의 발전으로 비디오 영상에서의 주요 프레임 검출 성능이 향상 되었으나, 다양한 종류의 영상 콘텐츠 및 복잡한 배경으로 인해 여전히 효과적인 학습이 어려운 문제점이 있다. 본 논문에서는 대조적 학습(Contrastive Learning)과 메모리 뱅크(Memory Bank)를 통해 영상의 주요 프레임을 검출하는 새로운 방법을 제안한다. 제안하는 방법은 입력 프레임과 같은 영상 내 이웃하는 프레임 간 차이와 다른 영상 내 프레임과의 차이를 기반으로 특징 추출 신경망을 학습한다. 이와 같은 대조적 학습을 통해 메모리 뱅크에 주요 프레임을 저장 및 갱신하여 영상의 중복성을 효과적으로 제거한다. 비디오 영상 데이터셋에서의 실험 결과를 통해 제안하는 방법의 성능을 검증하였다.

• 대한전자공학회논문지SP
• /
• 제41권5호
• /
• pp.45-52
• /
• 2004

디지털 미디어의 증가로 비디오 시퀀스를 효율적으로 정합하기 위한 다양한 알고리즘이 제안되었다 기존의 비디오 검색 알고리즘에서는 주로 프레임 단위의 질의에 관한 검색 알고리즘이 연구되었으나 비디오 시퀀스 단위의 질의에 관한 정합 알고리즘 연구는 미진하였다. 본 논문에서는 비디오 시퀀스 질의에 관한 효율적인 비디오 색인과 검색 알고리즘을 제안한다. 시퀀스 정합의 정확도와 성능 향상을 위하여 연속되는 프레임의 히스토그램간의 유사도 함수로 커쉬함수를 사용하였으며 기존의 방법에 비해 높은 성능을 나타내었다. 비디오 샷들로부터 추출된 키프레임들은 샷묶음 뿐만 아니라 비디오 시퀀스 정합이나 브라우징에도 사용되며 여기서 키프레임은 이전 프레임들과 중요한 차이를 보이는 프레임을 나타낸다. 몇가지 키프레임 알고리즘이 제안되었고 적절한 유사도 측정을 통해 샷경계 검출과 유사한 방법으로 키프레임 추출이 가능하다. 본 논문에서는 누적된 커쉬함수를 사용하여 효과적으로 키프레임을 추출하는 알고리즘을 제안하고 기존의 방법들과의 성능을 비교한다. 비디오 시퀀스 정합은 키프레임간의 유사도 측정에 의해 수행될 수 있다 본 논문에서는 추출된 키프레임의 정합 효율을 향상 시키기 위하여 커쉬함수와 하우스도르프 거리를 사용하였다. 몇가지 실험 영상을 이용한 실험결과 제안한 방법은 기존의 방법에 비해적은 계산량으로 높은 정합 성능을 보였다.