• The Transactions of the Korea Information Processing Society
• /
• v.7 no.12
• /
• pp.3762-3774
• /
• 2000

The advances of computer hardware and information processing technologies raise the needs of multimedia information retrieval systems. Up to date. multimedia information systems have been developed for text information and image information. Nowadays. the multimedia information systems for video and audio information. especially for musical information have been grown up more and more. In recent music information retrieval systems. not only the information retrieval based on meta-information such like composer and title but also the content-based information retrieval is supported. The content-based information retrieval in music information retrieval systems utilize the similarity value between the user query and the music information stored in music database. In tbis paper. hence. we developed a similarity computation algorithm in which the pitches and lengths of each corresponding pair of notes are used as the fundamental factors for similarity computation between musical information. We also make an experiment of the proposed algorithm to validate its appropriateness. From the experimental results. the proposed similarity computation algorithm is shown to be able to correctly check whether two music files are analogous to each other or not based on melodies.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.43 no.2 s.308
• /
• pp.1-11
• /
• 2006

In this paper, we propose the novel video retrieval algorithm using non-parametric based motion classification in the shot-based video indexing structure. The proposed system firstly gets the key frame and motion information from each shot segmented by scene change detection method, and then extracts visual features and non-parametric based motion information from them. Finally, we construct real-time retrieval system supporting similarity comparison of these spatio-temporal features. After the normalized motion vector fields is created from MPEG compressed stream, the extraction of non-parametric based motion feature is effectively achieved by discretizing each normalized motion vectors into various angle bins, and considering a mean, a variance, and a direction of these bins. We use the edge-based spatial descriptor to extract the visual feature in key frames. Experimental evidence shows that our algorithm outperforms other video retrieval methods for image indexing and retrieval. To index the feature vectors, we use R*-tree structures.

• The KIPS Transactions:PartB
• /
• v.11B no.6
• /
• pp.701-708
• /
• 2004

Existing contents-based video retrieval systems search by using a single method such as annotation-based or feature-based retrieval. Hence, it not only shows low search efficiency, but also requires many efforts to provide system administrator or annotator with a perfect automatic processing. Tn this paper, we propose an agent-based, and automatic and unified semantics-based video retrieval system, which support various semantics-retrieval of the massive video data by integrating the feature-based retrieval and the annotation-based retrieval. The indexing agent embodies the semantics about annotation of extracted key frames by analyzing a fundamental query of a user and by selecting a key-frame image that is ed by a query. Also, a key frame selected by user takes a query image of the feature-based retrieval and the indexing agent searches and displays the most similar key-frame images after comparing query images with key frames in the database by using the color-multiple-partition histogram techniques. Furthermore, it is shown that the performance of the proposed system can be significantly improved.

• Journal of the Institute of Convergence Signal Processing
• /
• v.5 no.4
• /
• pp.294-300
• /
• 2004

According to the development of digital media technologies various algorithms for video clip matching have been proposed to match the video sequences efficiently. A large number of video search methods have focused on frame-wise query, whereas a relatively few algorithms have been presented for video clip matching or video shot matching. In this paper, we propose an efficient algorithm to index the video sequences and to retrieve the sequences for video clip query. To improve the accuracy and performance of video sequence matching, we employ the Cauchy function as a similarity measure between histograms of consecutive frames, which yields a high performance compared with conventional measures. The key frames extracted from segmented video shots can be used not only for video shot clustering but also for video sequence matching or browsing, where the key frame is defined by the frame that is significantly different from the previous frames. Experimental results with color video sequences show that the proposed method yields the high matching performance and accuracy with a low computational load compared with conventional algorithms.

• Journal of KIISE:Software and Applications
• /
• v.26 no.1
• /
• pp.52-65
• /
• 1999

이미지나 비디오, 오디오와 같이 멀티미디어 데이터들은 기존의 단순한 텍스트 기반의 데이터에 비하여 대용량적인 특성과 비정형적인 특성을 가지고 있어서 검색시 많은 어려움이 따른다. 본 논문에서는 대규모의 이미지 데이터베이스에서 효율적이고 신속하게 사용자가 원하는 이미지를 검색할수 있는 내용 기반 검색 시스템을 제시한다. 이를 위해서 본 논문에서는 최근 여러 장점으로 인하여 신호 분석이나 이미지 압축 분야에 많이 사용되는 웨이브릿 변환을 이용하여 이미지 데이터로부터 내용 기반 검색에 사용되는 특징 벡터를 효율적으로 추출하는 기법과 유사성 측정 방법을 제안한다. 그리고, 이러한 특징 추출방법과 유사성 측정 방법을 이용하여 내용 기반 질의 및 검색을 수행할 경우, 검색 조건을 만족하는 객체인데 실수로 검색해내지 못하는 경우인 false dismissals 이 발생하지 않음을 보인다. 또한 대규모 이미지 데이터베이스에서 신속한 내용 기반 검색을 지원하기 위하여 고차원 데이터에 대한 효율적인 색인을 제공하는 X-tree를 이용한 이미지 색인 방법을 보이며 이것이 기존의 순차 검색이나 R*-tree를 이용한 색인 방법보다 신속하게 이미지 데이터들을 검색할 수 있다는 것을 다양한 실험을 통해 보인다. 마지막으로 QBIC에서 제안한 검색 적합성 측정 방법을 이용하여 본 논문에서 제안하는 내용 기반 이미지 검색시스템의 검색 적합성을 보인다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.256-261
• /
• 2000

디지털 방송, 웹의 발전으로 내용 기반 검색, 비디오 인덱싱, 비디오 검색 등의 시스템들이 많이 연구, 개발되고 있으며, 이러한 시스템에서는 사람을 주제로 검색하는 요구가 많이 발생한다. 대부분의 얼굴 영역 추출 및 인식 시스템들은 질감, 모양, 움직임, 칼라 등의 특징들을 이용하는데, 이들 중 칼라 특징은 기존 시스템의 첫 번째 처리 단계에서 많이 사용된다. 하지만, 복잡한 배경, 조명, 화장(make up), 잡영들 때문에 미리 정의된 단일 칼라 임계값을 이용하여 얼굴 영역과 비 얼굴 영역으로 구분하면 정확한 추출 결과를 얻기 힘들다는 문제가 있다. 본 논문에서는, 점진적으로 피부색 영역을 확장시키면서 얼굴 영역을 추출하는 방법을 제안한다. 이때 확장 단계에서 얼굴 영역을 판단하기 위해, 일굴 각 기관들의 위치적 정보를 사용하였다. 얼굴 기관은 눈과 입을 사용했는데, 여러 가지 요인으로 인해 이들을 정확하게 추출하기가 어렵기 때문에, 각 단계에서 얼굴 후보 영역 내부의 수평 방향성을 가지는 경계를 눈과 입의 영역으로 간주했다. 실험을 통해, 제안한 방법이 하이라이트(highlight)에 의해 얼굴 영역의 일부가 왜곡된 경우와 얼굴 영역이 피부색과 유사한 배경에 인접해 있는 경우에 대해서도 강인하게 얼굴 영역을 추출할 수 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.347-350
• /
• 2007

멀티미디어 데이터 처리 요구가 증가함에 따라 이의 의미적 표현 및 검색에 관한 연구가 활발히 이루어지고 있다. 최근에는 특히 지식 기반의 온톨로지를 이용한 의미적 검색에 초점을 두고 있으며, 구축된 온톨로지를 기반으로 동의어 관계, 반의어 관계 등을 이용하여 질의 확장으로 활용되고 있다. 하지만 이들은 대부분 속성 관계 등을 고려하지 않을 뿐만 아니라 각 관계별 가중치를 고려하지 않고 있다. 이에 본 논문에서는 비디오의 의미적 특징들을 추출하여 온톨로지를 구축한 후 의미 기반 검색을 위하여 관계별 가중치를 고려한 유사성 측정을 제안하고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.8 no.6
• /
• pp.1175-1181
• /
• 2004

This paper proposes a system to analyze and summarize the video shots of baseball game TV program into fifteen categories. Our System consists of three modules: feature extraction, Hidden Markov Model (HMM) training, and video shot categorization. Video Shots belongs to the same class are not necessarily similar, so we require that the training set is large enough to include video shot with all possible variations to create a robust Hidden Markov Model. In the experiments, we have illustrated that our system can recognize the 15 different shot classes with a success ratio of 84.72%.

• Journal of KIISE:Software and Applications
• /
• v.26 no.12
• /
• pp.1519-1530
• /
• 1999

오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 멀티미디어 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 게다가 영상과 같은 비 문자형태의 데이타에 대한 사용자들의 내용기반 검색욕구 증가로 인해 비디오 인덱싱에 대한 관심은 더욱 고조되고 있다. 따라서 본 논문에서는 우선적으로 분할된 샷 경계면에서 추출된 대표 프레임과 정지 영상 데이타베이스로부터 유사 영상과 유사 대표 프레임을 검색할 수 있는 환경을 제공한다. 우선적으로 영상에 의한 질의는 기존에 주로 사용되어온 색상 히스토그램방식을 탈피하여 본 논문에서 제안하는 CS와 GS방식을 이용하여 색상 및 방향성 정보도 고려하도록 설계하였다. 또한 얼굴에 의한 질의는 대표 프레임으로부터 얼굴 영역을 추출해 내고 얼굴의 경계선 값 및 쌍 직교 웨이블릿 변환에 의해 얻어진 2개의 특징값을 이용하여 유사 인물이 포함된 대표 프레임을 검색해 내도록 설계하였다. Abstract There is a rapid increase in the use of digital video information in recent years, it becomes more important to manage multimedia databases efficiently. There is a big concern about video indexing because users require content-based image retrieval. In this paper, we first propose query-by-image system environment which allows to retrieve similar images from the chosen representative frames or images from the image databases. This algorithm considers not only the discretized color histogram but also the proposed directional information called CS & GS method. Finally, we designe another query environment using query-by-face. In this system , user selects a people in the representative frame browser and then system extracts a face region from that frame. After that system retrieves similar representative frames using 2 features, edge information and biorthogonal wavelet transform.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.143-147
• /
• 2006

오늘날 웹의 비약적인 성장으로 텍스트, 이미지, 비디오, 그리고 사운드 등의 다양한 데이터 형식의 많은 정보가 축적되었으며 날마다 늘어나고 있다. 이들 정보의 효율적 검색을 위해 많은 연구가 이루어졌으며, 특히 텍스트 문서의 효율적인 검색을 위해 확률을 이용한 방법, 통계적인 기법을 이용한 방법, 벡터 유사도를 이용한 방법, 베이지안 자동문서 분류 방법 등이 제안되었다. 그러나 이러한 기존의 방법들은 문서의 특징을 정확하게 반영할 수 없고, 의미적 검색이 이루어지지 않는 단점을 가지고 있다. 이에 본 논문은 문서를 미리 분류하는 기존의 방법을 개선하기 위해, 사용자가 원하는 문서와 비슷한 문서를 의미적으로 찾아내기 위한 방법을 제안한다. 본 방법론은 문서의 내용을 의미적인 계층으로 표현하고 중요 도메인에 가중치를 두어 각 문서들의 계층들의 도메인 비중과 도메인 내의 개념 일치도를 이용하여 문서들 간에 유사도를 구한다.