• 정보기술과데이타베이스저널
• /
• 제6권2호
• /
• pp.19-28
• /
• 1999

Digital image and video libraries require new algorithms for the automated extraction and indexing of salient image features. Eigen values of an image provide one important cue for the discrimination of image content. In this paper we propose a new approach for automated content extraction that allows efficient database searching using eigen values. The algorithm automatically extracts eigen values from the image matrix represented by the covariance matrix for the image. We demonstrate that the eigen values representing shape information and the skewness of its distribution representing complexity provide good performance in image query response time while providing effective discriminability. We present the eigen value extraction and indexing techniques. We test the proposed algorithm of searching by eigen value and its skewness on a database of 100 images.

• 전자공학회논문지CI
• /
• 제38권5호
• /
• pp.58-64
• /
• 2001

현재 많은 정보들이 비디오 데이터로 전송 또는 저장되고 있으며 고성능 PC의 보급과 internet과 같은 통신망의 대중화로 이런 비디오 데이터는 급속도로 증가하고 있다. 본 논문에서는 이런 비디오 데이터의 검색을 위하여 비디오 스트립을 분석하여 shot을 찾아내고 이들 중 key frame을 찾는 방법에 대하여 연구하고 이로서 사용자의 질의에 부합하는 비디오를 검색한다. 본 논문에서는 shot 경계 검출을 위해 객체의 움직임에 강인하면서 shot 내에서의 칼라의 변화에 둔감한 새로운 feature를 제안하고, shot frame에서 구한 각 feature들의 통계적 특성을 이용하여 스트립의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간 변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 비디오 스트림에서 각각 가장 특정적인 frame과 평균적인 frame을 나타낸다. 이 순간의 short frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원 영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고, 사용자가 질의한 영상에 대해서 이들 parameter를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다. 실험결과 일반적인 방법보다 더 나은 결과를 보였고, 높은 검색율을 보였다.

• 융합신호처리학회논문지
• /
• 제4권2호
• /
• pp.25-30
• /
• 2003

최근 들어 디지털 기술의 발전은 문자, 음성, 화상, 비디오 등과 같은 멀티미디어 정보가 매우 큰 비중을 차지하고 있다 이들 중에서 비디오와 관련된 연구로는 비디오 색인 및 검색에 관한 연구가 많이 진행되고 있다. 본 논문에서는 MPEG으로 압축된 비디오 분할을 위한 새로운 알고리즘을 제안한다. Shot 검출 즉 장면전환 검출은 MPEG 비디오 시퀀스에서 분할하는 가장 기본적이면서 중요한 작업이며 비디오 색인 및 검색을 위한 첫 번째 단계이다. 일반적으로 많이 사용되는 분할 알고리즘은 이전 프레임과 현재 프레임을 비교하기 때문에 물체의 빠른 움직임이나 카메라의 움직임, 카메라 후레쉬의 섬광 등 화면 변화에 따라 오검출이 생기는 단점이 있었다 따라서 본 논문에서는 기존 알고리즘에 검출한 장면전환 지점을 사용하여 이웃 프레임들과의 특징차 비교를 통하여 한번 더 판별하였다. 실험 결과 기존 알고리즘 보다 정확한 장면전환 검출을 할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권5호
• /
• pp.510-520
• /
• 2000

내용 기반의 비디오 인덱싱 및 검색을 위해서는 비디오 데이타를 셧(shot)으로 분할하고, 또 각 셧을 나타내는 대표 프레임을 선택하는 것이 필요하다. 하지만, 대표 프레임을 선택하는 것은 주관적이어서 일관되게 자동적으로 대표 프레임을 선택하는 것은 쉬운 문제가 아니다. 본 논문에서는 각 프레임에서의 영역을 바탕으로한 컨텐트 정보 및 시간 축 상의 변화를 이용하여 계층적으로 대표 프레임을 선택하는 방법을 제안한다. 먼저, 비디오 셧에서 카메라 모션을 검출하여 이에 따라 비디오 셧을 분류한다. 다음, 분류된 비디오 셧에 컨텐트의 중요도를 계산하기 위한 퍼지 규칙을 적용하여 대표 프레임을 선택한다. 끝으로, 선택되는 대표 프레임의 수는 브라우징 상세도(detailness)에 따라 계층적으로 선택되게끔 한다.

• 방송공학회논문지
• /
• 제13권4호
• /
• pp.544-553
• /
• 2008

최근 영상 편집 기술의 발달과 더불어 시청자의 이해를 돕기 위해 인위적으로 자막을 삽입하는 경우가 늘고 있다. 인위적으로 삽입된 자막은 해당 장면의 내용이나 편집자의 의도를 잘 표현하고 있기 때문에 비디오 정보 검색(video information retrieval)이나 비디오 색인(video indexing)과 같은 응용에 유용하다. 기존의 자막 영역 추출 방법은 에지(edge), 색상(color), 텍스처(texture) 정보와 같은 하위 계층(low-level) 특징을 기반으로 하기 때문에 다양한 필체나 밝기 대비를 가진 자막이 동시에 나타나거나 복잡한 배경에 포함된 자막 영역의 경우 잘 검출하지 못한다. 이에 본 논문은 기존의 방법과는 전혀 다른 천이 영역 기반의 새로운 영상 내 자막 영역 검출 기법을 제안하고자 한다. 먼저, 영상 내 삽입된 글자 주변은 시청자에게 영상으로부터의 높이 감을 주기 위해 해당 글자와 다른 색으로 표현된다는 관찰 결과를 바탕으로 천이 지도를 생성한다. 생성된 천이 지도를 이용하여 후보 영역을 추출하고 상태 밀도 개념을 바탕으로 후보 영역 중에서 삽입된 자막 영역을 추출한다. 제안하는 알고리즘은 글자 색, 크기, 위치, 필체, 밝기 대비에 관계없이 적용이 가능하며, 다양한 언어에 관계없이 뛰어난 성능을 보인다. 또한, 프레임 간 자막 영역 업데이트를 통해 자막 영역 추출의 효율을 높였다. 다양한 영상에 대한 실험을 통해 제안하는 알고리즘이 효율적인 비디오 자막 영역 추출 방법임을 보이고자 한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권4호
• /
• pp.235-247
• /
• 2002

디지털 비디오 영상을 효과적으로 색인하고 검색하기 위해서 비디오의 내용을 함축적으로 표현하고 있는 비디오 자막을 추출하여 인식하는 연구가 필요하다. 본 논문에서는 압축되지 않은 비디오 영화 영상에 인위적으로 삽입한 한글 및 영어 자막을 대상으로 자막 영역을 추출하고, 추출된 자막 이미지를 향상시키는 방법을 제안한다. 제안한 방법의 특징은 동일한 내용의 자막을 갖는 프레임들의 위치를 자동으로 찾아서 동일 자막 프레임들을 다중 결합하여 배경에 포함되어 있는 잡영의 일부 또는 전부를 우선 제거한다. 또한, 이 결과 이미지에 해상도 중대, 히스토그램 평활화, 획 기반 이진화, 스무딩의 이미지 향상 방법을 단계적으로 적용하여 인식 가능한 수준의 이미지로 향상시킨다. 제안한 방법을 비디오 영상에 적용하여 동일한 내용의 자막 그룹 단위로 자막 이미지를 추출하는 것이 가능해졌으며, 잡영이 제거되고 복잡한 자소의 획이 보존된 자막 이미지를 추출할 수 있었다. 동일한 내용의 자막 프레임의 시작 및 글위치를 파악하는 것은 비디오 영상의 색인과 검색에 유용하게 활용될 수 있다. 한글 및 영어 비디오 영화 자막에 제안한 방법을 적용하여 향상된 문자 인식 결과를 얻었다.

• 한국멀티미디어학회논문지
• /
• 제9권9호
• /
• pp.1139-1149
• /
• 2006

본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다.

• 한국정보통신학회논문지
• /
• 제4권5호
• /
• pp.1051-1066
• /
• 2000

디지털 압축기술의 발달과 컴퓨팅 능력이 발전함에 따라서 많은 양의 이미지, 그래픽, 오디오, 비디오 정보가 인터넷을 통한 멀티미디어 시스템에서 활발히 이용되고 있다. 이에 따라 사용자가 원하는 멀티미디어 컨텐츠를 탐색하기 위한 다양한 검색기법이 요구되고 있으며, 특히 단순한 텍스트형 키워드에 의한 검색보다는 내용에 의한 검색 기법이 절실히 요구되고 있다. 본 논문에서는 여러 가지 전처리 과정을 통해 영상을 분류하고, 여기에 색상의 공간적, 질감적 특징을 선별적으로 적용함으로서 처리 효율을 높이면서 검색 성능을 증가시킬 수 있는 내용기반 색인 및 검색 알고리즘을 제안하였다. 또한, 특정 상표에 대한 내용기반 데이터 검색요청 및 수행 결과 분석을 통해 제안된 기법의 성능을 평가하였고, 그 결과를 기술하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제26권12호
• /
• pp.1519-1530
• /
• 1999

오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 멀티미디어 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 게다가 영상과 같은 비 문자형태의 데이타에 대한 사용자들의 내용기반 검색욕구 증가로 인해 비디오 인덱싱에 대한 관심은 더욱 고조되고 있다. 따라서 본 논문에서는 우선적으로 분할된 샷 경계면에서 추출된 대표 프레임과 정지 영상 데이타베이스로부터 유사 영상과 유사 대표 프레임을 검색할 수 있는 환경을 제공한다. 우선적으로 영상에 의한 질의는 기존에 주로 사용되어온 색상 히스토그램방식을 탈피하여 본 논문에서 제안하는 CS와 GS방식을 이용하여 색상 및 방향성 정보도 고려하도록 설계하였다. 또한 얼굴에 의한 질의는 대표 프레임으로부터 얼굴 영역을 추출해 내고 얼굴의 경계선 값 및 쌍 직교 웨이블릿 변환에 의해 얻어진 2개의 특징값을 이용하여 유사 인물이 포함된 대표 프레임을 검색해 내도록 설계하였다. Abstract There is a rapid increase in the use of digital video information in recent years, it becomes more important to manage multimedia databases efficiently. There is a big concern about video indexing because users require content-based image retrieval. In this paper, we first propose query-by-image system environment which allows to retrieve similar images from the chosen representative frames or images from the image databases. This algorithm considers not only the discretized color histogram but also the proposed directional information called CS & GS method. Finally, we designe another query environment using query-by-face. In this system , user selects a people in the representative frame browser and then system extracts a face region from that frame. After that system retrieves similar representative frames using 2 features, edge information and biorthogonal wavelet transform.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 추계학술발표대회(상)
• /
• pp.281-284
• /
• 2003

기존의 내용기반 비디오 검색 시스템들은 주석기반 검색 또는 특징기반 검색과 같은 단일 방식으로만 검색을 하므로 검색 효율이 낮을 뿐 아니라 완전한 자동 처리가 되지 않아 시스템 관리자나 주석자의 많은 노력을 요구한다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 비디오 의미기반 검색 시스템을 제안한다 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 제안하는 특징기반 검색기법을 통해 가장 유사한 키 프레임을 검색한다. 따라서 의미기반 검색을 통해 비디오 데이터의 검색의 효율을 높일 수 있도록 시스템을 제안한다.