• ETRI Journal
• /
• 제24권1호
• /
• pp.1-11
• /
• 2002

A video summary abstracts the gist from an entire video and also enables efficient access to the desired content. In this paper, we propose a novel method for summarizing news video based on multimodal analysis of the content. The proposed method exploits the closed caption data to locate semantically meaningful highlights in a news video and speech signals in an audio stream to align the closed caption data with the video in a time-line. Then, the detected highlights are described using MPEG-7 Summarization Description Scheme, which allows efficient browsing of the content through such functionalities as multi-level abstracts and navigation guidance. Multimodal search and retrieval are also within the proposed framework. By indexing synchronized closed caption data, the video clips are searchable by inputting a text query. Intensive experiments with prototypical systems are presented to demonstrate the validity and reliability of the proposed method in real applications.

• 한국문헌정보학회지
• /
• 제51권1호
• /
• pp.227-243
• /
• 2017

This study proposed a structural and semantic framework for the characterization of events and segments in Web videos that permits content-based searches and dynamic video summarization. Although MPEG-7 supports multimedia structural and semantic descriptions, it is not currently suitable for describing multimedia content on the Web. Thus, the proposed metadata framework that was designed considering Web environments provides a thorough yet simple way to describe Web video contents. Precisely, the metadata framework was constructed on the basis of Chatman's narrative theory, three multimedia metadata formats (PBCore, MPEG-7, and TV-Anytime), and social metadata. It consists of event information, eventGroup information, segment information, and video (program) information. This study also discusses how to automatically extract metadata elements including structural and semantic metadata elements from Web videos.

• 정보처리학회논문지D
• /
• 제10D권4호
• /
• pp.671-678
• /
• 2003

디지털 비디오는 대용량의 저장 공간을 필요로 하는 시간적으로 매우 긴 데이터이다. 따라서 사용자들은 대용량의 긴 비디오를 시청하기 전에 사전에 제작된 요약된 비디오를 시청하고 싶어 한다. 특히, 스포츠 비디오 분야에서는 하이라이트 비디오를 시청하고자 한다. 결과적으로 하이라이트 비디오는 사용자들이 비디오를 시청하고자 할 경우 그 비디오가 시청할 가치가 있는지를 결정하는데 사용된다. 본 논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 추계학술발표논문집
• /
• pp.245-248
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적이 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 추계학술발표논문집
• /
• pp.77-80
• /
• 2002

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 비디오 요약 생성 규칙에 따라 요약된 비디오를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷의 재설정 통하여 중요한 이벤트를 포함한 요약된 비디오를 생성하도록 한다.

• 대한전자공학회논문지SP
• /
• 제39권4호
• /
• pp.381-387
• /
• 2002

본 논문은 MPEG 스트림 데이터에서 효과적으로 화면 전환 경계를 찾아내는 알고리즘을 제안한다. 이를 위하여 먼저 연속적인 장면의 변화 정도를 표시하는 척도로써 히스토그램 차이 값(histogram difference value)과 픽셀 차이 값(pixel difference value)을 각각 하나의 신호로 취급한다. 이 신호에 중간 값 필터를 적용하여 얻어진 값과 원래의 신호의 차이값인 MFD(Median filtered difference) 값을 구한다. 이렇게 얻어진 MFD의 값이 크면 회면 전환이 일어남을 나타내며 따라서 컷 검출의 기준이 될 수 있다. 또한, 인공 신경망을 사용하여 컷 경계가 되는 MFD값의 문턱치를 결정한다. 제안된 알고리즘은 변화량이 심한 동영상이나 급작스럽게 밝아지는 프레임을 포함하는 동영상에서 적절히 컷 전환을 검출함을 보여 준다. 실험결과에서 제안된 알고리즘의 성능을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제7권11호
• /
• pp.1540-1549
• /
• 2004

본 논문에서는 은닉 마코프 모델을 이용하여 골프 비디오의 시멘틱한 이벤트들을 검출하는 알고리즘을 제안한다. 본 논문의 목적은 하이라이트에 기반한 비디오의 색인 및 요약을 용이하도록 이벤트들을 식별하고 분류하는 것이다. 제안된 알고리즘은 먼저 골프 비디오의 분석을 통하여 4개의 이벤트를 정의하고, 각 이벤트를 구성하는 상태를 이용하여 HMM 모델을 설계한다. 또한 각 이벤트의 HMM을 구성하는 파라메타를 구하기 위해 MPEG-7 시각 기술자에 기반한 10개의 시각 정보 특징들을 이용한다. 실험 결과 제안된 방법은 다양한 골프 이벤트들을 식별하는데 있어 양호한 성능의 검출 결과를 보여 주고 있다.

• 방송공학회논문지
• /
• 제7권2호
• /
• pp.79-87
• /
• 2002

지난 10여년간의 디지털 비디오와 관련 멀티미디어처리 기술의 빠른 발전은 비디오 내용의 이해에 기반한 키프레임 기반의 내용요약과 같은 여러 가지의 비선형적 비디오 브라우징 방법들을 가능하게 하였다. 그러나 스토리보드나 목차와 같은 키프레임 기반의 사용자 인터페이스들은 텔레비전 환경에 익숙한 대다수의 일반 사용자들에게는 여전히 사용하기 어렵다는 단점이 있으며, 이러한 사용자 인터페이스의 구성 또한 실시간 처리를 지원하지 않고 있어 서비스 제공자를 배제한 일반 방송 환경에서 사용하기 어렵다는 단점을 가지고 있다. 본 논문에서는 이러한 단점들을 극복하며 동시에 사용자들이 사용하기 편리한 비선형적 비디오 브라우징 기술들을 제안하며, 이를 지원하기 위한 실시간 비디오 인덱싱 기술을 제안하고 있다. 즉 구조기반의 건너뛰기와 요약보기 기능은 실시간 비디오 인덱싱 기술에 기반하여, 사용자들이 기존의 비디오 레코더의 리모콘과 같은 간단한 사용으로 원하는 장면을 쉽게 찾아갈 수 있도록 하여 주며, 간단한 요약 기능을 제공하여 짧은 시간에 전체의 내용을 이해할 수 있도록 하여 준다.

• 한국멀티미디어학회논문지
• /
• 제7권10호
• /
• pp.1452-1463
• /
• 2004

양방향 방송 서비스로의 전환을 맞아 다양한 사용자 요구 및 기호에 적합한 컨텐츠를 제공하고, 증가하는 방송 컨텐츠를 효율적으로 관리, 이용하기 위해 비디오의 자동 에 대한 요구가 증가하고 있다. 본 논문에서는 내용 구성이 잘 갖추어진 어학 교육 비디오의 자동 에 대한 방법을 제안한다. 내용 기반을 자동으로 생성하기 위해 먼저 디지털 비디오로부터 샷 경계를 검출한 후, 각 샷을 대표하는 키프레임으로부터 비주얼 특징들을 추출한다. 그리고 추출된 다중 비주얼 특징을 이용해 어학 교육 비디오의 세분화된 내용 정보를 결정한다. 마지막으로, 결정된 내용 정보를 기술하는 요약문을 MPEG-7 MDS(Multimedia Description cheme)에 정의된 계층적 (Hierarchical Summary) 구조에 맞추어 XML 문서로 생성한다. 외국어 회화 비디오에 대해 실험하여 제안한 자동 방법의 효율성을 검증하였으며, 제안한 방법이 교육 방송용 컨텐츠의 다양한 서비스 제공 및 관리를 위한 비디오 요약 시스템에 효율적으로 적용 가능함을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3074-3091
• /
• 2019

With the widespread use of the Internet, services for providing large-capacity multimedia data such as video-on-demand (VOD) services and video uploading sites have greatly increased. VOD service providers want to be able to provide users with high-quality keyframes of high quality videos within a few minutes after the broadcast ends. However, existing keyframe extraction tends to select keyframes whose quality as a keyframe is insufficiently considered, and it takes a long computation time because it does not consider an HD class image. In this paper, we propose a keyframe selection method that flexibly applies multiple keyframe quality metrics and improves the computation time. The main procedure is as follows. After shot boundary detection is performed, the first frames are extracted as initial keyframes. The user sets evaluation metrics and priorities by considering the genre and attributes of the video. According to the evaluation metrics and the priority, the low-quality keyframe is selected as a replacement target. The replacement target keyframe is replaced with a high-quality frame in the shot. The proposed method was subjectively evaluated by 23 votes. Approximately 45% of the replaced keyframes were improved and about 18% of the replaced keyframes were adversely affected. Also, it took about 10 minutes to complete the summary of one hour video, which resulted in a reduction of more than 44.5% of the execution time.