• Journal of KIISE:Software and Applications
• /
• v.30 no.7_8
• /
• pp.599-609
• /
• 2003

Video abstraction is a process to pick up some important shots on a video, while the important shots might vary on the persons subjectivity. Previous works on video abstraction use only one low level feature to choose an important shot. This thesis proposes an abstraction scheme that selects a set of shots which simultaneously satisfies the desired features(or objective functions) of a good abstraction. Since the complexity of the computation to find a set of shots which maximizes the sum of object function values is $0({2^n})$, the proposed .scheme uses a simulated annealing based searching method to find the suboptimal value within a short period of time. Upon the experimental results on various videos, we could argue that the proposed abstraction scheme could produce a reasonable video abstraction. The proposed abstraction scheme used to build a digital video library.

• Journal of Broadcast Engineering
• /
• v.7 no.2
• /
• pp.114-125
• /
• 2002

Although there have been a lot of researches on a video abstraction algorithm, the video abstraction tool is necessary to correctly pick up some important shots in a video because the important shots might vary on the person's subjectivity. This paper proposes a video abstraction and search system for making a video abstraction automatically or manually. Proposed system has two main components, server and client. The server generates the Metadata and makes a video abstraction file. The description for video abstraction file is based on MPEG-7. Since proposed system has a function to manually correct the results of each step, the author could produce a good video abstraction easily and efficiently. The proposed system could be used to build a digital video library.

• Proceedings of the IEEK Conference
• /
• 2003.07e
• /
• pp.1839-1842
• /
• 2003

본 논문에서는 동영상 내 얼굴요약을 통하여 동영상의 접근성을 향상시키고자 하는 방법을 제안한다. 얼굴요약이란 동영상에 등장한 각 사람들을 한 장씩의 얼굴영상으로 요약하는 것을 말한다. 제안하는 얼굴요약 방법은 크게 얼굴그룹생성과 대표얼굴선정의 두 과정으로 이루어진다. 동영상에서의 얼굴그룹이란 한 사람의 얼굴영상들의 집합을 의미한다. 본 논문에서는 살색화소의 시공간에서의 연속성(spatio-temporal connectivity)및 얼굴검출기법을 이용하여 얼굴영상들을 사람에 따라 그룹화 한다. 대표얼굴이란 얼굴그룹에서 그 사람을 알아보는데 가장 적당한 얼굴영상이다. 본 논문에서는 크고 정면인 얼굴을 대표얼굴로 선정하는 방법을 제안한다. 실험결과에서는 제안한 기법을 이용하여 등장인물의 등퇴장이 빈번하게 발생할 경우에도 동영상을 얼굴 영상들로 요약할 수 있음을 보인다

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.44-48
• /
• 2006

디지털 카메라 기술의 발전과 보급으로 공공건물의 보안 카메라부터 개인 휴대 단말기의 카메라까지 동영상 데이터를 수집할 수 있는 수단이 크게 늘었으며, 그 활용 또한 매우 일반화되었다. 동영상 데이터는 문서나 음성 등의 다른 데이터보다 훨씬 구체적이고 사실적인 정보를 포함하므로 과거의 기억을 정리하고 복원하기 위한 유용한 방법이 될 수 있다. 동영상 데이터의 증가와 함께 동영상 요약에 대한 연구가 최근에 활발히 진행되고 있는데, 이들 연구의 대부분은 하나의 동영상을 요약하고 분석하기 위한 것이다. 본 논문에서는 사무실에 여러 대의 카메라를 설치하여 데이터를 저장하며, 이렇게 수집된 동영상 데이터를 효과적으로 요약하고 검색하는 시스템을 구축한다. 동일한 이벤트를 여러 방향에서 바라보고, 그 상황을 가장 잘 설명한 카메라를 선택 할 수 있다는 점에서 멀티 카메라의 사용은 장점을 갖는다. 사전에 정의된 이벤트에 따라 전문가가 어노테이션을 부여하도록 하였으며, 전문가가 설정한 유틸리티에 따라 카메라 선택 및 요약이 이루어진다. 다양한 옵션에 따라 요약된 결과로 사용자 평가를 수행하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.701-702
• /
• 2023

비대면 교육이 증가함에 따라 강의, 특강과 같은 정보성 동영상의 수가 급격히 많아지고 있다. 이러한 정보성 동영상을 보아야 하는 학습자들은 자원과 시간을 효율적으로 활용할 수 있는 동영상 이해 및 학습 시스템이 필요하다. 본 논문에서는 GPT-3 모델과 KoNLPy 사용하여 동영상 요약을 수행하고 키워드 기반 해당 영상 프레임으로 바로 갈 수 있는 시스템의 개발내용에 대해 기술한다. 이를 통해 동영상 콘텐츠를 효과적으로 활용하여 학습자들의 학습 효율성을 향상시킬 수 있을 것으로 기대한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.693-694
• /
• 2023

본 논문에서는 FastText 알고리즘을 기반으로 한 사용자 지정 키워드 기반 동영상 요약 시스템을 제안한다. 사용자가 키워드를 입력하면 시스템은 해당 키워드와 관련된 단어들을 FastText를 통해 추출하며, 이를 STT (Speech-to-Text)로 변환된 동영상에서 타임 스탬프 기반으로 인식한다. 인식된 키워드와 관련된 내용은 클립 형식으로 요약되어 사용자에게 제공된다. 본 연구의 목적은 숏폼 콘텐츠 환경에서 효과적인 콘텐츠 추출 및 제공을 통해 사용자 경험과 정보 제공의 효율성을 향상시키기 위함이다. 제안된 시스템은 사용자 지정 키워드에 맞춰 다양한 동영상 플랫폼에서 효율적인 영상 요약을 제공함으로써 온라인 동영상 환경에서 큰 혁신을 이끌어낼 것으로 기대된다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.27 no.10A
• /
• pp.1021-1028
• /
• 2002

This paper proposes a method to extract the content curve that reflects changes in video content from the MPEG video in the compressed domain, and also describes a video summary generation technique which can read video effectively and rapidly from the content curve. Existing video summary techniques have a disadvantage of taking significant amount of time to generate the video summary due to complex calculations in the decoding process. Moreover, the existing techniques, which use video content curve, require to perform many calculations to process the high dimensional content curve. However, the proposed technique generates video summary fast via the linear approximation of the proposed curve, after extraction the two dimensional content curve directly. In addition, the proposed technique has a merit that the user can set any number of key-frames and amount of calculation that form the video summary.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• Journal of the Korean Society for Library and Information Science
• /
• v.56 no.1
• /
• pp.95-117
• /
• 2022

This study developed and evaluated audio-visual (AV) semantics-based video summarization methods using eye tracking and electroencephalography (EEG) data. For this study, twenty-seven university students participated in eye tracking and EEG experiments. The evaluation results showed that the average recall rate (0.73) of using both EEG and pupil diameter data for the construction of a video summary was higher than that (0.50) of using EEG data or that (0.68) of using pupil diameter data. In addition, this study reported that the reasons why the average recall (0.57) of the AV semantics-based personalized video summaries was lower than that (0.69) of the AV semantics-based generic video summaries. The differences and characteristics between the AV semantics-based video summarization methods and the text semantics-based video summarization methods were compared and analyzed.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.388-389
• /
• 2012

본 논문에서는 동영상을 시공간적 중요도 기반으로 요약하는 기법을 제안한다. 동영상 내에서 각 프레임의 중요도를 평가하여 높은 우선순위를 가지는 구간들의 집합으로 요약을 수행한다. 화면내의 얼굴면적의 비율, 영상의 복잡도를 통하여 각 프레임이 가지는 공간적 중요도를 분석하고 인접한 프레임간의 비교를 통해 밝기 히스토그램과 움직임(motion)의 양을 추정함으로써 시간적 중요도를 구한다. 에지 보존 스무딩 필터를 밝기 히스토그램에 적용하여 장면 전환을 검출한다. 분리된 장면들로 과분할 구조를 가지는 계층적 트리를 생성하여 사용자가 요구한 재생길이를 가지는 동영상을 자동으로 저작한다. 본 논문에서는 동영상 분석 및 저작을 제한적인 환경인 스마트폰에서 효과적으로 작동하도록 구현 및 최적화를 수행하였다.