• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.372-376
• /
• 2023

본 연구에서는 비디오 하이라이트 검출 및 장면 추출을 위한 경량화된 모델인 Visual Context Learner (VCL)을 제안한다. 기존 연구에서는 매개변수가 고정된 CLIP을 비롯한 여러 피쳐 추출기에 학습 가능한 DETR과 같은 트랜스포머를 이어붙여서 학습을 한다. 하지만 본 연구는 경량화된 구조로 하이라이트 검출 성능을 개선시킬 수 있음을 보인다. 그리고 해당 형태로 장면 추출도 가능함을 보이며 장면 추출의 추가 연구 가능성을 시사한다. VCL은 매개변수가 고정된 CLIP에 학습가능한 프롬프트와 MLP로 하이라이트 검출과 장면 추출을 진행한다. 총 2,141개의 학습가능한 매개변수를 사용하여 하이라이트 검출의 HIT@1(>=Very Good) 성능을 기존 CLIP보다 2.71% 개선된 성능과 최소한의 장면 추출 성능을 보인다.

• The KIPS Transactions:PartB
• /
• v.14B no.1 s.111
• /
• pp.1-4
• /
• 2007

In this paper, we propose an efficient scheme for automatically detecting highlight scenes in soccer videos. Highlights are defined as shooting scenes and goal scenes. Through the analysis of soccer videos, we notice that most of highlight scenes are shown around the goal post area. It is also noticed that the TV camera zooms in a setter player or spectators after the highlight stones. Detection of highlight scenes for soccer videos consists of three steps. The first step is the extraction of the playing field using a statistical threshold. The second step is the detection of goal posts. In the final step, we detect a zooming of a soccer player or spectators by using connected component labeling of non-playing field. In order to evaluate the performance of our method, the precision and the recall are computed. Experimental results have shown the effectiveness of the proposed method, with 95.2% precision and 85.4% recall.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.60-63
• /
• 2017

최근 개인방송에 대한 관심이 증가하면서 개인 방송 제작자와 콘텐츠의 수가 급증하고 있다. 이에 시청자의 선택이 용이하도록 방송 내용 중 흥미를 끌 만한 장면을 모아 하이라이트를 제공하는 서비스에 대한 요구가 커지고 있다. 본 논문에서는 전문 편집자나 편집 기술 없이 자동으로 하이라이트를 검출하는 방법을 제시한다. 제안하는 알고리즘은 개인 방송의 채팅 정보를 이용하며, 시간에 따른 채팅의 빈도 변화를 통해 하이라이트 구간을 검출한다. 검출 알고리즘은 시청자 선호도가 높은 게임 방송에 적용하여 그 성능을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.607-609
• /
• 2003

동영상 자동 분석은 비디오 데이터의 내용 기반 색인과 검색을 위한 첫 단계이다. 본 논문에서는 정형적인 구조를 가진 뉴스와는 달리 비정형적인 특성을 가진 축구 동영상에서 사용자의 관심이 되는 하이라이트 장면의 영상 특징을 이용하여 그 구조를 분석하여 하이라이트 장면을 검출하는 방법을 제안한다. 이전 연구를 토대로 그라운드영역과 골대 유무에 따라 하이라이트 후보 장면을 찾는 과정에서 경기마다 달라지는 임계값에 영향을 받지 않는 알고리즘을 제안하였다. 실험결과 제안된 방법이 여러 종류의 축구 경기 하이라이트 분석에 있어서 그 성능이 우수함을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.199-201
• /
• 2004

디지털 방송 환경의 메타데이타 서비스 중에서도 가장 혁신적인 것이 하이라이트(highlight)메타데이타 서비스이다. 하이라이트 메타데이타를 생성하기 위해서 시각율동을 이용한 샷경계 검출 알고리즘을 사용해 스포츠 경기의 하이라이트 시간구간을 결정하고, 하이라이트 표시기에서 하이라이트를 설명하는 간단한 주제어를 부가한다. 그리고 하이라이트 템플릿을 이용해 계층구조를 생성하고 하이라이트에 부가된 하이라이트 주제어에 따라 계층 구조의 적절한 위치에 삽입하고. 하이라이트 계층구조는 MPEG-7 표준 스키마에 따라 xml로 서술한다 하이라이트 메타데이타 서비스를 받는 시청자들은 매우 짧은 시간에 이미 방영된 스포츠 경기의 중요 장면들을 모두 볼 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.218-226
• /
• 2018

As the number of personal broadcasting contents is rapidly increasing, the demand for a service that provides highlights is growing. A highlight, a collection of interesting scenes, can improve the quality of viewing experience. In this paper, we propose a method to automatically detect highlights using only chat traffic information. We also propose evaluation methods the effectiveness of using chat traffic in highlight detection. We apply the detection algorithm to game broadcasting, which has larger audience, and demonstrate its performance.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.196-198
• /
• 2002

본 논문에서는 축구 동영상에서 스포츠 중계방송의 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면 그 장면 을 다시 느린속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 특징을 이용하여 Wipe검출, Replay검출 및 Zoom-In/Out 전환 검출을 이용하여 전체 축구 동영상에서 하이라이트만을 추출하는 방법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.855-857
• /
• 2000

본 논문에서는 하이라이트의 연관성을 이용한 분석 방법을 제안한다. 멀티미디어와 동영상 서비스의 발달과 더불어 운동 경기의 내용을 자동 분석하여 하이라이트 추출이나 방송 중계 등에 이용하고자 하는 시도가 많이 이루어지고 있다. 동영상은 텍스트나 정지 영상에 비해 방대한 데이터로 구성되어 있다. 그러므로 경기 내용을 효과적으로 파악하기 위해서는 내용 기반의 주요 경기내용(High light)만을 추출 디스플레이 하는 기술이 필요하다. 본 논문에서는 스포츠와 관련된 동영상에서 자동으로 하이라이트 부분을 검출하는 기법을 개발하였으며, 이 기법을 방송용 축구 경기 동영상에 적용하여 하이라이트 추출을 시도하였다.

• Journal of KIISE:Software and Applications
• /
• v.30 no.7_8
• /
• pp.727-743
• /
• 2003

This paper proposes an automatic highlight building algorithm for soccer video by using the structural characteristics of broadcasted sports video that an interesting (or important) event (such as goal or foul) in sports video has a continuous replay shot surrounded by gradual shot change effect like wipe. This shot editing rule is used in this paper to analyze the structure of broadcated soccer video and extracts shot involving the important events to build a highlight. It first uses the spatial-temporal image of video to detect wipe transition effects and zoom out/in shot changes. They are used to detect the replay shot. However, using spatial-temporal image alone to detect the wipe transition effect requires too much computational resources and need to change algorithm if the wipe pattern is changed. For solving these problems, a two-pass detection algorithm and a pixel sub-sampling technique are proposed in this paper. Furthermore, to detect the zoom out/in shot change and replay shots more precisely, the green-area-ratio and the motion energy are also computed in the proposed scheme. Finally, highlight shots composed of event and player shot are extracted by using these pre-detected replay shot and zoom out/in shot change point. Proposed algorithm will be useful for web services or broadcasting services requiring abstracted soccer video.