한국방송∙미디어공학회:학술대회논문집 (Proceedings of the Korean Society of Broadcast Engineers Conference)

한국방송∙미디어공학회 (The Korean Institute of Broadcast and Media Engineers)
권호 표지

어텐션 기반 비디오 하이라이트 예측 알고리즘의 개선

Improving Attention-based Video Highlight Prediction

  • 윤원빈 (서울과학기술대학교 전자 IT 미디어공학과) ;
  • 황준규 (서울과학기술대학교 전자 IT 미디어공학과) ;
  • 이계민 (서울과학기술대학교 전자 IT 미디어공학과)
  • Yoon, Wonbin (Department of Electronic and IT Media Engineering Seoul National University of Science and Technology) ;
  • Hwang, Junkyu (Department of Electronic and IT Media Engineering Seoul National University of Science and Technology) ;
  • Lee, Gyemin (Department of Electronic and IT Media Engineering Seoul National University of Science and Technology)
  • 발행 : 2021.11.26
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

하이라이트 영상은 원본 영상의 중요한 장면들을 짧은 시간 안에 감상할 수 있게 도와준다. 특히나 경기 시간 긴 축구나 야구 그리고 e-스포츠의 시청자들에게 있어, 하이라이트 영상의 효용성은 더욱 증가한다. 하이라이트 영상 추출의 자동화로 방송사나 온라인 플랫폼은 비용 절감과 시간 절약의 이점을 얻을 수 있다. 따라서 본 논문에서는 스포츠 영상에서 자동으로 하이라이트 구간을 추출하는 모델을 제안한다. 제안하는 모델은 멀티 헤드 어텐션 매커니즘과 LSTM 네트워크의 결합으로 구성된다. 해당 매커니즘의 여러 헤드를 통해 어텐션을 다양한 관점에서 진행한다. 이로 인해 영상의 전체적인 맥락과 장면 간의 유기적 관계를 다양한 관점에서 파악할 수 있다. 또한 오디오와 이미지 정보를 함께 이용하여 모델을 학습한다. 학습한 모델의 평가는 e-스포츠 경기 영상을 이용하여 평가한다.

키워드