• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.599-609
• /
• 2003

자동으로 동영상을 요약하는 알고리즘은 다양한 방향으로 진행되어 왔다. 하지만 이러한 알고리즘들은 한가지 저금수준 내용정보만을 이용하여 동영상을 요약하였기 때문에 요약하는 사용자의 주관을 반영할 수 없다는 단점이 있다. 즉, 동영상 요약이라는 것은 내용에 대한 전반적인 이해에 바탕을 두고 중요한 샷을 선택하는 것이라고 정의할 수 있는데 이 경우에 중요한 샷이라고 결정하는 것은 요약자의 주관에 따라 달라질 수 있기 때문에 사용자의 주관을 반영한 수 없다는 것은 큰 단점으로 대두될 수 있다. 본 논문에서는 사용자의 요구를 반영하는 동영상 요약 알고리즘을 제시한다. 알고리즘에서는 일반적으로 많이 사용하는 동영상 요약에 대한 목적함수와 이들에 대한 가중치를 이용한다. 본 논문에서는 동영상 요약을 목적함수를 극대화 시킬 수 있는 샷들의 집합으로 정의하는데 이 경우 문제점으로 제시될 수 있는 것이 계산량이 많다는 것이다. 즉, n개의 샷을 가진 동영상에 대하여 2$^n$번의 계산량이 필요하기 때문에 전체 알고리즘의 수행 시간이 많아지는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위하여 빠른 시간에 근사 샷들의 집합을 구할 수 있는 Simulated Annealing 알고리즘을 이용하였다. 실험 결과에 의하면 본 논문의 알고리즘은 요약자의 주관을 반영시킬 수 있고, Simulated Annealing 을 이용하여 빠른 시간에 원하는 요약을 할 수 있음을 확인하였다. 본 논문의 알고리즘은 동영상을 대상으로 하는 디지털 비디오 라이브러리와 같은 응용 분야에 이용할 수 있을 것이다.

• 방송공학회논문지
• /
• 제7권2호
• /
• pp.114-125
• /
• 2002

자동으로 동영상을 요약하는 알고리즘과 고급 수준 내용 정보를 자동으로 추출하는 알고리즘은 현재 많은 연구가 진행되어 왔다. 하지만 동영상 요약이라는 것은 사용자의 특성에 따라 다양하게 나타날 수 있고, 고급 수준 내용 정보를 자동으로 추출하는 알고리즘 또한 100% 정확한 것은 아니기 때문에 이를 수정할 수 있는 도구가 필요하게 된다. 본 논문에서는 자동 알고리즘 수행 및 수동으로 수정할 수 있는 기능을 제공하기 위한 동영상 요약 및 검실 시스템을 구현했다. 동영상 요약 및 검색 시스템은 크게 서버 부분과 클라이언트 부분으로 나눌 수 있는데 서버 부분은 동영상을 요약하여 작은 동영상 파일을 만드는 부분과 검색을 위해 메타 데이터를 입력할 수 있는 부분으로 구성이 된다. 메타 데이터는 육하원칙에 따라 입력할 수 있도록 하였다. 클라이언트 부분은 서버에 의해 저장된 메타 데이터들을 이용하여 검색할 수 있는 부분과 동영상을 동적으로 요약하기 위한 부분으로 구성이 된다. 동영상 요약 부분은 MPEG-7 의 Summary Description Scheme에 맞추어서 서술된다. 본 논문에서 구현된 동영상 요약 및 검색 시스템은 대용량의 멀티미디어 데이터를 사용하는 경우 유용하게 쓰일 수 있을 것이다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.1839-1842
• /
• 2003

본 논문에서는 동영상 내 얼굴요약을 통하여 동영상의 접근성을 향상시키고자 하는 방법을 제안한다. 얼굴요약이란 동영상에 등장한 각 사람들을 한 장씩의 얼굴영상으로 요약하는 것을 말한다. 제안하는 얼굴요약 방법은 크게 얼굴그룹생성과 대표얼굴선정의 두 과정으로 이루어진다. 동영상에서의 얼굴그룹이란 한 사람의 얼굴영상들의 집합을 의미한다. 본 논문에서는 살색화소의 시공간에서의 연속성(spatio-temporal connectivity)및 얼굴검출기법을 이용하여 얼굴영상들을 사람에 따라 그룹화 한다. 대표얼굴이란 얼굴그룹에서 그 사람을 알아보는데 가장 적당한 얼굴영상이다. 본 논문에서는 크고 정면인 얼굴을 대표얼굴로 선정하는 방법을 제안한다. 실험결과에서는 제안한 기법을 이용하여 등장인물의 등퇴장이 빈번하게 발생할 경우에도 동영상을 얼굴 영상들로 요약할 수 있음을 보인다

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.44-48
• /
• 2006

디지털 카메라 기술의 발전과 보급으로 공공건물의 보안 카메라부터 개인 휴대 단말기의 카메라까지 동영상 데이터를 수집할 수 있는 수단이 크게 늘었으며, 그 활용 또한 매우 일반화되었다. 동영상 데이터는 문서나 음성 등의 다른 데이터보다 훨씬 구체적이고 사실적인 정보를 포함하므로 과거의 기억을 정리하고 복원하기 위한 유용한 방법이 될 수 있다. 동영상 데이터의 증가와 함께 동영상 요약에 대한 연구가 최근에 활발히 진행되고 있는데, 이들 연구의 대부분은 하나의 동영상을 요약하고 분석하기 위한 것이다. 본 논문에서는 사무실에 여러 대의 카메라를 설치하여 데이터를 저장하며, 이렇게 수집된 동영상 데이터를 효과적으로 요약하고 검색하는 시스템을 구축한다. 동일한 이벤트를 여러 방향에서 바라보고, 그 상황을 가장 잘 설명한 카메라를 선택 할 수 있다는 점에서 멀티 카메라의 사용은 장점을 갖는다. 사전에 정의된 이벤트에 따라 전문가가 어노테이션을 부여하도록 하였으며, 전문가가 설정한 유틸리티에 따라 카메라 선택 및 요약이 이루어진다. 다양한 옵션에 따라 요약된 결과로 사용자 평가를 수행하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.701-702
• /
• 2023

비대면 교육이 증가함에 따라 강의, 특강과 같은 정보성 동영상의 수가 급격히 많아지고 있다. 이러한 정보성 동영상을 보아야 하는 학습자들은 자원과 시간을 효율적으로 활용할 수 있는 동영상 이해 및 학습 시스템이 필요하다. 본 논문에서는 GPT-3 모델과 KoNLPy 사용하여 동영상 요약을 수행하고 키워드 기반 해당 영상 프레임으로 바로 갈 수 있는 시스템의 개발내용에 대해 기술한다. 이를 통해 동영상 콘텐츠를 효과적으로 활용하여 학습자들의 학습 효율성을 향상시킬 수 있을 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.693-694
• /
• 2023

본 논문에서는 FastText 알고리즘을 기반으로 한 사용자 지정 키워드 기반 동영상 요약 시스템을 제안한다. 사용자가 키워드를 입력하면 시스템은 해당 키워드와 관련된 단어들을 FastText를 통해 추출하며, 이를 STT (Speech-to-Text)로 변환된 동영상에서 타임 스탬프 기반으로 인식한다. 인식된 키워드와 관련된 내용은 클립 형식으로 요약되어 사용자에게 제공된다. 본 연구의 목적은 숏폼 콘텐츠 환경에서 효과적인 콘텐츠 추출 및 제공을 통해 사용자 경험과 정보 제공의 효율성을 향상시키기 위함이다. 제안된 시스템은 사용자 지정 키워드에 맞춰 다양한 동영상 플랫폼에서 효율적인 영상 요약을 제공함으로써 온라인 동영상 환경에서 큰 혁신을 이끌어낼 것으로 기대된다.

• 한국통신학회논문지
• /
• 제27권10A호
• /
• pp.1021-1028
• /
• 2002

본 논문은 MPEG으로 압축 부호화 된 동영상에서 동영상 내용의 변화를 반영하는 내용 곡선을 추출하는 방법을 제안하고, 내용 곡선으로부터 효율적이고 빠르게 동영상을 열람할 수 있는 동영상 요약을 생성하는 기법에 대하여 기술하고 있다. 기존의 동영상 요약 기법들은 복호화 과정에서 대체로 계산이 복잡하여 동영상 요약을 만들어 내는 데에 적지 않은 시간이 소요되는 단점을 보유하고 있다. 또한 동영상의 내용 곡선을 이용한 기존의 용약 기법은 고차원의 내용 곡선을 처리하는 데에 있어 많은 계산을 필요로 하게 된다. 그러나 제안된 기법은 MPEG 압축 영역에서 직접 2차원의 내용 곡선을 추출한 뒤 제안된 곡선의 선형 근사 기법을 통하여 고속으로 동영상 요약을 만들어 낸다. 또한 제안된 기법을 동영상 요약을 구성하는 대표 프레임의 개수와 계산량을 사용자가 원하는 만큼 설정할 수 있는 장점도 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 한국문헌정보학회지
• /
• 제56권1호
• /
• pp.95-117
• /
• 2022

본 연구는 시선 및 뇌파 정보를 이용하여 오디오-비주얼(audio-visual, AV) 시맨틱스 기반의 동영상 요약 방법들을 개발하고 평가해 보았다. 이를 위해서 27명의 대학생들을 대상으로 시선추적과 뇌파 실험을 수행하였다. 평가 결과, 뇌파와 동공크기 데이터를 함께 사용한 방법의 평균 재현율(0.73)이 뇌파 또는 동공크기 데이터만을 사용한 방법의 평균 재현율(뇌파: 0.50, 동공크기: 0.68)보다 높게 나타났다. 또한 AV 시맨틱스 기반의 개인화된 동영상 요약의 평균 재현율(0.57)이 AV 시맨틱스 기반의 일반적인 동영상 요약의 평균 재현율(0.69)보다 낮게 나타난 원인들을 분석하였다. 끝으로, AV 시맨틱스 기반 동영상 요약 방법과 텍스트 시맨틱스 기반 동영상 요약 방법 간의 차이 및 특성도 비교분석해 보았다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.388-389
• /
• 2012

본 논문에서는 동영상을 시공간적 중요도 기반으로 요약하는 기법을 제안한다. 동영상 내에서 각 프레임의 중요도를 평가하여 높은 우선순위를 가지는 구간들의 집합으로 요약을 수행한다. 화면내의 얼굴면적의 비율, 영상의 복잡도를 통하여 각 프레임이 가지는 공간적 중요도를 분석하고 인접한 프레임간의 비교를 통해 밝기 히스토그램과 움직임(motion)의 양을 추정함으로써 시간적 중요도를 구한다. 에지 보존 스무딩 필터를 밝기 히스토그램에 적용하여 장면 전환을 검출한다. 분리된 장면들로 과분할 구조를 가지는 계층적 트리를 생성하여 사용자가 요구한 재생길이를 가지는 동영상을 자동으로 저작한다. 본 논문에서는 동영상 분석 및 저작을 제한적인 환경인 스마트폰에서 효과적으로 작동하도록 구현 및 최적화를 수행하였다.