• 한국멀티미디어학회논문지
• /
• 제14권10호
• /
• pp.1252-1261
• /
• 2011

본 논문은 내용기반 동영상 분할을 위한 장면의 유사도 패턴 비교 방법을 제안한다. 동영상 장면 전환의 종류는 크게 급진적 전환과 디졸브(dissolve), 페이드인(fade-in), 페이드아웃(fade-out), 와이프 전환(wipe transition)을 포함하는 점진적 전환 형태로 나눌 수 있다. 제안하는 방법은 모든 종류의 장면 전환 검출 문제를 단지 발생 유무의 문제로 간단 정의하고, 장면 전환 종류는 별도로 구분하지 않는다. 장면 전환을 검출하기 위해서는 프레임간의 유사도를 정의해야 한다. 본 논문에서는 장면 내 유사도(within similarity)와 장면 간 유사도(between similarity)를 정의하며 두 유사도의 통계적 패턴 비교를 통하여 최종적으로 장면 전환을 검출하게 된다. 장면 내 유사도와 장면 간 유사도의 비율을 구하는 방법을 통해 플래시라이트나영상 내 물체 움직임에 대한 거짓 양성 검출을 별도의 후처리 과정 없이도 방지할 수 있음을 확인하였다. 프레임의 특징 값으로는 컬러 히스토그램과 프레임 내 평균 화소값을 이용하였다. TREC-2001, TREC-2002 동영상 셋을 포함한 실험 셋에서 성능을 평가한 결과 제안하는 알고리즘의 경우 총 91.84%의 재현율(recall)과 86.43%의 정확도(precision)의 성능을 보임을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제44권3호
• /
• pp.8-15
• /
• 2007

최근 멀티미디어 데이터를 효율적으로 전송, 저장 관리 및 검색하는 기술이 중요한 핵심 기술로 대두되고 있다. 그 중에서 멀티미디어 정보 검색의 경우 사용자가 원하는 정보를 표현할 수 있는 사용자 인터페이스 기술과 원하는 정보를 사용자에게 신속하고 정확하게 보여주는 기술의 필요성이 증대하고 있다. 본 논문에서는 MPEG으로 압축된 영상 정보에서 장면의 전환점인 컷을 효과적으로 검출하여 동영상을 분할하는 기법을 제안한다. 컷 검출(Cut detection)은 MPEG 비디오 시퀀스에서 동영상을 분할하는 가장 기본적이면서 중요한 기초 작업이며, 비디오 색인 및 검색을 위한 첫 번째 단계이다. 기존의 방법들은 프레임간을 비교하기 때문에 물체의 빠른 움직임이나 카메라의 움직임, 후레쉬의 섬광 등 화면 변화에 따라 오검출이 생기는 단점이 있다. 제안하는 컷 검출 기법은 먼저 입력영상을 DCT의 DC를 이용하여 샷을 검출한다. 이렇게 검출된 샷으로 데이터베이스를 구성하고, MPEG-7의 시각 기술자 중 HMMD 컬러 모델과 에지 히스토그램을 사용하여 영상에서 특징을 추출하였다. 그리고 제안하는 매칭 기법에 따라 단계별 검색을 수행하였다. 이 실험을 통해서 기존 방법들보다 높은 검색률을 보이는 개선된 동영상 분할 시스템을 설계하였다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 하계종합학술대회논문집
• /
• pp.297-300
• /
• 2000

본 논문에서는 MPEG 비디오 스트림을 분석하여 DCT DC 계수를 추출하고 이들로 구성된 DC 이미지로부터 제안하는 robust feature를 이용하여 shot을 구하고 각 feature들의 통계적 특성을 이용하여 스트림의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간변화량을 구한다. 구해진 변화량의 local maxima와 local minima는 MPEG 비디오 스트림에서 각각 가장 특징적인 frame과 평균적인 frame을 나타낸다. 이 순간의 frame을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고 사용자가 질의한 영상에 대해서 이들 파라메터를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다.

• 방송공학회논문지
• /
• 제11권1호
• /
• pp.28-41
• /
• 2006

양방향 맞춤형 방송의 실현으로 인해 비디오의 내용을 자동으로 분석하여 그 구조를 기술하거나 요약을 생성하는 등의 내용 기반 비디오 분석 기술의 필요성이 요구되고 있다. 본 논문에서는 온라인에서 수요가 높고 특히 맞춤형 방송에 적합한 방송 콘텐츠인 교육용 비디오의 ToC를 자동으로 생성하기 위한 방법을 제안한다. 제안한 ToC 생성 방법은 씬 분할과 씬 서술의 두 단계로 이루어져 있다. 씬 분할 단계에서는 삿 분할을 수행한 후 샷 간의 연결관계 분석을 통해 입력 영상을 씬 단위로 분할하게 된다. 씬 서술 단계에서는 분할된 각 씬이 장면 분류, 자막 검출, 화자 인식 등에 의해 그 내용이 자동으로 서술된다. 제안된 방법을 통해 생성된 ToC는 씬과 샷의 계층 구조를 통해 비디오의 구성을 표현하고, 검출된 여러 특정을 이용해 각 씬과 샷의 내용을 서술함으로써 사용자가 비디오의 내용을 한눈에 알아볼 수 있고 원하는 내용에 손쉽게 접근할 수 있도록 도와줄 수 있다. 또 보다 상세한 ToC가 요구되는 경우에는 유용한 정보들이 포함되어 있는 초기 형태의 ToC로써 이용되어 수작업에 의한 ToC 생성에 필요한 시간을 효과적으로 줄이는 것이 가능하다. 실험을 통해 제안한 방법으로 여러 개의 교육용 비디오에서 ToC를 효과적으로 생성될 수 있음을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제3권4호
• /
• pp.27-34
• /
• 1998

본 논문에서는 움직임 벡터와 빛의 세기를 이용하여 비디오의 인덱싱과 검색 기법에 대하여 제안한다. 본 논문에서는 움직임 벡터의 특징과 빛의 세기를 계산하여 각 샷 당하나의 대표프레임을 추출하였다. 각각의 대표프레임은 빛의 흐름을 계산하였다. 즉 움직임벡터의 특징은 빛의 흐름으로부터 얻어냈고, BMA 는 움직임 벡터를 찾기 위해 사용했다. 그리고 빛의 세기 값을 히스토그램으로 변환 한 후 컷 검출에 사용하였다. 비디오 프레임의움직임 벡터와 빛의 세기 특징을 기반으로 비디오 데이터를 구성하고 인덱싱 하였다. 비디오 데이터베이스는 비디오의 접근을 위해 내용기반을 제공하고, 인덱스 특징은 B+ 트리 검색을 사용했고, 내부적으로 구성되어 단 노드 방식으로 저장되어 컴퓨터 저장장치에 직접 접근할 수 있게 했다. 본 논문에서는 비디오 데이터 모델을 기반으로 한 비디오 인덱스의 문제를 정의하였다.

• 한국멀티미디어학회논문지
• /
• 제10권5호
• /
• pp.559-568
• /
• 2007

앵커 장면 검출은 내용기반 뉴스 비디오 색인과 검색 시스템에서 비디오 장면의 의미적 파싱과 색인을 추출하는데 중요한 역할을 한다. 이 논문은 스포츠 뉴스의 단위 구조화를 위해서 뉴스 동영상에 존재하는 앵커 구간을 구분해내는 효율적인 알고리즘을 제안한다. 앵커 장면을 검출하기 위해서, 우선 MPEG4 압축 비디오에서 DCT 계수치와 모션 방향성 정보를 이용하여 앵커 후보 장면을 결정한다. 그리고 검출된 후보앵커 장면으로부터 영상처리 방법을 활용하여 뉴스 비디오를 앵커 장면과 비앵커(스포츠) 장면으로 분류한다. 제안된 방법은 앵커 장면 검출 실험에서 평균적으로 98%의 정확도와 재현율을 얻었다.

• 지능정보연구
• /
• 제19권4호
• /
• pp.81-96
• /
• 2013

웹의 발전과 콘텐츠 산업의 팽창으로 비디오 데이터가 폭발적으로 증가함에 따라 데이터의 정보 검색은 매우 중요한 문제가 되었다. 그동안 비디오 데이터의 정보 검색과 브라우징을 위해 비디오의 프레임(frame)이나 숏(shot)으로부터 색채(color)와 질감(texture), 모양(shape)과 같은 시각적 특징(features)들을 추출하여 비디오의 내용을 표현하고 유사도를 측정하는 내용 기반(content-based)방식의 비디오 분석이 주를 이루었다. 영화는 하위 레벨의 시청각적 정보와 상위 레벨의 스토리 정보를 포함하고 있다. 저차원의 시각적 특징을 통해 내용을 표현하는 내용 기반 분석을 영화에 적용할 경우 내용 기반 분석과 인간이 인지하는 영화의 내용 사이에는 의미적 격차(semantic gap)가 발생한다. 왜냐하면 영화의 스토리는 시간의 진행에 따라 그 내용이 변하고, 관점에 따라 주관적 해석이 가능한 고차원의 의미정보이기 때문이다. 따라서 스토리 차원의 정보 검색을 위해서는 스토리를 모델링하는 정형화된 모형이 필요하다. 최근 들어 소셜 네트워크 개념을 활용한 스토리 기반의 비디오 분석 방법들이 등장하고 있다. 그러나 영화 속 등장인물들의 소셜 네트워크를 통해 스토리를 표현하는 이 방법들은 몇 가지 문제점들을 드러내고 있다. 첫째, 등장인물들의 관계에만 초점이 맞추어져 있으며, 스토리 진행에 따른 등장인물들의 관계 변화를 역동적으로 표현하지 못한다. 둘째, 등장인물의 정체성과 심리상태를 보여주는 감정(emotion)과 같은 심층적 정보를 간과하고 있다. 셋째, 등장인물 이외에 스토리를 구성하는 사건과 배경에 대한 정보들을 반영하지 못하고 있다. 따라서 본 연구는 기존의 스토리 기반의 비디오 분석 방법들의 한계를 살펴보고, 문제 해결을 위해 문학 이론에서 제시하고 있는 서사 구조에 근거하여 스토리 모델링에 필요한 요소들을 인물, 배경, 사건의 세 가지 측면에서 제시하고자 한다.

• 한국산업정보학회논문지
• /
• 제6권3호
• /
• pp.115-122
• /
• 2001

비디오 데이터의 장면전환검출은 연속되는 두 개 샷(shot) 사이의 경계인 컷(cut)을 검출하는 것으로 비디오 검색과 색인의 첫 번째 단계로서 매우 중요한 역할을 한다. 본 논문에서는 압축된 비디오에서 최소의 복호화로 빠르고 정확한 장면전환을 검출하기 위해 단계적 접근을 이용한 알고리듬을 제안한다. 제안한 방법은 먼저 I-프레임의 DC 영상을 이용해서 장면전환을 포함한 GOP(group of picture)를 찾고 GOP내에서 장면전환이 발생한 정확한 위치는 B-프레임에서 매크로블록의 부호화 형태에 관한 정보를 이용해서 찾는다. 이 방법은 기존의 P, B-프레임의 DC 영상을 모두 이용하는 것보다 간단하고 P, B-프레임의 DC 영상에서 발생하는 화질 열화를 고려할 필요가 없다는 장점이 있다. 실험결과 제안한 방법이 기존의 모든 프레임의 DC 영상을 이용한 방법보다 성능이 우수함을 볼 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.567-571
• /
• 2009

스포츠 경기의 비디오 중계는 생동감 있고 흥미로운 장면들을 시청자에게 제공해주기 위하여 여러 대의 카메라를 사용한다. 하지만 기존의 방송 시스템은 시청자에게 하나의 비디오로 편집된 장면만을 제공하기 때문에 시청자의 관심도를 고려하여 특정 장면을 요약해주거나 검색해주는 등의 지능형 방송 서비스가 어렵다. 본 논문에서는 여러 대의 카메라로 촬영한 축구경기 비디오를 요약 및 검색해주는 시스템을 제안한다. 이는 비디오에 주석으로 태깅되어있는 저수준 정보를 기반으로 하는 동적 베이지안 네트워크를 이용하여 슛, 크로스, 반칙, 세트플레이 등과 같은 주요장면을 추출하고, 해당 주요장면타입에 따라 자동으로 뷰를 선택한다. 따라서 제안하는 시스템은 사용자에게 주요장면 요약이나 선호하는 뷰의 선택기능을 제공하며, 사용자의 선호도를 고려할 경우 개인화 방송 서비스를 제공해줄 수 있다.

• 한국통신학회논문지
• /
• 제28권1C호
• /
• pp.47-55
• /
• 2003

본 논문에서는 압축된 MPEG2 비디오 스트림이 포함하고 있는 정보들을 이용하여 카메라의 움직임에 따른 연속적인 프래임의 변위를 추정하고 이를 기반으로 모자이크 이미지를 구성하는 방법을 제안한다. 제안된 방법에서는 MPEG의 매크로 블록 단위의 움직임 벡터로부터 근사적인 광 플로우(Optical Row)를 구성하고, 이를 이용하여 팬(Pan), 틸트(Tilt) 등의 카메라 동작에 따른 프래임의 변위량을 추출한다. 추정된 변위량은 모자이크 이미지를 구성하는데 있어서 연속되는 비디오 프래임의 기하학적인 변환을 결정한다. 본 논문의 모자이크 구성은 Nicolas가 제안한 분석적 가중치 등을 이용한 혼합(blending) 방법을 사용하였다. 실험결과 분석적인 가중치를 이용한 혼합방법은 평균이나 미디안에 의한 혼합방법보다 배경의 급격한 변화가 적으며 비디오 프래임의 정보를 충실히 활용함을 알 수 있었다. 구성된 모자이크는 압축정보를 디코딩하고 정확한 광플로우를 구성하는 방식에 비해 부호화 과정에 포함된 움직임 벡터를 이용하여 매크로 블록 단위의 근사적인 광플로우를 이용하기 때문에 계산량을 줄일 수 있다. 구성된 근사적인 모자이크는 비디오의 정보를 요약하고 있기 때문에 압축된 비디오 검색을 위한 대표 프레임 등에 사용될 수 있다.