• 한국정보통신학회논문지
• /
• 제11권1호
• /
• pp.102-107
• /
• 2007

본 논문에서는 동작에 근거한 새로운 비디오 편집 방법을 제안한다. 강의 비디오에서 전자 슬라이드 내용을 자동으로 검출하고 비디오와 동기화한다. 각 동기화된 표제의 동작을 연속적으로 추적 및 인식한 후, 등록된 화면과 슬라이드에서 변환 내용을 찾아 동작이 일어 나는 영역을 확인한다. 인식된 동작과 등록된 지점에서 슬라이드의 정보를 추출하여 슬라이드 영역을 부분적으로 확대한다거나 원본 비디오를 자동으로 편집함으로써 비디오의 질을 향상 시킬 수가 있다. 2개의 비디오 가지고 실험한 결과 각 95.5,96.4 %의 동작 인식 결과를 얻을 수 있었다.

• 대한전자공학회논문지SP
• /
• 제40권1호
• /
• pp.10-19
• /
• 2003

비디오 영상에 포함되어 있는 자막은 비디오의 내용을 함축적으로 표현하고 있기 때문에 비디오 색인 및 검색에 중요하게 사용될 수 시다. 본 논문에서는 뉴스 비디오로부터 폰트, 색상, 자막의 크기 등과 같은 사전 지식 없이도 자막을 효율적으로 추출하여 인식하는 방법을 제안한다. 문자 영역의 추출과정에서 문자영역은 뉴스 비디오의 여러 프레임에 걸쳐나 나오기 때문에 인길 프레임의 차영상을 통해서 동일한 자막 영역이 존재하는 프레임을 자동적으로 추출한 후, 이들의 시간적 평균영상을 만들어 인식에 사용함으로써 인식률을 향상한다. 또한, 평균 영상의 외각선 영상을 수평, 수직방향으로 투영한 값을 통해 문자 영역을 찾아 Region filling, K-means clustering을 적용하여 배경들을 완벽하게 제거함으로써 최종적인 자막 영상을 추출한다. 자막 인식과정에서는 문사 영역 추출과정에서 추출된 글자영상을 사용하여 white run, zero-one transition과 같은 비교적 간단한 특징 값을 추출하여 이를 비교함으로써 인식과정을 수행한다. 제한된 방법을 다양한 뉴스 비디오에 적용하여 문자영역 추출 능력과 인식률을 측정한 결과 우수함을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.452-454
• /
• 1998

본 논문에서는 MPEG 압축 비디오 상에서 얼굴 영역을 추출하고 이를 인식하는 방법에 대하여 제안한다. 제안된 방법은 크게 MPEG 압축 비디오의 처리를 위한 축소된 DC 영상의 구성 단계, 축소된 DC 영상에서의 얼굴 영역 추출 단계, 그리고 얼굴 영역이 추출된 프레임에 대한 압축 복원 및 얼굴 인식의 3단계로 구성되어있다. DC 영상의 구성 단계에서는 압축 복원 없이 DCT 계수의 DC 값과 2개의 AC 값만을 사용하여 부분적인 2차원 역 DCT 변환을 이용한 방법을 사용하였으며, 얼굴 영역 추출 단계에서는 DC 영상에 대해 얼굴의 색상 및 형태 정보를 이용한 얼굴 후보 영역 추출 방법과 K-L 변환 및 역 변환의 오차에 의한 얼굴 영역 추출 방법을 사용하였다. 얼굴 인식 단계에서는 얼굴 영역이 추출된 프레임에 대하여 GOP 단위의 압축 복원을 수행한 후 고유 얼굴 영상을 이용한 방법으로 얼굴 인식을 수행하였다. 제안된 방법의 성능을 검증하기 위하여 뉴스와 드라마 MPEG 비디오를 대상으로 실험을 수행하였으며, 실험 결과 제안된 방법이 효율적임을 알 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
• /
• pp.356-358
• /
• 1999

최근 몇 년 동안 멀티미디어 정보의 급격한 증가와 더불어, 사용자에게 다양한 형태의 검색 환경 제공하기 위한 연구들이 꾸준히 이루어지고 있지만, '얼굴에 의한 질의(Query-by-face)'에 대한 연구는 다른 검색 방법에 비해 상대적으로 미약한 편이다. 얼굴 검색은 일반적인 내용기반 검색 분야에 비해 어려운 분야로 현재 대부분의 얼굴 인식 및 검색 시스템들은 일정한 배경 및 조명, 동일한 얼굴 크기를 갖는 한정된 형태의 데이터만을 사용한다. 본 논문에서는 영화 비디오로부터 추출된 대표 프레임 중 사용자가 원하는 등장 인물을 찾기 위한 기술 개발을 위해 비디오 영상으로부터 얼굴을 검출하고 인식하는 방법을 제안한다. 기존의 방법들은 실험 영상이 제한되어 있다거나 인식의 정확성을 위해 몇 개의 부수적인 얼굴 데이터를 별도로 보관해야만 했지만 본 논문에서는 배경과 두드러진 특징을 갖는 얼굴 색을 이용하여 얼굴 영역 검출 속도를 향상시키고, 웨이블릿 변환과 하우스돌프 거리(Haudorff distance)를 이용하여 별도의 데이터가 필요없이 얼굴을 인식이 가능한 시스템을 설계하였다. 또한, 영화 비디오 및 뉴스, 인터뷰 비디오 등 다양한 형태의 배경 및 조명, 크기 변화를 갖는 데이터에 대한 실험결과를 통해 본 논문에서 제안하는 방법에 대한 성능 평가 실시하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 춘계학술발표대회
• /
• pp.801-804
• /
• 2004

본 논문에서는 등장 인물 검출 및 인식과 함께 등장 인물의 출연 구간 분석이 가능한 시스템을 제안한다. 드라마, 스포츠와 같은 방송 비디오는 그 특성상 인물이 중심이 되며 각 시점에 등장하는 주요 인물은 방송용 비디오의 중요한 특징이 된다. 따라서 방송용 비디오의 중요한 특징인 등장 인물을 분석하여 효율적인 비디오 관리 시스템을 개발할 수 있다. 본 논문에서 제안된 ACAV(Automatic Characters Analysis in Videos) 시스템은 등장 인물을 검출하여 인물 DB에 등록하는 FAGIS(FAce reGIStration)와 생성된 인물 DB을 이용하여 등장 인물을 분석하는 FACOG(FAce reCOGnition)로 구성된다. 상용화된 등장 인물 분석 시스템인 FaceIt과의 성능 비교를 통해 ACAV의 성능을 검증하였다. 얼굴 검출 실험에서 ACAV의 얼굴 검출률은 84.3%로 FaceIt 보다 약 30% 높았고, 얼굴 인식 실험에서도 ACAV의 얼굴 인식률은 75.7%로 FaceIt 보다 27.5% 높은 성능을 보였다. ACAV 시스템은 방송 멀티미디어 공급자를 위한 대용량 비디오 관리 시스템으로 이용될 수 있으며 일반 사용자를 대상으로 한 PVR(Personal Video Recorder), 모바일 폰 등의 비디오 관리 시스템으로도 이용될 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.253-254
• /
• 2018

본 논문은 비디오기반 행동인식을 연구하였으며, 기존의 구조를 참조하여 더 높은 인식률을 위한 새로운 구조를 제안한다. 딥러닝의 기본인 CNN과 RNN을 베이스로 한 구조이며 UCF-101 이라는 Data Set를 사용하였다.

• 한국정보처리학회논문지
• /
• 제5권5호
• /
• pp.1130-1139
• /
• 1998

본 논문은 내용에 기반한 뉴스 비디오의 인덱싱과 검색을 위한 통합된 해결책을 제안한다. 핸재 일반적인 비디오의 자동 인덱싱은 불가능하지만 뉴스 비디오와 같은 구조가 명확한 경우는 가능하다. 이러한 뉴스의 구조화된 지식을 이용하여 키 프레임들을 자동 추출하기 위해서 제안된 우리의 모델은 뉴스사건 분할, 자막 인식, 검색 브라우저 모듈로 구성되어 있다. 첫 번째로 뉴스사건의 분할 모듈은 얼굴인식에 기반하여 사건의 중심인 앵커 장면을 인식하고 앵커 장면의 공간적 정보를 이용하여 뉴스사건을 분할한다. 다음으로 뉴스아이콘을 추출한다. 자막인식 모듈은 먼저 자막의 특성을 이용하여 자막 프레임을 검출하고 분리병합 방법을 이용하여 문자열을 추출한다. 다음으로 문자인식기(OCR)를 이용하여 문자인식을 한다. 마지막으로 검색 브라우저 모듈은 다양한 검색 방법이 가능하도록 하였다.

• 융합신호처리학회논문지
• /
• 제6권4호
• /
• pp.163-168
• /
• 2005

본 논문에서는 인물 기반의 비디오 요약 방법으로써 비디오 내 음성정보를 이용하여 화자 인식 기법을 통한 등장인물 중심의 요약 기법을 제안한다. 먼저, 얼굴 영역을 포함하는 장면을 중심으로 비디오로부터 배우의 대사에 해당하는 음성 정보를 분리하고, 화자 인식 기법을 수행하여 등장인물 별로 분류하였다. 화자인식 기법은 각 화자별로 MFCC(Mel Frequency Cepstrum Coefficient) 값을 추출하고 GMM(Gaussian Mixture Model)을 이용하여 분류한다. 본 논문에서는 4명의 등장인물에 대해 GMM을 학습시키고 4명 중 1명을 검출하는 실험을 통해 학습된 GMM 분류기가 실험 비디오에 대해 0.138 정도의 오분류율을 보임을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
• /
• pp.295-298
• /
• 2011

비디오 데이터의 지능적인 처리를 위해서는 사전에 작성한 메타데이터에 제한 받지 않는 유연한 접근방법이 필요하다. 본 논문에서는 엔트로피를 이용하여 적절한 특징을 추출한 후 비디오를 처리하는 방법을 소개한다. 이미지 인식이 잘 될 경우 일정한 이미지 조합으로 비디오의 배경을 설명할 수 있지만, 이미지 인식이 어렵기 때문에 동일한 배경일지라도 등장 인물의 움직임, 촬영 각도의 변화 등 사소한 변화가 발생하면 컴퓨터는 다른 이미지인 것으로 간주하게 된다. 우리가 제안하는 방법은 비디오를 구성하는 이미지 프레임에서 추출한 SIFT(Scale Invariant Feature Transform) 특성의 분포를 엔트로피에 기반하여 재구성한 후 분포 변화를 통해 장소 변화를 추정하는 방법이다. 제안 방법은 비디오 데이터의 이미지를 특징 짓는 비주얼 워드의 분포를 활용하기 때문에 사소한 변화 정도의 영향을 받지 않으면서 동시에 배경의 확연한 변화를 나타낼 수 있다. 우리는 실제 TV 드라마 데이터에 적용하여 제안 방법의 유용성을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.