• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.248-251
• /
• 2013

컴퓨터 비전에서 BoW를 이용한 장면 분류 기법에 대한 연구가 활발히 진행되고 있다. BoW 기법의 장면 분류는 K-means 클러스터링을 통하여 코드북을 생성하는 과정에서 트레이닝 이미지의 클래스 정보를 활용하지 않기 때문에 성능이 제한적이라는 문제점을 가지고 있다. 본 논문에서는 BoW를 이용한 장면 분류 과정에서 코드북 생성을 위하여 각각 특징 기술자들의 유클리디안 거리뿐만이 아니라 클래스 확률 밀도 함수들의 히스토그램 교차값을 최소화 하는 최적화 K-means 클러스터링 기법을 제안한다. 장면의 SIFT 특징 기술자 정보뿐만 아니라 장면이 속해있는 클래스 정보를 결합하여 클러스터링을 수행함으로써 장면 분류의 정확도를 높일 수 있다. 장면 분류 정확도 실험에서 제안하는 클러스터링을 사용한 BoW 장면 분류 기법은 기존의 K-means을 사용한 BoW 장면 분류 기법보다 높은 정확도를 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
• /
• pp.755-758
• /
• 2005

뉴스 데이터를 구조적으로 분할하고 의미적으로 분류하여 내용별로 세분화하여 검색하는 방법을 제안한다. 구조적 분할은 공간 밝기 분포와 명암도의 불연속성 그리고 시간적인 관계 등 프레임간의 상관 정보를 이용하여 장면을 분할한다. 의미적 분류는 키 프레임에서 추출된 특징 정보를 사전 지식 정보와 비교하여 뉴스 비디오의 세부 내용을 기사별로 분류한다. 뉴스의 진행이 앵커 프레임을 중심으로 주기적으로 반복된다는 특징을 이용하여 앵커 장면과 비 앵커 장면으로 기사를 분류한다. 비 앵커 장면은 연설장면, 인터뷰장면, 일반 장면으로 세분화하고 기사별로 분류하여 검색하도록 한다. 또한 뉴스 아이콘에 의한 요약 검색 기능 그리고 자막 통합 처리에 의한 자막 검색을 하여 뉴스 비디오를 내용별로 분류하고 인덱싱하여 신속하게 뉴스 비디오를 검색할 수 있도록 설계한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.574-576
• /
• 2001

본 논문에서는 최근 관심이 증가하고 있는 축구 경기 MPEG 비디오에서 정면이 변하는 부분을 검출하고 동일한 의미의 장면들을 분류하는 기술을 제안한다. MPEG 비디오에서 디코딩 과정을 거치지 않고 직접 에지(edge) 정보와 색상 분포 정보를 추출하여 적은 연산량으로 장면 전환 검출의 정확성을 높이고, 검출된 결과를 기반으로 샷(shot)을 특징 지울 수 있는 특정 색상들과 에지 정보를 이용해서 축구 MPEG 비디오내의 장면들을 내용적으로 분류한다. 제안한 방법은 카메라 움직임으로 발생하는 글러벌 모션의 변화에 대해서도 효과적으로 장면 전환을 검출하고 의미적으로 유사한 샷들에 대하여 장면 분류를 수행하는 결과를 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제10권5호
• /
• pp.559-568
• /
• 2007

앵커 장면 검출은 내용기반 뉴스 비디오 색인과 검색 시스템에서 비디오 장면의 의미적 파싱과 색인을 추출하는데 중요한 역할을 한다. 이 논문은 스포츠 뉴스의 단위 구조화를 위해서 뉴스 동영상에 존재하는 앵커 구간을 구분해내는 효율적인 알고리즘을 제안한다. 앵커 장면을 검출하기 위해서, 우선 MPEG4 압축 비디오에서 DCT 계수치와 모션 방향성 정보를 이용하여 앵커 후보 장면을 결정한다. 그리고 검출된 후보앵커 장면으로부터 영상처리 방법을 활용하여 뉴스 비디오를 앵커 장면과 비앵커(스포츠) 장면으로 분류한다. 제안된 방법은 앵커 장면 검출 실험에서 평균적으로 98%의 정확도와 재현율을 얻었다.

• 한국통신학회논문지
• /
• 제28권5C호
• /
• pp.514-522
• /
• 2003

본 논문에서는 다수의 특징과 이진 분류 트리를 이용하여 장면 전환점(shot change)을 검출하는 향상된 방식을 제안한다. 기존의 장면 전환점 검출 방식에서는 인접한 프레임간에 단일 특징과 고정된 임계값을 주로 사용하였다. 하지만, 비디오 시퀀스 내의 장면 전환점에서는 인접한 프레임간의 내용(content)인 컬러, 모양, 배경 혹은 질감 등이 동시에 변화한다. 따라서 본 논문에서는 단일 특징보다는 상호 보완 관계를 갖는 다수의 특징을 이용하여 장면 전환점을 효율적으로 검출한다. 그리고 장면 전환점의 분류를 위해서는 이진 분류 트리(binary classification tree)를 이용한다. 이 분류 결과에 따라 장면 전환점 검출에 사용될 중요한 특징들을 선별하고, 각 특징들의 최적 임계값을 구한다. 또한, 분류 성능을 확인하기 위해 교차검증(cross-validation)과 드롭 케이스(drop-case)를 수행하였다. 실험 결과, 제안된 기법이 단일 특징들만을 사용한 기존의 방법들 보다 El(Evaluated Index, 성능평가지수)에서 평균 2%의 성능이 향상됨을 알 수 있었다.

• 한국지능시스템학회논문지
• /
• 제24권2호
• /
• pp.166-172
• /
• 2014

이미지를 각각의 카테고리로 분류하는 일은 컴퓨터 비전 분야의 중요한 문제 중 하나이다. 그러나 이미지에 존재하는 가변성, 모호성, 스케일 문제 등으로 인해 매우 도전적인 문제라고 할 수 있다. 본 논문에서는 장면 이미지를 구성하는 시멘틱 속성들의 고차원의 상호작용 관계를 고려 가능한 하이퍼그래프 기반의 모델링 기법을 제시하고 이를 장면 이미지 분류에 적용한다. 각 장면 카테고리에 준최적화된 하이퍼그래프를 생성하기 위해 확률 부분공간 기법에 기반을 둔 탐색기법을 제안하고, 이들 부분 공간 내에 속한 시멘틱 속성들의 발현량을 축약하기 위한 우도비 기반의 선형 변환 기법을 제안한다. 제안한 기법의 우수성을 검증하기 위한 실험을 통하여 제시한 기법을 통해 생성된 특징 벡터의 분별력이 기존의 기법들에서 사용된 특징 벡터들의 분별력보다 우수함을 보인다. 또한 제안한 기법을 장면 분류 데이터에 적용한 결과 기존의 기법들과 비교하여 경쟁력 있는 분류 성능을 보인다. 제안 한 기법은 이미지 분류에서 일반적으로 사용 되는 기법인 BoW+SPM 모델과 비교하여 3~4%이상의 성능 향상을 보였다.

• 정보처리학회논문지B
• /
• 제14B권2호
• /
• pp.89-98
• /
• 2007

비디오와 브라우징, 검색, 조작을 위해서 비디오 내용을 기술하는 색인이 요구된다. 지금까지 색인의 구성은 대부분 비디오 내용에 제한된 키워드를 수작업으로 할당하는 전문가에 의해 수행되었는데 이는 비용과 시간을 소비하는 사업이므로 비디오 내용을 자동으로 분류하는 것이 필요하다. 이 연구는 축구, 골프, 야구, 농구, 배구 등 5종의 스포츠 뉴스 비디오의 분석과 요약을 위해서 자동적이고 효율적인 방법을 제안한다. 우선, 스포츠 뉴스 비디오를 앵커 장면과 스포츠 기사 장면으로 분류한다. 장면 분류는 앵커 장면의 영상 전처리와 색상 특정을 기반으로 한다. 그리고 필드의 우세색상과 모션 방향을 특징으로 이용하여 스포츠 장면을 5개의 장르로 분류한다. 241개의 스포츠 뉴스 장면에 대한 실험에서 75%의 정확도를 얻었다. 따라서 제안된 기법은 향후 개별 스포츠 뉴스와 스포츠 하이라이트를 위한 뉴스 비디오를 검색하는데 이용될 수 있을 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (하)
• /
• pp.891-894
• /
• 2000

본 논문에서는 효과적인 내용기반 비디오 검색을 위한 샷 경계 검출, 장면 경계 검출, 그리고 비디오 크래시피케이션 방법을 연구하였다. 먼저, 샷 경계 검출을 위해 칼라 히스토그램과 DCT 변환 계수를 통합하여 사용했다. 그리고 장면 경계 검출을 위해서는 영상 정보뿐만 아니라 오디오 정보를 함께 사용하여 장면 경계를 검출하였다. 또한 비디오 크래시피케이션에서는 장면 경계검출시 추출한 오디오 정보를 이용해 비디오를 내용별로 분류하는 연구를 제안하였다. 뉴스, 광고, 스포츠 등 다양한 3개 분야의 TV 프로그램으로 구성된 약 8,500개 영상 프레임과 약 50,000개의 오디오 프레임을 가진 실험 비디오 데이터베이스를 구성하여 제안된 시스템을 실험하였다. 실험한 결과, 약 88%의 정확도(Precision)를 가지는 장면 경계 검출과 약 85%의 평균 분류율을 보였다.

• 응용통계연구
• /
• 제34권6호
• /
• pp.979-993
• /
• 2021

음향 장면 분류는 오디오 파일이 녹음된 환경이 어디인지 분류하는 문제이다. 이는 음향 장면 분류와 관련한 대회인 DCASE 대회에서 꾸준하게 연구되었던 분야이다. 실제 응용 분야에 음향 장면 분류 문제를 적용할 때, 모델의 복잡도를 고려하여야 한다. 특히 경량 기기에 적용하기 위해서는 경량 딥러닝 모델이 필요하다. 우리는 경량 기술이 적용된 여러 모델을 비교하였다. 먼저 log mel-spectrogram, deltas, delta-deltas 피쳐를 사용한 합성곱 신경망(CNN) 기반의 기본 모델을 제안하였다. 그리고 원래의 합성곱 층을 depthwise separable convolution block, linear bottleneck inverted residual block과 같은 효율적인 합성곱 블록으로 대체하고, 각 모델에 대하여 Quantization를 적용하여 경량 모델을 제안하였다. 경량화 기술을 고려한 모델은 기본 모델에 대비하여 성능이 비슷하거나 조금 낮은 성능을 보였지만, 모델 사이즈는 503KB에서 42.76KB로 작아진 것을 확인하였다.

• 한국정보통신학회논문지
• /
• 제24권3호
• /
• pp.384-390
• /
• 2020

영화나 VR 콘텐츠 제작 시 음향에 잔향 효과를 주는 것은 현장감과 생동감을 느끼게 하는데 매우 중요한 요소이다. 공간에 따른 음향의 잔향 시간은 RT60(Reverberation Time 60dB)이라는 표준에서 권고된다. 본 논문에서는 음향 편집 시 자동 잔향 편집을 위한 장면 인식 기법을 제안한다. 이를 위해 컬러 이미지와 예측된 깊이 이미지를 동일한 모델에 독립적으로 학습하는 분류 모델을 설계하였다. 실내 장면 분류는 내부 구조가 유사한 클래스가 존재하여 컬러 정보 학습만으로는 인식률의 한계가 존재한다. 공간의 깊이 정보를 사용하기 위해 딥러닝 기반의 깊이 정보 추출 기술을 사용하였다. RT60을 기반으로 총 10개의 장면 클래스를 구성하고 모델 학습 및 평가를 진행하였다. 최종적으로 제안하는 SCR+DNet(Scene Classification for Reverb＋Depth Net) 분류기는 92.4%의 정확도로 기존의 CNN 분류기들보다 더 높은 성능을 달성하였다.