• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.173-176
• /
• 2009

본 논문에서는 영상 정보와 오디오 정보 분석을 이용하여 TV 골프 방송 프로그램에서 중요 이벤트 구간을 검출하고 요약 하는 알고리즘을 제안한다. 제안하는 알고리즘에서는 입력되는 TV 골프 동영상을 영상 신호와 오디오 신호로 분리한 후에, 연속적인 오디오 스트림을 내용 기반의 오디오 구간으로 분류한 뒤 오디오 이벤트 구간을 검출하고, 이와 병렬적으로 영상정보에서 선수들의 플레이 장면을 검출한다. 플레이 장면 검출에 있어서는 방송 환경이나 날씨 등의 변화하는 다양한 조건에 대해 플레이 장면에 대한 오프라인 모델과 함께 경기 내에서 발생한 온라인 모델에 대한 학습을 혼합 적용함으로써 검출 성능을 높였다. 오디오 신호로부터 관중들의 박수소리와 스윙 사운드를 통해 검출된 오디오 이벤트와 플레이 장면은 이벤트 장면 검출 및 요약본 생성을 위해 사용된다. 제안된 알고리즘은 멀티 모달 정보를 이용하여 이벤트 구간 검출을 수행함으로써 중요 이벤트 구간 검출의 정확도를 높일 수 있었고, 검출된 이벤트 구간에 대한 요약본 생성을 통해 골프 경기를 시청하는 사용자가 원하는 부분을 빠르게 브라우징하여 시청하는 것이 가능하여 높은 사용자 만족도를 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.133-136
• /
• 2009

본 논문에서는 야구 동영상에서 실시간으로 중요 이벤트 장면을 검출하는 알고리즘을 제안한다. 제안하는 알고리즘은 영상정보를 분석하여 Pitching 신과 Close Up 신을 추출하여 Play 구간을 검출하고, 오디오 정보를 분석하여 오디오 이벤트 구간을 검출한다. Play 구간의시작인 Pitching 신을 검출하기 위해서는 오프라인 모델과 온라인 모델을 혼용하여 다양한 환경에 상관없이 높은 성능을 보일 수 있도록 하였으며, 아나운서의 억양 및 관중의 함성의 고조도가 높아지는 구간을 기반으로 검출된 오디오 이벤트 구간을 영상 정보 분석을 통해 획득된 Play 장면구간을 결합하여 중요 이벤트 장면 검출의 정확도를 높일 수 있도록 하였다. 실험에 의하면 제안하는 알고리즘은 1초의 동영상 데이터를 처리하는데 0.024초의 소요 시간이 필요하고, 0.89의 Recall과 0.975의 Precision 검출 성능을 보임을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2012년도 제45차 동계학술발표논문집 20권1호
• /
• pp.7-10
• /
• 2012

본 논문에서는 스마트폰을 이용하여 도로 주행 정보를 기록하고 운전자에게 패턴 별 주행정보를 제공하는 라이프로그(Lifelog) 형태의 서비스에 목적을 두고 있다. 운전자의 도로 주행 데이터를 데이터베이스화한 이 정보는 다양하게 이용될 수 있다. 주행 패턴 인식은 이벤트 구간 검출 과정을 통한 패턴 구간을 검출하고 가속도 센서와 방향 센서, 즉 멀티 센서 기반으로 주행패턴을 인식한다. 주행 패턴을 분석 후 시간 정보를 이용하여 촬영된 영상 데이터에서의 패턴 구간 영상을 같이 제공한다. 이렇게 패턴 구간의 센서 스트리밍 정보와 영상을 제공하면 운전자의 운전 성향 및 주행 기록을 분석하는데 이용될 수 있다. 따라서 주행패턴 인식 알고리즘을 프로토타입으로 제안한다.

• 한국음향학회지
• /
• 제28권7호
• /
• pp.674-679
• /
• 2009

본 논문은 골프 동영상에 포함된 오디오 정보로부터 검출된 이벤트 사운드 구간과 골프 선수이름이 포함된 음성구간을 결합하여 선수별 이벤트 구간을 검색하는 방식을 제안한다. 전체적인 시스템은 동영상으로부터 분할된 오디오 스트림으로부터 잡음제거, 오디오 구간분할, 음성 인식 등의 과정을 통한 자동색인 모듈과 사용자가 텍스트로 입력한 선수 이름을 발음열로 변환하고, 색인된 데이터베이스에서 질의된 선수 이름과 상응하는 음성구간과 연결되는 이벤트 구간을 찾아주는 검색 모듈로 구성된다. 선수이름 검색을 위해서 본 논문에서는 음소 기반, 단어 기반, 단어와 음소를 결합한 하이브리드 방식을 적용한 선수별 이벤트 구간 검색결과를 비교하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.183-190
• /
• 2017

본 논문에서는 깊은 신경망을 이용한 오디오 이벤트 검출 방법을 제안한다. 오디오 입력의 매 프레임에 대한 오디오 이벤트 확률을 feed-forward 신경망을 적용하여 생성한다. 매 프레임에 대하여 멜 스케일 필터 뱅크 특징을 추출한 후, 해당 프레임의 전후 프레임으로부터의 특징벡터들을 하나의 특징벡터로 결합하고 이를 feed-forward 신경망의 입력으로 사용한다. 깊은 신경망의 출력층은 입력 프레임 특징값에 대한 오디오 이벤트 확률값을 나타낸다. 연속된 5개 이상의 프레임에서의 이벤트 확률값이 임계값을 넘을 경우 해당 구간이 오디오 이벤트로 검출된다. 검출된 오디오 이벤트는 1초 이내에 동일 이벤트로 검출되는 동안 하나의 오디오 이벤트로 유지된다. 제안된 방법으로 구현된 오디오 이벤트 검출기는 UrbanSound8K와 BBC Sound FX자료에서의 20개 오디오 이벤트에 대하여 71.8%의 검출 정확도를 보였다.

• 한국음향학회지
• /
• 제39권1호
• /
• pp.24-31
• /
• 2020

본 논문에서는 음향 이벤트 검출을 위한 심층 신경망에 대한 연구를 진행하였다. 특히 약하게 표기된 데이터 및 표기되지 않은 훈련 데이터를 포함하는 약지도 문제에 대하여, 입력 오디오 파형으로부터 이벤트 검출 결과를 얻어내는 종단간 신경망을 구축하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 1차원 콘볼루션 신경망을 깊게 적층하는 구조를 기반으로 하였으며, 도약 연결 및 게이팅 메커니즘 등의 추가적인 구조를 통해 성능을 개선하였다. 또한 음향 구간 검출 및 후처리를 통하여 성능을 향상시켰으며, 약지도 데이터를 다루기 위하여 평균-교사 모델을 적용하여 학습하는 과정을 도입하였다. 본 연구에서 고안된 시스템을 Detection and Classification of Acoustic Scenes and Events(DCASE) 2019 Task 4 데이터를 이용하여 평가하였으며, 그 결과 약 54 %의 구간-기반 F₁-score 및 32%의 이벤트-기반 F₁-score를 얻을 수 있었다.

• 한국음향학회지
• /
• 제42권5호
• /
• pp.395-401
• /
• 2023

음향 이벤트 검출(Sound Event Detection, SED)은 음향 신호에서 관심 있는 음향의 종류와 발생 구간을 검출하는 기술로, 음향 감시 시스템 및 모니터링 시스템 등 다양한 분야에서 활용되고 있다. 최근 음향 신호 분석에 관한 국제 경연 대회(Detection and Classification of Acoustic Scenes and Events, DCASE) Task 4를 통해 다양한 방법이 소개되고 있다. 본 연구는 다양한 영역에서 성능 향상을 이끌고 있는 Dense Convolutional Networks(DenseNet)을 음향 이벤트 검출에 적용하기 위해 설계 변수에 따른 성능 변화를 비교 및 분석한다. 실험에서는 DenseNet with Bottleneck and Compression(DenseNet-BC)와 순환신경망(Recurrent Neural Network, RNN)의 한 종류인 양방향 게이트 순환 유닛(Bidirectional Gated Recurrent Unit, Bi-GRU)을 결합한 DenseRNN 모델을 설계하고, 평균 교사 모델(Mean Teacher Model)을 통해 모델을 학습한다. DCASE task4의 성능 평가 기준에 따라 이벤트 기반 f-score를 바탕으로 설계 변수에 따른 DenseRNN의 성능 변화를 분석한다. 실험 결과에서 DenseRNN의 복잡도가 높을수록 성능이 향상되지만 일정 수준에 도달하면 유사한 성능을 보임을 확인할 수 있다. 또한, 학습과정에서 중도탈락을 적용하지 않는 경우, 모델이 효과적으로 학습됨을 확인할 수 있다.

• 한국통신학회논문지
• /
• 제41권9호
• /
• pp.1120-1131
• /
• 2016

본 논문은 흡연으로 인한 화재사고 방지를 위해, 비디오 영상에서 흡연자를 검출하는 알고리즘을 제안한다. 흡연자의 행동을 인식하기 위해 행동 인식 기법의 계층적 방법 중 서술 기반 접근 방법을 기반으로 제안하는 알고리즘은 배경 영역 분리, 객체 검출, 이벤트 탐지, 이벤트 판단 과정으로 구성된다. 배경 영역 분리 과정으로 학습률이 다른 두 개의 가우시안 혼합 모델을 이용하여 입력 영상으로부터 고속 움직임 전경, 저속 움직임 전경 영상을 생성하고, 저속움직임 전경 영상을 chain-rule 기반 외곽선 검출 알고리즘을 통하여 객체의 위치를 추출해낸다. 위치 정보를 기반으로 흡연자의 세 가지 특징인 얼굴, 연기, 손의 움직임을 이벤트 탐지 과정에서 검출한다. Haar-like feature를 이용하여 얼굴을 검출하며, 고속 움직임 전경에서 연기의 발생 빈도수와 방향성을 반영하여 연기를 검출한다. 움직임 추정을 통해 반복적인 손의 움직임을 검출한다. 일정 구간의 비디오 시퀀스 내 객체들에 대하여, 검출된 특징들의 서술적 관계를 반영하여 각각의 객체가 흡연자인지 판단한다. 제안하는 방법은 실시간으로 여러 다른 객체들 사이에서 강인하게 흡연자를 검출한다.

• 한국산업정보학회논문지
• /
• 제17권3호
• /
• pp.35-42
• /
• 2012

운전자의 도로 주행 데이터를 데이터베이스화한 정보는 다양하게 이용될 수 있다. 이러한 주행 정보를 이용한다면 운전자의 운전 성향을 분석하는데 도움이 될 것이다. 따라서 본 논문에서는 스마트폰을 이용하여 도로 주행 시의 센서 데이터들을 기록하고 주행 패턴을 인식하는 방법을 제안한다. 운전 성향을 분석하기에 앞서 패턴 별 주행 정보를 제공하기 위해 주행 패턴을 인식하는데 중점을 두었다. 좌회전, U턴, 우회전, 급감속, 급출발, 급가속, 과속방지턱에 해당하는 7개의 패턴을 인식하기 위한 과정으로 데이터 전처리를 통해 이벤트가 발생한 구간을 검출 후, DTW(Dynamic Time Warping) 알고리즘을 이용한 결정 방식을 적용하여 패턴을 인식한다. 제안된 방법은 운전자의 정보 제공을 위해 인식된 패턴과 함께 동시에 녹화된 비디오 스트림도 제공되며, 이는 안전운전시스템이나 운전습관분석시스템의 중요한 요소라 할 수 있다.