• 한국음향학회지
• /
• 제28권2호
• /
• pp.112-118
• /
• 2009

본 논문은 모바일 단말기, Digital Video Recorder (DVR) 등에 적용할 수 있는 뮤직비디오 브라우징 시스템을 위한 실시간 중요 구간 검출 알고리즘을 제안한다. 입력된 뮤직비디오는 음악 신호와 영상 신호로 분리되어 음악 신호에서는 에너지기반의 음악 특징값 최고점기반의 구조분석을 통해 음악의 후렴 구간을 포함하는 음악 하이라이트 구간을 검출하고, SVM AdaBoost 학습방식에서 생성된 모델을 이용해 음악신호를 분위기별로 자동 분류한다. 음악신호로부터 검출된 음악 하이라이트 구간과 영상신호로부터 검출된 가수, 주인공의 얼굴이 나오는 영상장면을 결합하여 최종적으로 중요구간이 결정된다. 제안된 방식을 통해 사용자는 모바일 단말기나 DVR에 저장되어 있는 다양한 뮤직비디오들을 분위기별로 선택한 후에 뮤직비디오의 30초 내외의 중요구간을 빠르게 브라우징하여 자신이 원하는 뮤직비디오를 선택할 수 있게 된다. 제안된 알고리즘의 성능을 측정하기 위해 200개의 뮤직비디오를 정해진 수동 뮤직비디오 구간과 비교하여 MOS 테스트를 실행한 결과 제안된 방식에서 검출된 중요 구간이 수동으로 정해진 구간보다 사용자 만족도 측면에서 우수한 결과를 나타내었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.235-237
• /
• 2022

영상 콘텐츠는, 길이에 따라 롱폼 영상 콘텐츠와 숏폼 영상 콘텐츠로 구분된다. 롱폼 영상 콘텐츠는 15분 이상 길이로 생성되며, 편집 없이 촬영 영상의 모든 프레임들이 포함되도록 한다. 숏폼 영상 콘텐츠는 1분이상 15분 이내로, 촬영 영상의 프레임들로부터 일부 프레임만 짧은 길이로 편집할 수 있다. 최근 1인 방송 시장의 성장으로 인하여, 시청자들을 늘리기 위한 숏폼 영상 콘텐츠에 대한 수요가 확대되고 있다. 따라서, 숏폼 영상 콘텐츠를 편집하여 생성하는 콘텐츠 편집 기술에 대한 연구가 필요하다. 본 연구는 영상, 음성, 동작을 포착하여 주요 장면의 숏폼 동영상을 생성하는 기술을 연구한다. 주요 장면의 숏폼 동영상은 머신 러닝을 통해 미리 학습된 하이라이트 추출 모델을 이용한다. 하이라이트 영상을 자동으로 생성하는 영상 자동 편집 시스템 및 방법은 숏폼 영상 콘텐츠의 핵심 기술이다. 머신러닝 기반의 영상 자동 편집 방법 및 시스템 연구는 1인 크리에이터들의 영상 편집에 투입되는 노력과 비용시간을 감소시켜, 경쟁력있는 콘텐츠 활동을 할 수 있도록 기여할 것이다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1283-1288
• /
• 2006

실감모델링(Immersive modeling)이란 모델링하는 사람이 물체의 특성을 고려하여 오감을 활용하여 모델링하는 것을 의미한다. 실감모델링을 위한 오감 중에서 시각은 모델링하는 사람에게 가장 영향을 많이 주기 때문에 실제와 같은 색상과 형상을 생성하는 것이 중요하다. 그러나 가상현실을 위한 데이터를 실시간으로 다루기 위해 많은 데이터를 사용할 수 없고 처리 과정이 단순해야 하기 때문에 시각데이터를 획득하는 과정에도 이를 고려해야 한다. 그 중에서 반짝이는 특성을 가진 물체의 색을 정확히 표현하기 위한 방법으로 색상선(color line)을 사용한다. 색상선은 반짝이는 특성의 표면의 색을 이색성반사 모델(dichromatic reflection model)로 간주하면 색 특성을 표현하는 선이 생성되게 된다. 본 연구는 반짝이는 물체로부터 색상선을 추출하기 위한 방법으로 노출 시간이 다른 여러 장의 이미지로부터 색상을 추출하는 방법을 제안한다. 노출 시간이 다른 이미지를 사용함으로써 한 장에 의해 분류하기 어려운 색상도 분류 가능하고 하이라이트가 발생하여 색상이 왜곡된 경우도 본래 색이 어떤 색상인지 추정되기 때문에 정확한 색상 추출이 된다. 본 연구에서는 3차원 측정 장비를 이용하여 3차원 형상과 색상이 동시 추출된 모델을 이용하여 렌더링된 결과와 제안된 방법으로 추출된 색상을 적용하여 렌더링된 결과를 비교할 것이다.

• 한국정보통신학회논문지
• /
• 제16권10호
• /
• pp.2137-2142
• /
• 2012

수중환경 하에서 표적을 탐지하고 식별하는 문제는 군사적인 목적은 물론 비군사적 목적으로도 많은 연구가 수행되어 왔다. 수중환경에서의 수중음향 신호가 시간 공간적으로 특성이 변화하며 천해 다중경로 환경을 반영하는 복잡한 특성을 보이는 점으로 인해 능동 표적인식 기술은 매우 어려운 기술로 여겨져 왔다. 또한 실제 데이터 수집의 어려움이 따르게 된다. 본 논문에서는 수중환경 하에서 능동 표적신호를 합성, 특징추출 및 표적식별을 수행할 수 있는 시뮬레이터를 구현하였다. 표적신호의 합성에는 하이라이트 모델과 3차원 모델을 사용하였으며, 표적신호의 식별을 위해서는 다중각도에 기반한 은닉 마코프모델을 사용하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.136-138
• /
• 2022

스포츠 방송/미디어 데이터에서 특정 이벤트 시점을 효율적으로 검출하는 방법은 정보 검색이나 하이라이트, 요약 등을 위해 중요한 기술이다. 이 논문에서는, 야구 중계 방송 데이터에서 투구에 대한 타격 및 포구 이벤트 시점을 강인하게 검출하는 방법으로, 음향 및 영상 정보를 융합하는 방법에 대해 제안한다. 음향 정보에 기반한 이벤트 검출 방법은 계산이 용이하고 정확도가 높은 반면, 영상 정보의 도움 없이는 모호성을 해결하기 힘든 경우가 많이 발생한다. 특히 야구 중계 데이터의 경우, 투수의 투구 시점에 대한 영상 정보를 활용하여 타격 및 포구 이벤트 검출의 정확도를 보다 향상시킬 수 있다. 이 논문에서는 음향 기반의 딥러닝 이벤트 시점 검출 모델과 영상 기반의 보정 방법을 제안하고, 실제 KBO 야구 중계 방송 데이터에 적용한 사례와 실험 결과에 대해 기술한다.

• 한국음향학회지
• /
• 제33권3호
• /
• pp.174-183
• /
• 2014

능동소나에 의한 표적 반향 신호는 다중경로 환경에서 전파됨에 따라 신호가 변형되어 수신된다. 또한 표적의 위치와 자세각에 따라 반향 신호 특성이 다르게 나타난다. 따라서 이러한 특성을 반영할 수 있는 3차원 형상의 표적 모델을 통해 반향 특성이 모의 되어야 한다. 본 논문에서는 3차원 표적신호의 모의를 위해 표적의 각 구성부를 형상 함수화 하였으며 각 구성부의 대표 반향점을 등간격으로 선정하여 표적 모델을 개발하였다. 개발된 표적 모델을 이용하여 음의 입사각에 따른 반향 신호와 표적강도(TS : Target Strength)를 모의하였다. 모의된 표적신호의 반향 강도 및 신호 특성을 검증하기 위해 조립이 가능한 구성부별 축소 모형을 제작하여 수조에서 축소 표적을 이용한 반향 실험을 수행하였다.