• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.453-455
• /
• 2022

메타데이터는 데이터에 대한 속성이나 특징을 설명하는 구조화된 데이터를 말한다. 그중에서 비디오 메타데이터는 정확한 콘텐츠 기반 검색을 위해 비디오를 구성하는 정보에서 추출한 데이터를 의미한다. 최근 영상 콘텐츠를 이용하는 사용자들이 늘어나면서 자연스럽게 OTT 제공 업체들 역시 늘어나고 있으며, OTT 제공 업체에서 많은 양의 영상 콘텐츠를 개인 사용자에게 추천 또는 알맞은 검색을 위해 메타데이터의 역할이 중요해지고 있다. 본 논문에서는 영상의 효과음을 통해 분위기 속성에 대한 메타데이터를 자동으로 추출하는 방법에 관해 연구를 진행하였다. 영상의 효과음에 대한 분류와 분위기 속성에 대한 메타데이터 생성을 위해 분위기에 대한 용어사전을 구축하고 지도학습을 통해 정보를 추출하는 방법을 제안하고자 한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권7호
• /
• pp.712-722
• /
• 2000

본 논문은 팀 스포츠(team sports)의 일종인 축구경기 하이라이트 장면의 자동색인을 위해 뉴럴네트워크 기법을 이용하여 그룹 포메이션(group formation) 중의 공격패턴 자동분류 기법을 개발하고 이를 검증하였다. 본 연구에서는 축구경기의 대표 프레임 상에서 선수들과 공의 위치정보를 추출하고 그룹 포메이션 정보를 기초로 뉴럴네트워크의 BP(Back-propagation) 알고리즘을 사용하여 축구경기 하이라이트 장면의 자동추출을 위한 공격패턴 자동분류 기법을 개발 및 검증하였다. 또한, 실험에는 ‘98 프랑스 월드컵 축구경기의 다양한 공격패턴에 대한 비디오 영상에서 각각 좌측공격 60개, 우측공격 74개, 중앙공격 72, 코너킥 39, 프리킥 52개의 총 297 개의 데이타를 추출하여 사용하였다. 실험결과는 좌측공격 91.7%, 우측공격 100%, 중앙공격 87.5%. 코너킥 97.4%, 프리킥 75% 로서 매우 양호한 인식율을 보였다.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.429-437
• /
• 2017

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 또한 비디오에서 추출할 수 있는 모션정보를 활용하여 모션 깊이맵을 얻기도 한다. 본 논문에서는 기존의 블록기반 모션예측, 광유 등의 모션 추출 방식이 아닌 운동 히스토리 영상(Motion History Image)를 활용하여 모션 깊이맵을 얻는 새로운 방법을 제안하고 실제 활용 가능성을 조사한다. 실험에서는 제안한 방법을 다양한 운동 유형을 가지는 8개의 2D 비디오 콘텐츠에 적용하였고, 생성된 모션 깊이맵의 정성적 평가 및 수행 속도의 비교를 통하여 MHI 기반 깊이맵의 실제 적용이 적합함을 증명하였다.

• 지능정보연구
• /
• 제18권2호
• /
• pp.47-60
• /
• 2012

비디오 데이터는 구조화되지 않은 복합 데이터의 형태를 지닌다. 이러한 비디오 데이터의 효율적인 관리 및 검색을 위한 비디오 데이터 구조화의 중요성이 대두되면서 콘텐츠 내 시각적 특징을 기반으로 비디오 씬(scene)을 탐지하고자 하는 연구가 활발히 진행되었다. 기존의 연구들은 주로 색상 정보만을 이용하여 샷(shot) 간의 유사도 평가를 기반한 클러스터링(clustering)을 통해 비디오 씬을 탐지하고자 하였다. 하지만 비디오 데이터의 색상 정보는 노이즈(noise)를 포함하고, 특정 사물의 개입 등으로 인해 급격하게 변화하기 때문에 색상만을 특징으로 고려할 경우, 비디오 샷 혹은 씬에 대한 올바른 식별과 디졸브(dissolve), 페이드(fade), 와이프(wipe)와 같은 화면의 점진적인 전환(gradual transitions) 탐지는 어렵다. 이러한 문제점을 해결하기 위해, 본 논문에서는 프레임(frame)의 컬러 히스토그램과 코너 에지, 그리고 객체 컬러 히스토그램에 해당하는 시각적 특징을 기반으로 동일한 이벤트를 구성하는 의미적으로 유사한 샷의 클러스터링을 통해 비디오 씬을 탐지하는 방법(Scene Detector by using Color histogram, corner Edge and Object color histogram, SDCEO)을 제안한다. SDCEO는 샷 바운더리 식별을 위해 컬러 히스토그램 분석 단계에서 각 프레임의 컬러 히스토그램 정보를 이용하여 1차적으로 연관성 있는 연속된 프레임을 샷 바운더리로 병합한 후, 코너 에지 분석 단계에서 병합된 샷 내 처음과 마지막 프레임의 코너 에지 특징 비교를 통하여 샷 바운더리를 정제하여 최종 샷을 식별한다. 키프레임 추출 단계에서는 샷 내 프레임간 유사도 비교를 통해 모든 프레임과 가장 유사한 프레임을 각 샷을 대표하는 키프레임으로 추출한다. 그 후, 비디오 씬 탐지를 위해, 컬러 히스토그램과 객체 컬러 히스토 그램에 해당하는 프레임의 시각적 특징을 기반으로 상향식 계층 클러스터링 방법을 이용하여 의미적인 연관성을 지니는 샷의 군집화를 통해 비디오 씬을 탐지하는 방법이다. 본 논문에서는 SDCEO의 프로토 타입을 구축하고 3개의 비디오 데이터를 이용한 실험을 통하여 SDCEO의 효율성을 평가하였고 샷 바운더리 식별의 성능의 정확도는 평균 93.3%, 비디오 씬 탐지 성능의 정확도는 평균 83.3%로 만족할만한 성능을 보였다.

• 한국정보통신학회논문지
• /
• 제8권2호
• /
• pp.471-476
• /
• 2004

본 논문에서는 영상처리를 이용하여 온라인으로 교통표지판을 인식하는 비젼 시스템을 제안한다. 제안된 시스템은 넓은 두 개의 카메라, 즉 광각렌즈(wide-angle lends)와 망원렌즈(telephoto lends)를 장착하였고, 이미지처리 보드가 있는 PC로 구성되었다. 이 시스템은 색상, 자기, 형태 등과 같은 정보를 이용하여 광각이미지의 교통표지판을 추출한 다음, 보다 큰 이미지에서 정확한 표지판 후보영역을 추출하기 위해 망원렌즈에서 포착된 이미지를 이용하여 처리하였다. 실험결과로써 수동으로 촬영한 비디오 연속장면에서 포착한 영상을 시용하여 실험한 결과 속도표지판은 추출율 96.5%, 인식률 34.4% 그리고 안내표지판은 추출율 100%, 인식률 40%의 결과를 나타내었다. 또한 간단한 실행과정으로 빠른 인식률을 얻을 수 있었으며, 도로상에서의 실험으로 시스템의 효용성을 입증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.315-317
• /
• 2021

최근 팬데믹으로 인해 다양한 산업에서 온라인화가 빠르게 진행되고 있다. 이러한 흐름에 따라 생체 신호를 이용한 로그인 시스템이나 자동 출결관리 시스템의 개발 또한 활발하게 연구되고 있다. 이에 본 논문에서는 생체 정보 중 얼굴을 이용하여 산업에서 도입 가능한 수준까지 얼굴인식 시스템의 성능을 향상 시키고자 한다. 우리는 성능향상을 위해 먼저 얼굴인식 시스템에서 성능 저하원인인 영상 속 얼굴 위치 및 각도 변화를 해결하고자 정면 얼굴 Capture 방법을 제안하였다. 두 번째로는 FRR 오류가 발생하면 추가적으로 정면얼굴을 추출하여 개인 인증을 다시 시도방법을 제안하였다. 검증을 위해 얼굴인식 분야에서 가장 많이 사용되고 있는 유사도 기반 프레임워크를 구현하여 제안한 성능향상 방법을 적용, 실험 하였으며 420명의 Database를 구축하고 2주 동안 99개의 비디오 데이터를 수집하여 실제 산업에서 도입 가능한 환경과 유사하게 구축해 우리의 제안 방법을 테스트 및 검증하였다.

• 방송공학회논문지
• /
• 제2권2호
• /
• pp.146-155
• /
• 1997

본 논문은 MPEG-4와 같이 객체 및 내용 기반 영상 부호화에 필요한 동영상의 자동 영역 분할 알고리즘을 제안한다. 통계적 가설 검증(statistical hypothesis test)을 사용하여 영상 시퀀스내에 포함된 비디오 객체들(video objects)을 움직임 물체(moving objects)와 배경 (background)으로 자동 분할하는 새로운 영상 분할 알고리즘을 제안한다. 기존 방법들이 두 개의 연속된 영상을 사용하는 반면에, 제안된 방법은 3개의 연속된 영상을 사용하여, 2개의 차영상의 평균값을 비교하여 가설검증을 행함으로써 잡음에 강한 특성을 나타낸다. 그리고 제안된 방법은 기존 방법과는 달리 참분산(true variance)을 사전에 알고 있을 필요가 없는 장점을 갖고 있다[18]. 또한 시간정보만을 이용한 변화 검출 방법의 문제점인 불규칙하고 부정확한 영역의 경계를 공간정보를 이용하여 보정하는 새로운 방법을 제안한다. 시험 결과에서 주어진 것처럼 제안된 시공간정보를 이용한 영상 분할 알고리즘이 시각적으로 의미있는 분할 결과를 제공함을 알 수 있고, 정확한 영역 경계를 추출할 수 있기 때문에 MPEG-4와 같은 객체 기반 영상 부호화에 적용할 경우에 영역 경계에서 상당히 우수한 재생 화질을 얻을 수 있다.

• 한국멀티미디어학회논문지
• /
• 제15권6호
• /
• pp.731-736
• /
• 2012

최근 디지털 시네마에 대한 관심이 많아지고 있다. 의자의 움직임 및 다른 물리적 효과와 시각적 3D영화의 결합으로 재미를 더해 준다. 이러한 디지털 시네마의 모션베이스 제어는 수동으로 제어되고 있는 실정이다. 디지털 시네마의 비디오 시퀀스를 분석하여 의자의 움직임을 자동으로 제어할 수 있다. 제안하는 방법은 먼저 모든 움직임의 초점을 객체와 배경으로 분류하고 9개의 검색 범위를 이용하여 모션벡터의 정보를 추출한다. 객체가 정지되는 동안 배경의 움직임에 따라 모션벡터는 결정된다. 디지털 시네마에서 추출된 움직임 정보는 움직임 제어에 사용된다. 실험결과 제안된 방법은 정확성 측면에서 기존의 방법을 능가하는 성능을 보이는 것을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.727-730
• /
• 2001

멀티미디어 환경의 급속한 발전에 의해 영상처리 기술은 인간의 인체와 관련하여 얼굴인식, 제스처 인식에 관한 응용과 더불어 스포츠 관련분야로 깊숙히 정착하고 있다. 그러나 입력영상으로부터 움직이고 있는 선수들의 동작을 추출 및 추적하는 일은 컴퓨터비전 연구의 난 문제 중의 하나로 알려져 있다. 이러한 축구경기의 TV 중계에 있어서 하이라이트 장면의 자동추출(자동색인)은 그 경기의 가장 집약적인 표현이며, 축구경기 전체를 한 눈에 파악할 수 있도록 해주는 요약(summary)이자 intensive actions이고 경기의 진수이다. 따라서 축구경기와 같이 비교적 기 시간(대체로 1시간 30분) 동안 다수의 선수(양 팀 합해서 22명)들이 서로 복잡하게 뒤얽히면서 진행하는 경기의 하이라이트 장면을 효과적으로 포착하여 표현해 줄 수 있다면 TV를 통해서 경기를 관람하는 시청자들에게는 경기의 진행상황을 한 눈에 효과적으로 파악할 수 있게 해주어 흥미진진한 경기관람을 할 수 있게 해주고, 경기의 진행자들(감독, 코치, 선수 등)에게는 고차원적이고 과학적인 정보를 효과적으로 제공함으로써 한층 진보된 경기기법을 개발하고 과학적인 경기전략을 세울 수 있게 해준다. 본 논문은 이상과 같이 팀 스포츠(Team Spots)의 일종인 축구경기 하이라이트 장면의 자동색인을 위해 뉴럴네트워크 기법을 이용하여 그룹 포메이션(Group Formation) 중의 공격패턴 자동분류 기법을 개발하고 이를 검증하였다. 본 연구에서는 축구경기장 내의 빈번하게 변화하는 장면들을 자동으로 분할하여 대표 프레임을 선정하고, 대표 프레임 상에서 선수들의 위치정보와 공의 위치정보 등을 기초로 하여 경기 중에 이루어지는 선수들의 그룹 포메이션을 추적하여 그룹행동(group behavior)을 분석하고, 뉴럴네트워크의 BP(Back-Propagation) 알고리즘을 사용하여 축구경기 공격패턴을 자동으로 인식 및 분류함으로써 축구경기 하이라이트 장면의 자동추출을 위한 기반을 마련하였다. 본 연구의 실험에는 '98 프랑스 월드컵 축구경기의 다양한 공격패턴에 대한 비디오 영상에서 각각 좌측공격 60개, 우측공격 74개, 중앙공격 72개, 코너킥 39개, 프리킥 52개의 총 297개의 데이터를 추출하여 사용하였다. 실험과는 좌측공격 91.7%, 우측공격 100%, 중앙공격 87.5%, 코너킥 97.4%, 프리킥 75%로서 매우 양호한 인식율을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제26권12호
• /
• pp.1519-1530
• /
• 1999

오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 멀티미디어 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 게다가 영상과 같은 비 문자형태의 데이타에 대한 사용자들의 내용기반 검색욕구 증가로 인해 비디오 인덱싱에 대한 관심은 더욱 고조되고 있다. 따라서 본 논문에서는 우선적으로 분할된 샷 경계면에서 추출된 대표 프레임과 정지 영상 데이타베이스로부터 유사 영상과 유사 대표 프레임을 검색할 수 있는 환경을 제공한다. 우선적으로 영상에 의한 질의는 기존에 주로 사용되어온 색상 히스토그램방식을 탈피하여 본 논문에서 제안하는 CS와 GS방식을 이용하여 색상 및 방향성 정보도 고려하도록 설계하였다. 또한 얼굴에 의한 질의는 대표 프레임으로부터 얼굴 영역을 추출해 내고 얼굴의 경계선 값 및 쌍 직교 웨이블릿 변환에 의해 얻어진 2개의 특징값을 이용하여 유사 인물이 포함된 대표 프레임을 검색해 내도록 설계하였다. Abstract There is a rapid increase in the use of digital video information in recent years, it becomes more important to manage multimedia databases efficiently. There is a big concern about video indexing because users require content-based image retrieval. In this paper, we first propose query-by-image system environment which allows to retrieve similar images from the chosen representative frames or images from the image databases. This algorithm considers not only the discretized color histogram but also the proposed directional information called CS & GS method. Finally, we designe another query environment using query-by-face. In this system , user selects a people in the representative frame browser and then system extracts a face region from that frame. After that system retrieves similar representative frames using 2 features, edge information and biorthogonal wavelet transform.