• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2004년도 정기총회 및 학술대회
• /
• pp.237-240
• /
• 2004

This paper describes a character retrieval system for TV programs and a set of novel algorithms for detecting and recognizing faces for the system. Our character retrieval system consists of two main components: Face Register and Face Recognizer. The Face Register detects faces in video frames and then guides users to register the detected faces of interest into the database. The Face Recognizer displays the appearance interval of each character on the timeline interface and the list of scenes with the names of characters that appear on each scene. These two components also provide a function to modify incorrect results. which is helpful to provide accurate character retrieval services. In the proposed face detection and recognition algorithms. we reduce the computation time without sacrificing the recognition accuracy by using the DCT/LDA method for face feature extraction. We also develop the character retrieval system in the form of plug-in. By plugging in our system to a cataloguing system. the metadata about the characters in a video can be automatically generated. Through this system, we can easily realize sophisticated on-demand video services which provide the search of scenes of a specific TV star.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권9호
• /
• pp.574-584
• /
• 2006

최근 MPEG-A(ISO/IEC 23000)에서는 MAF(Multimedia Application File Format)[1]라는 새로운 멀티미디어 파일 포맷을 제안하고 있다. MAF 파일포맷은 기존의 MPEG 압축 규격을 갖는 미디어 파일에 더해, 미디어 내용 정보를 기술하는 메타데이타를 MPEG-7을 사용하여 하나의 시스템 포맷 내에 포함할 수 있도록 해준다. 하지만 현재로서는 이러한 표준을 구현한 실제 시스템이 없기 때문에, 응용 측면에서 MAF가 얼마나 유용한지 검증하기 어렵다는 문제점을 가지고 있다. 본 논문에서는 PC와 모바일 단말기상에서 MPEG-A 표준을 기반으로 한 멀티미디어 검색 시스템을 설계 및 구현한다. 또한 MPEG-A에서는 아직 동영상에 관련된 메타데이타에 대해서는 제안된 바가 없기 때문에 MPEG-7 MDS(Multimedia Description Scheme)[2]와 TV-Anytime[3]을 기반으로 모바일 환경에서도 저작 및 사용하기 편리한 메타데이타들을 설계한다. 전체 시스템을 설계하기 위해서 MAF 검색 시스템이 가져야 할 5가지 요구사항인 이식성, 확장성, 호환성, 적응성, 효율성을 정의하고 이러한 요구사항을 바탕으로 하여 MAF 검색 시스템의 전체 구조를 응용 계층, 미들웨어 계층, 플랫폼 계층으로 설계한다. 제안하는 검색 시스템은 MAF 형식의 멀티미디어 데이타를 저작, 재생, 검색할 수 있는 클라이언트 파트와, 대용량의 MAF 형식의 멀티미디어 파일과 MAF 파일로부터 추출한 MPEG-7 형태의 메타데이타를 저장, 관리할 수 있는 서버 파트로 구성된다. 그리고 설계한 MAF 검색 시스템의 유용성을 검증하기 위하여, PC에서는 MS 윈도우 플랫폼 그리고 모바일 단말기에서는 WIPI 플랫폼 상에서 클라이언트 시스템을 구현하고 시스템 요구사항들을 모두 만족하는지 여부를 확인한다. 제안하는 검색 시스템은 MPEG-A 표준을 검증하고 그 유용성을 확인하기 위해 사용될 수 있다.

• 정보관리학회지
• /
• 제24권4호
• /
• pp.53-72
• /
• 2007

본 연구에서는 12개의 표본 비디오 집단과 14명의 피조사자들을 이용하여 영상 초록 및 전체 클립 보기를 통한 색인어 및 요약문 추출의 정확도를 측정해 보았다. 측정결과 첫째, 비디오 유형에 따라 정확도가 차이가 있는 것으로 나타났으며 이는 이미지에 주로 의존하여 정보를 표출하는 비디오의 경우 텍스트 초록만으로 의미 파악을 하기에는 한계가 있으며 텍스트 초록이 영상 초록과 함께 사용되었을 때 시너지 효과를 낼 수 있음을 보여주고 있다. 둘째, 영상초록의 색인어 및 요약문 정확도가 전체 클립의 정확도 보다 떨어지지만 절반치에 근접한 것으로 나타나 영상 초록이 비디오 의미 추출에 효율적으로 활용될 수 있음을 확인하였다. 또한 영상 초록의 색인어 정확도(0.45)가 요약문 정확도(0.40) 보다더 높게 나타나 영상초록을 통해서 색인어 추출 작업을 더 효율적으로 할 수 있음을 확인할 수 있었다. 이러한 실험결과에 기초하여 영상 초록이 색인어 또는 요약문 추출 작업에 활용될 수 있을 뿐만 아니라, 디지털도서관 환경에서 텍스트 초록과 같은 다른 메타데이터 요소들과 함께 사용된다면 이용자의 적합성 판정을 좀 더 용이하게 할 것이며, 더 나아가 영상 질의의 매칭 자료로도 이용될 수 있음을 제안하였다. 끝으로 영상 초록의 품질을 높이기 위한 키프레임 추출 알고리즘 및 키프레임 배열 모형 설계 등 후속 연구에 대해서 제언하였다.

• 방송공학회논문지
• /
• 제13권2호
• /
• pp.274-282
• /
• 2008

본 논문에서는 IT기반의 영상제작환경에서 advanced authoring format(AAF)의 메타데이터 사용을 제안한다. 영상제작시스템이 화질열화와 데이터 보관, 작업시간의 단축 등의 이유로 점차 디지털화되면서 메타데이터의 필요성이 증대되고 있다. 이러한 환경에서 시스템 간에 메타데이터의 손실 없이 콘텐츠를 전송하는 능력, 즉 상호변환 가능성이 중요해 진다. 현재 방송, 영화 환경에서 editing decision list(EDL)이 많이 사용되고 있지만 효율성 측면에서 좋지 못한 성능을 보인다. 이에 제안하는 AAF와 기존에 사용되는 EDL의 컷, 효과 메타데이터의 전송 여부를 비교 실험 하였으며 그 결과 AAF가 EDL보다 더 많은 영상정보를 포함하고 있음을 확인하였다.

• 정보교육학회논문지
• /
• 제7권2호
• /
• pp.199-206
• /
• 2003

XML은 데이터 관리와 표현의 유연성으로 인해 웹의 새로운 개발 도구로 자리를 잡아가고 있으며, 컴퓨터 교육에서는 학습객체라는 많은 웹 컨텐츠들을 통합하는 도구로도 사용되고 있다. 하지만 학습객체를 통합하고 관리하는 온라인 학습 시스템을 구현하기에 앞서, 구현 시스템에서 학습객체를 처리하기 위한 메타데이터를 어떻게 저장하고 추출 및 통합하느냐의 연구가 선행되어져야 한다. 따라서 본 연구에서는 3-tier 방식의 온라인 학습 시스템과 메타데이터가 저장된 데이터베이스 서버를 구현할 때 필요한 메타데이터 추출방법의 하나로 DBMS의 웹서비스를 이용하는 방법을 제안하고자 한다. 제안된 방법의 효율성 측정을 위해 MS SQL Server 2000과 Oracle 9i를 대상으로 30여개의 샘플 메타데이터를 저장하고, 이를 추출하는 응답시간을 측정해 보았다. 이 방법을 사용하기 위해서는 추출된 메타데이터를 DOM/SAX 와 같은 XML 처리 파서가 필요하지만, 측정된 결과 비교적 빠른 응답시간을 보여 데이터베이스에 저장된 메타데이터를 추출하고 통합하는 한 방법으로 충분히 사용할 수 있다는 결과를 얻었다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1076-1084
• /
• 2019

본 논문에서는 딥러닝을 적용하여 미디어 내의 등장인물 및 사물을 인식, 메타데이터를 추출하고 이를 통해 아카이브를 구축하는 시스템을 개발하였다. 방송 분야에서 비디오, 오디오, 이미지, 텍스트 등의 멀티미디어 자료들을 디지털 컨텐츠로 전환하기 시작한지는 오래 되었지만, 아직 구축해야 할 자료들은 방대하게 남아있다. 따라서 딥러닝 기반의 메타데이터 생성 시스템을 구현하여 미디어 아카이브 구축에 소모되는 시간과 비용을 절약 할 수 있도록 하였다. 전체 시스템은 학습용 데이터 생성 모듈, 사물 인식 모듈, 등장인물 인식 모듈, API 서버의 네 가지 요소로 구성되어 있다. 미디어 내에서 등장인물 및 사물을 인식하여 메타데이터로 추출할 수 있도록 딥러닝 기술로 사물 인식 모듈, 얼굴 인식 모듈을 구현하였다. 딥러닝 신경망을 학습시키기 위한 데이터를 구축하기 용이하도록 학습용 데이터 생성 모듈을 별도로 설계하였으며 얼굴 인식, 사물 인식의 기능은 API 서버 형태로 구성하였다. 1500명의 인물, 80종의 사물 데이터를 사용하여 신경망을 학습시켰으며 등장인물 테스트 데이터에서 98%, 사물 데이터에서 42%의 정확도를 확인하였다.

• 한국지능시스템학회논문지
• /
• 제21권2호
• /
• pp.153-158
• /
• 2011

본 연구에서는 동일한 내용의 영상을 2D로 감상할 때와 3D로 감상할 때 함께 재생되는 음향이 어떻게 달라져야하는지를 확인하는 주관적 실험을 수행하고 그 결과를 고찰하였다. 먼저 음향 정보는 음원이 자체적으로 제공하는 정보인 음원의 거리와 방위각(즉 위치) 그리고 음원의 환경 혹은 장면(scene)이 제공하는 정보인 공간감으로 분리가 가능하므로 이에 맞게 동일 내용의 2D/3D 영상이 음원의 위치 선정에 미치는 영향 평가 실험과 동일한 내용의 2D/3D 장면이 음향 공간감에 주는 영향 평가 실험을 수행하였다. 첫 번째 실험 결과 3D 영상을 감상하는 경우 2D 영상을 감상할 때 보다 스크린을 기준으로 음원의 거리와 방위각을 확대하여 인지한다는 결과를 얻을 수 있었다. 이는 2D 영상용 소리보다 거리와 방위각이 큰 3D 영상용 소리를 만들어야 한다는 것을 의미한다. 또한 3D 영상용 소리는 3D 영상뿐만 아니라 2D 영상과도 잘 어울린다는 결과를 얻었다. 두 번째 실험 결과, 3D 영상을 감상하는 경우 2D 영상을 감상할 때 보다 잔향이 더 많은 소리를 선호함을 알 수 있었다. 이는 3D 영상을 감상할때 공간감이 강화되기 때문으로 해석된다. 본 연구의 결과는 기본적으로 2D 영상용 음향을 제작하던 음향엔지니어가 3D영상용 음향을 제작하는 데 활용할 수 있으며, 2D to 3D 음향을 자동으로 변형하는 연구의 기초가 될 것이다. 더 나아가서 본 연구의 결과를 기반으로 제한된 대역폭에서 2D 와 3D를 동시에 지원하는 방송 시스템을 설계하는데 적용해 본다면, 방송 데이터 규격은 스테레오 영상, 음원의 위치가 강조된 3D 음향과 공간감을 주는 잔향 정보로 구성하는 것이 적절하다고 할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.305-307
• /
• 2020

이머시브 비디오 서비스를 위해 MPEG-I Visual 그룹에서는 3DoF+ 기술과 관련하여 MIV(Metadata for Immersive video)의 표준화를 진행하고 있으며, 이를 위해 다시점 영상 및 전방위 장면을 촬영한 ERP 규격의 영상들이 주어진 경우에 운동시차를 제공할 수 있는 영상 합성 레퍼런스 소프트웨어인 TMIV SW를 제공한다. TMIV는 기본적으로 송신부인 인코더와 수신부인 디코더로 구성이 되어있으며, 인코더에서 가장 중요한 기능은 다수의 입력 시점영상 간의 중복된 데이터를 찾아내서 제거하는 프루닝 과정이다. 프루닝 방법에 따라 데이터 전송량과 디코더에서의 합성 품질이 달라지기 때문에 인코더에서 핵심이라고 할 수 있다. 본 논문은 인코더의 프루닝의 효율을 높이기 위해 전체 흐름도에서 프루닝 순서 변경 과정을 추가하고 그 과정에서 시점 영상간 중첩 영역을 계산하여 이를 토대로 프루닝 순서를 결정하는 방법을 제안하였고 이를 통해 데이터 압축률이 향상됨을 확인할 수 있었고, 또한 수신부에서 영상 합성의 품질이 달라짐을 확인할 수 있었다.

• 한국통신학회논문지
• /
• 제40권1호
• /
• pp.152-164
• /
• 2015

최근 반도체 기술, 센서 기술 및 이동통신 기술의 발전으로 스마트 자동차 기술 연구 개발이 진행 중에 있다. 사회가 발전함에 따라 차량이 증가하였고 사고에 대한 위험은 점차 높아지고 있다. 그에 따라 기존의 차량용 블랙박스 외에 차량의 각종 센서 정보를 활용하여 운전자에게 다양한 정보를 제공하는 첨단 운전자 보조 시스템이 연구되고 있다. 본 논문에서는 차량 간의 통신기능을 포함하고, 주변의 정보를 습득하여 제공할 수 있는 스마트 카메라 장치를 설계 및 구현하여, 장치에 포함된 카메라로부터 입력 받은 영상을 분석하여 획득한 정보를 영상 메타데이터화 하는 기술에 대한 연구를 수행하였다. 또한 임베디드 장치의 제한된 계산 성능을 보완하기 위해 관심영역을 설정하는 S-ROI(Static-Region Of Interest), D-ROI(Dynamic-Region Of Interest) 방식을 고안하였다. 실험을 통해 영상처리 속도가 전체영상 분석에 비해 S-ROI의 경우 3.0배, D-ROI의 경우 4.8배 향상함을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 춘계학술발표대회
• /
• pp.165-168
• /
• 2006

본 논문에서는 시맨틱 웹을 위한 마크업 언어인 RDF와 MPEG-7 표준을 따르는 XML 문서를 이용하여 구축된 비디오 검색 시스템에 대한 연구결과를 기술한다. 본 논문에서 제안된 시스템은 RDF를 통해 비디오 파일에 대한 정보를 웹 자원의 관점으로 정의/저장한다. 또한 비디오에 대한 내용기반 검색을 위해 비디오를 구성하는 중요 프레임들을 추출하여 그림 파일로 저장하는 한편 각 프레임에 대한 정보를 MPEG-7 표준에 따라 XML 형태로 저장한다. 이렇게 구축된 정보들을 바탕으로 비디오 검색 엔진은 사용자의 질의요청을 수행한다. 본 논문에서 제안하는 비디오 검색 시스템은 비디오에 대한 다양한 검색은 물론 비디오에 대한 내용기반 검색이 가능한 장점을 가진다.