• 방송공학회논문지
• /
• 제9권2호
• /
• pp.151-163
• /
• 2004

본 논문에서는 비디오의 효율적인 검색과 관리를 위해 MPEG-7 표준에 따른 내용기반 비디오 검색 시스템을 제안한다. 제안된 시스템은 비디오 DB 구축을 위한 인덱싱 모듈과 웹을 통한 비디오 검색 모듈로 구성되며 검색 모듈에서는 다양한 질의 방법을 지원한다. 비디오 인덱싱 모듈은 관리자가 입력한 키워드, 인덱싱 모듈이 자동으로 추출한 등장 인물 정보와 MPEG-7 비주얼 서술자와 같은 메타데이터를 서버에 저장한다. 일반 사용자는 웹을 통해 검색 모듈에 접근하며 키워드, 얼굴 예제 및 스케치 질의와 같은 다양한 질의 방법을 통해 원하는 비디오를 검색할 수 있다. 이러한 비디오 검색 시스템을 구성하기 위해서 본 논문에서는 효율적인 비디오 인덱싱을 위한 장면 전환 검출 방법으로 ATC(Adaptive Twin Comparison)와 사용자 편의성을 위한 개선된 내용기반 질의 방법으로 QBME(Query By Modified Example)를 제안한다. 실험에서 제안된 장면 전환 검출 방법이 기존의 방법보다 우수함을 보였고, 제안된 질의 방법을 통해 기존의 질의 방법인 QBE(Query By Example)나 QBS(Query By Sketch) 보다 사용자에게 검색의 편의성을 제공할 수 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.322-324
• /
• 2021

최근 고주사율 디스플레이 시장 확대와 실감콘텐츠에 대한 요구에 따라, 높은 프레임율의 동영상 콘텐츠에 대한 관심이 증가하고 있다. 본 논문은 이용자의 비디오를 초슬로우 비디오로 변환해주는 웹 기반 서비스 시스템을 제안한다. 이는 사용자가 웹을 통해 비디오를 업로드하면, 딥러닝 기반의 비디오 프레임 보간 알고리즘을 이용하여 초고프레임율의 동영상으로 변환하며. 변환된 초저속 비디오를 웹을 통해 보여주거나 파일 포맷으로 제공한다. 제안 시스템은 복잡한 연산을 요구하는 딥러닝 네트워크 모듈과 사용자와의 상호작용을 위한 웹 페이지 모듈로 구성되었다. 프레임 보간을 위해서, State-of-the-art 기술인 딥러닝 기반의 Real-Time Intermediate Flow Estimation for Video Frame Interpolation 방법이 활용되었으며, 웹페이지는 HTML, CSS, Javascript, Flask를 사용하여 구축되었고, Flask를 활용하여 두 모듈이 연동되었다. 제안 웹 기반 시스템을 통해, 사용자는 딥러닝 네트워크 구동에 필요한 별도의 지식 없이 통신 자원만으로 고실감의 경험과 편의성을 제공받을 수 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제5권1호
• /
• pp.43-52
• /
• 1999

현재 사용하는 순차적인 뉴스 비디오 검색 방법은 많은 시간을 소비한다는 문제점을 가지고 있다. 따라서 , 본 논문에서는 이러한 문제점을 해결하기 위해서 뉴스 비디오를 내용(뉴스 사건)단위별로 검색할수 있는 자동 인덱스 모듈과 원격 검색 브라우저 모듈을 제시한다. 인덱싱 모듈은 기본적으로 이미지 프로세싱을 기반으로 하여 뉴스 앵커를 검출하고 뉴스 아이템을 분할한다. 인덱싱 구성요소는 뉴스 비디오 내용에 대한 대표영상(뉴스아이콘)과 부가적인 정보를 포함하는 뉴스 자막으로 구성하였다. 검색 브라우저 모듈은 추출된 인덱싱 요소를 아이콘하여 뉴스사건 단위로 내용을 검색할수 있도록 설계하였다. 본 연구의 결과는 매일 발생되는 뉴스를 자동 인덱싱하여 사용자에게 뉴스서비스의 효율적인 적용이 기대된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
• /
• pp.476-478
• /
• 2000

인터넷의 급속한 수요의 증대와 단말 시스템 성능의 향상은 네트웍 멀티미디어의 사용과 성능에 대한 관심을 증대시키고 있다. 결과적으로 고 대역폭의 네트웍과 고 수준의 시스템을 요구하는 멀티미디어 데이터를 이용한 응용개발이 가능하게 되었다. H.261과 같은 기존의 화상회의 시스템에서 사용되는 비디오 코덱은 상대적으로 낮은 대역폭의 네트웍에서의 사용을 목적으로 설계되었다. MPEG-2 비디오 데이터는 해상도, 대역폭, 및 유연성을 갖춘 고 수준의 비디오 데이터로서 VOD나 영상전송시스템과 같은 응용에서 사용되어질 비디오 데이터로서 많은 연구와 개발이 진행되어지고 있다. 이 논문에서는 KLIMEX(KAIST LIve MPEG-2 EXtenstion)를 구성 및 구현하여 MPEG-2 비디오 데이터를 실시간으로 처리할 수 있도록 하였고 화상회의 운용툴인 vic[\ulcorner]에 통합하여 MPEG-2 비디오 데이터의 전송과 수신이 가능하도록 시스템을 구성하였다. KLIMEX를 구성은 인코딩, 디코딩과 패킷타이징을 핵심모듈로 하고 있고, 각 모듈의 구현상에서 요구사항, 성능향상의 방안과 화상회의 운용툴과의 통합에 대해서 논의 및 분석을 제시한다. MPEG-2를 이용한 네트웍 응용의 다양한 연구는 여기서 제시하는 KLIMEX와 통합시스템 프로토타입을 이용하여 고성능 화상회의 시스템의 연구에 적용할 수 있다.

• 한국정보처리학회논문지
• /
• 제5권5호
• /
• pp.1130-1139
• /
• 1998

본 논문은 내용에 기반한 뉴스 비디오의 인덱싱과 검색을 위한 통합된 해결책을 제안한다. 핸재 일반적인 비디오의 자동 인덱싱은 불가능하지만 뉴스 비디오와 같은 구조가 명확한 경우는 가능하다. 이러한 뉴스의 구조화된 지식을 이용하여 키 프레임들을 자동 추출하기 위해서 제안된 우리의 모델은 뉴스사건 분할, 자막 인식, 검색 브라우저 모듈로 구성되어 있다. 첫 번째로 뉴스사건의 분할 모듈은 얼굴인식에 기반하여 사건의 중심인 앵커 장면을 인식하고 앵커 장면의 공간적 정보를 이용하여 뉴스사건을 분할한다. 다음으로 뉴스아이콘을 추출한다. 자막인식 모듈은 먼저 자막의 특성을 이용하여 자막 프레임을 검출하고 분리병합 방법을 이용하여 문자열을 추출한다. 다음으로 문자인식기(OCR)를 이용하여 문자인식을 한다. 마지막으로 검색 브라우저 모듈은 다양한 검색 방법이 가능하도록 하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.358-362
• /
• 2005

디지털 비디오 압축기술은 멀티미디어 응용분야의 핵심으로 현재 빠르게 보급되어 최근에는 디지털비디오 압축 관련 국제 표준안 중 MPEG-4와 H.264가 발표되었다. 유연성이 좋은 MPEG-4와 달리H.264는 비디오 프레임의 효율적인 압축과 신뢰성을 강조 한다. 특히 H.264의 압축 기술은 카메라폰이나 DMB등의 작은 크기의 영상에서 고품질의 영상을 보다 효율적으로 제공 한다. 이에 본 논문은 현존하는 다른 비디오 코딩 표준과 비교할 때 코딩 효율이 기준의 두 배인 새로운 비디오 코딩 표준 H.264/AVC에서 사용하는, 변환 및 양자화를 연구하고 이를 기존의 정지영상 표준안인 JPEG나 JPEG 2000과 비교 분석하여 H.264/AVC의 공간적 압축인 인트라 코딩이 더 좋은 효과를 나타낸다는 것을 검증한 후 이를 토대로 하드웨어 설계언어인 VHDL언어를 이용하여 설계하고 FPGA칩인 XCV1000E에 다운로드 하여 칩 레벨의 시뮬레이션을 수행하여 설계된 변환 및 양자화 모듈을 검증하였다. 설계된 변환 및 양자화 모듈은 DMB 및 핸드폰 카메라와 같이 작은 정지 영상 압축에 응용이 가능하다.

• 디자인학연구
• /
• 제11권1호
• /
• pp.109-118
• /
• 1998

최근의 전자와 반도체기술의 발달에 따른 지능형 제품의 등장은 인터페이스 디자인의 중요성을 더욱더 증대시키게 되었다. 이러한 상황에서 사용자의 실제 제품 사용을 비디오로 기록하고 이를 분석하는 방법에 대한 연구가 많이 이루어지고 있다. 사용자에 대한 실제 제품 사용상에서의 분석과 이러한 다양한 측면간의 상호관계에 대한 분석이 가능한 방법에 대한 연구가 이루어져야 할 것이다. 이에 본 연구는 사용 성 평가에서의 비디오 정보 분석 방법개발의 일환으로 컴퓨터를 활용한 비디오 정보 분석방법을 제안한다. 본 연구는 우선 사용자 인터페이스의 다양한 측면을 살펴봄으로써 사용자 인터페이스의 본질을 이해하고, 이를 바탕으로 제품의 실제적 사용에서 나타나는 사용자들의 제품 사용행위의 특성을 분석할 수 있는 방법의 구조를 설정한다. 이어서 이 구조를 근거로 하여 사용 성 실험의 비디오 정보를 분석할 수 있는 컴퓨터 분석도구를 개발하였다. 이는 사용 성 평가 직전에 이루어진 설문을 통한 사용자 정보를 조사하는 모듈, 사용자의 실제 제품 사용 비디오 정보를 통한 정보추출 모듈, 이를 토대로 한 사용자 특성파악 모듈, 마지막으로 제품의 인터페이스 개선 안을 제안하는 모듈 등으로 나뉘어 구성되었다. 끝으로 본 연구의 한계를 지적하고 이의 향후 연구방향을 제시하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
• /
• pp.502-504
• /
• 2004

최근 고성능 네트워크(high performance network)를 통해서 고화질 비디오 전송이 활발히 이루어지고 있다. HD급의 고화질 비디오는 압축 방법과 해상도에 따라 그 종류가 많고 대역폭도 다양하다. 본 논문에서는 기존의 MPEG2 기반의 고화질 비디오(HDV)에 몰입감과 현실감을 증진시키기 위한 고화질의 스테레오 비디오를 네트워크 환경에서 실시간 전송하는 시스템을 디자인하고 구현한다. 구현된 시스템은 기존의 HDV전송 시스템을 개선하며 카메라로부터 저장된 스테레오 비디오를 전송하기 위한 전송 모듈을 제안하고 구현하여 결과를 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.296-299
• /
• 2013

디스플레이 기술이 발전함에 따라 다양한 크기의 디스플레이를 탑재한 장치들이 등장하게 되었고, 다양한 디스플레이 크기만큼 다양한 해상도를 사용하고 있다. 때문에 비디오 코덱과 scaler는 보편적으로 함께 사용된다. 그러나 기존의 scaler는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않으므로 시스템의 성능 개선에 한계가 존재하였다. 즉, 비디오 코덱의 복호화기는 비트스트림으로부터 복호한 정보를 바탕으로 영상을 복원하고, 복원영상은 up/down scaler에서 확대/축소를 수행한다. 하지만 비디오 코덱의 비트스트림에 존재하는 정보는 영상의 특성을 반영하기 때문에 up/down scaler에서 비디오 코덱의 복호화기에서 복호된 정보를 이용하면 복잡도의 증가 없이 효율적인 확대/축소를 수행할 수 있다. 이에 본 논문에서는 비디오 코덱 중 차세대 비디오 코덱인 H.264/AVC 복호화기에서 생성된 복원 영상에 대해서 별도로 영상의 특성을 계산하는 모듈 없이 H.264/AVC 복호화기에서 복원된 정보 중 인트라 모드 정보를 바탕으로 영상의 특성에 맞는 up/down scaler를 구현하는 방법을 제안한다. 이 방법은 기존의 scaler들보다 물체의 경계영역을 더 선명하게 확대하는 효과를 보인다.