• Journal of Broadcast Engineering
• /
• v.9 no.2
• /
• pp.151-163
• /
• 2004

In this paper, we propose a content-based video indexing and retrieval system using MPEG-7 standard to retrieve and manage videos efficiently. The proposed system consists of video indexing module for a video DB and video retrieval module to allow various query methods on a web environment. Video indexing module stores metadata such as manually typed in keywords, automatically recognized character names, and MPEG-7 visual descriptors extracted by indexing module into a DB in a sever side. A user can access to retrieval module by a web and retrieve desired videos through various query methods like keywords, faces, example and sketch. For this retrieval system, we propose ATC(Adaptive Twin Comparison) as a cut detection method for efficient video indexing and QBME(Query By Modified Example) as an improved content-based query method for the convenience of users. Experimental results show that the proposed ATC method detects cuts well and the proposed QBME method provides the conveniences better than existing query methods such as QBE(Query By Example) and QBS(Query By Sketch).

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.322-324
• /
• 2021

최근 고주사율 디스플레이 시장 확대와 실감콘텐츠에 대한 요구에 따라, 높은 프레임율의 동영상 콘텐츠에 대한 관심이 증가하고 있다. 본 논문은 이용자의 비디오를 초슬로우 비디오로 변환해주는 웹 기반 서비스 시스템을 제안한다. 이는 사용자가 웹을 통해 비디오를 업로드하면, 딥러닝 기반의 비디오 프레임 보간 알고리즘을 이용하여 초고프레임율의 동영상으로 변환하며. 변환된 초저속 비디오를 웹을 통해 보여주거나 파일 포맷으로 제공한다. 제안 시스템은 복잡한 연산을 요구하는 딥러닝 네트워크 모듈과 사용자와의 상호작용을 위한 웹 페이지 모듈로 구성되었다. 프레임 보간을 위해서, State-of-the-art 기술인 딥러닝 기반의 Real-Time Intermediate Flow Estimation for Video Frame Interpolation 방법이 활용되었으며, 웹페이지는 HTML, CSS, Javascript, Flask를 사용하여 구축되었고, Flask를 활용하여 두 모듈이 연동되었다. 제안 웹 기반 시스템을 통해, 사용자는 딥러닝 네트워크 구동에 필요한 별도의 지식 없이 통신 자원만으로 고실감의 경험과 편의성을 제공받을 수 있다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.5 no.1
• /
• pp.43-52
• /
• 1999

현재 사용하는 순차적인 뉴스 비디오 검색 방법은 많은 시간을 소비한다는 문제점을 가지고 있다. 따라서 , 본 논문에서는 이러한 문제점을 해결하기 위해서 뉴스 비디오를 내용(뉴스 사건)단위별로 검색할수 있는 자동 인덱스 모듈과 원격 검색 브라우저 모듈을 제시한다. 인덱싱 모듈은 기본적으로 이미지 프로세싱을 기반으로 하여 뉴스 앵커를 검출하고 뉴스 아이템을 분할한다. 인덱싱 구성요소는 뉴스 비디오 내용에 대한 대표영상(뉴스아이콘)과 부가적인 정보를 포함하는 뉴스 자막으로 구성하였다. 검색 브라우저 모듈은 추출된 인덱싱 요소를 아이콘하여 뉴스사건 단위로 내용을 검색할수 있도록 설계하였다. 본 연구의 결과는 매일 발생되는 뉴스를 자동 인덱싱하여 사용자에게 뉴스서비스의 효율적인 적용이 기대된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10c
• /
• pp.476-478
• /
• 2000

인터넷의 급속한 수요의 증대와 단말 시스템 성능의 향상은 네트웍 멀티미디어의 사용과 성능에 대한 관심을 증대시키고 있다. 결과적으로 고 대역폭의 네트웍과 고 수준의 시스템을 요구하는 멀티미디어 데이터를 이용한 응용개발이 가능하게 되었다. H.261과 같은 기존의 화상회의 시스템에서 사용되는 비디오 코덱은 상대적으로 낮은 대역폭의 네트웍에서의 사용을 목적으로 설계되었다. MPEG-2 비디오 데이터는 해상도, 대역폭, 및 유연성을 갖춘 고 수준의 비디오 데이터로서 VOD나 영상전송시스템과 같은 응용에서 사용되어질 비디오 데이터로서 많은 연구와 개발이 진행되어지고 있다. 이 논문에서는 KLIMEX(KAIST LIve MPEG-2 EXtenstion)를 구성 및 구현하여 MPEG-2 비디오 데이터를 실시간으로 처리할 수 있도록 하였고 화상회의 운용툴인 vic[\ulcorner]에 통합하여 MPEG-2 비디오 데이터의 전송과 수신이 가능하도록 시스템을 구성하였다. KLIMEX를 구성은 인코딩, 디코딩과 패킷타이징을 핵심모듈로 하고 있고, 각 모듈의 구현상에서 요구사항, 성능향상의 방안과 화상회의 운용툴과의 통합에 대해서 논의 및 분석을 제시한다. MPEG-2를 이용한 네트웍 응용의 다양한 연구는 여기서 제시하는 KLIMEX와 통합시스템 프로토타입을 이용하여 고성능 화상회의 시스템의 연구에 적용할 수 있다.

• The Transactions of the Korea Information Processing Society
• /
• v.5 no.5
• /
• pp.1130-1139
• /
• 1998

This paper presents an integrated solution for the content-based news video indexing and the retrieval. Currently, it is impossible to automatically index a general video, but we can index a specific structural video such as news videos. Our proposed model extracts automatically the key frames by using the structured knowledge of news and consists of the news item segmentation, caption recognition and search browser modules. We present above three modules in the following: the news event segmentation module recognizes an anchor-person shot based on face recognition, and then its news event are divided by the anchor-person's frame information. The caption recognition module detects the caption-frames with the caption characteristics, extracts their character region by the using split-merge method, and then recognizes characters with OCR software. Finally, the search browser module could make a various of searching mechanism possible.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• v.9 no.1
• /
• pp.358-362
• /
• 2005

디지털 비디오 압축기술은 멀티미디어 응용분야의 핵심으로 현재 빠르게 보급되어 최근에는 디지털비디오 압축 관련 국제 표준안 중 MPEG-4와 H.264가 발표되었다. 유연성이 좋은 MPEG-4와 달리H.264는 비디오 프레임의 효율적인 압축과 신뢰성을 강조 한다. 특히 H.264의 압축 기술은 카메라폰이나 DMB등의 작은 크기의 영상에서 고품질의 영상을 보다 효율적으로 제공 한다. 이에 본 논문은 현존하는 다른 비디오 코딩 표준과 비교할 때 코딩 효율이 기준의 두 배인 새로운 비디오 코딩 표준 H.264/AVC에서 사용하는, 변환 및 양자화를 연구하고 이를 기존의 정지영상 표준안인 JPEG나 JPEG 2000과 비교 분석하여 H.264/AVC의 공간적 압축인 인트라 코딩이 더 좋은 효과를 나타낸다는 것을 검증한 후 이를 토대로 하드웨어 설계언어인 VHDL언어를 이용하여 설계하고 FPGA칩인 XCV1000E에 다운로드 하여 칩 레벨의 시뮬레이션을 수행하여 설계된 변환 및 양자화 모듈을 검증하였다. 설계된 변환 및 양자화 모듈은 DMB 및 핸드폰 카메라와 같이 작은 정지 영상 압축에 응용이 가능하다.

• Archives of design research
• /
• v.11 no.1
• /
• pp.109-118
• /
• 1998

Recently, the importance of user-interface design has been increasing due to the development of electronic and semiconductor technology. Under these surroundings a lot of Approaches that are for the analysis of video sequential data have been developed. The study on the method of analysing various aspects in the use of real product should find the characteristics of users' behavior. Also, the study should include the interaction dffects among these aspects. For these reasons this study proposed an analysis method for the video sequential data of usability test. The study begins with discussing the nature of user-interface through reviewing the various aspects of user-interface. Based on the findings the structure of methods that analyze the characterisics of user's behavior is identified. Thereafter, we developed a computerized tool for analysing video sequential data from usability tests. The tool comprises of four different modules: module for identifying users' profiles, module for video data logging, module for analysing user's characteristics, and module for synthesizing these data for user-interface design. Finally findings are summarized and further research was suggested.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10c
• /
• pp.502-504
• /
• 2004

최근 고성능 네트워크(high performance network)를 통해서 고화질 비디오 전송이 활발히 이루어지고 있다. HD급의 고화질 비디오는 압축 방법과 해상도에 따라 그 종류가 많고 대역폭도 다양하다. 본 논문에서는 기존의 MPEG2 기반의 고화질 비디오(HDV)에 몰입감과 현실감을 증진시키기 위한 고화질의 스테레오 비디오를 네트워크 환경에서 실시간 전송하는 시스템을 디자인하고 구현한다. 구현된 시스템은 기존의 HDV전송 시스템을 개선하며 카메라로부터 저장된 스테레오 비디오를 전송하기 위한 전송 모듈을 제안하고 구현하여 결과를 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.296-299
• /
• 2013

디스플레이 기술이 발전함에 따라 다양한 크기의 디스플레이를 탑재한 장치들이 등장하게 되었고, 다양한 디스플레이 크기만큼 다양한 해상도를 사용하고 있다. 때문에 비디오 코덱과 scaler는 보편적으로 함께 사용된다. 그러나 기존의 scaler는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않으므로 시스템의 성능 개선에 한계가 존재하였다. 즉, 비디오 코덱의 복호화기는 비트스트림으로부터 복호한 정보를 바탕으로 영상을 복원하고, 복원영상은 up/down scaler에서 확대/축소를 수행한다. 하지만 비디오 코덱의 비트스트림에 존재하는 정보는 영상의 특성을 반영하기 때문에 up/down scaler에서 비디오 코덱의 복호화기에서 복호된 정보를 이용하면 복잡도의 증가 없이 효율적인 확대/축소를 수행할 수 있다. 이에 본 논문에서는 비디오 코덱 중 차세대 비디오 코덱인 H.264/AVC 복호화기에서 생성된 복원 영상에 대해서 별도로 영상의 특성을 계산하는 모듈 없이 H.264/AVC 복호화기에서 복원된 정보 중 인트라 모드 정보를 바탕으로 영상의 특성에 맞는 up/down scaler를 구현하는 방법을 제안한다. 이 방법은 기존의 scaler들보다 물체의 경계영역을 더 선명하게 확대하는 효과를 보인다.