• 방송공학회논문지
• /
• 제16권5호
• /
• pp.811-823
• /
• 2011

본 논문에서는 파노라마 영상으로 구성된 멀티미디어 콘텐츠를 효율적으로 전송하는 방법을 제안한다. 파노라마 영상은 넓은 시야와 다양한 시점을 사용자에게 제공한다. 하지만 현재의 파노라마식 멀티미디어 콘텐츠 전송 서비스에는 몇 가지 제한조건이 존재한다. 먼저 파노라마 영상이 갖는 데이터양이 기존의 멀티미디어 영상보다 크기 때문에, 제한적인 전송 대역폭을 갖고 있는 통신환경에서는 초기 지연 시간이 길어지는 문제점이 있다. 또한 사용자가 제한된 디스플레이 장치(모바일 폰, PC 모니터 등)에서 전송된 영상 중 일부 시점의 영상만을 재생하게 되어, 콘텐츠의 사용효율이 떨어지는 문제점을 가지고 있다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위한 방안으로 MPEG-4 시스템의 장면 구성 기술을 활용한 파노라마식 멀티미디어 콘텐츠 전송을 제안한다. 또한 본 논문에서는 장면 구성 기술을 활용하여, 단일 파노라마식 멀티미디어 콘텐츠 전송과 분할 파노라마식 멀티미디어 콘텐츠 전송을 비교함으로써 전송의 효율성을 증명하였다.

• 한국정보컨버전스학회:학술대회논문집
• /
• 한국정보컨버전스학회 2008년도 International conference on information convergence
• /
• pp.53-56
• /
• 2008

This paper reports on the ACQA(Animated agent for Conversational Question Answering) project conducted at LIMSI. The aim is to design an expressive animated conversational agent(ACA) for conducting research along two main lines: 1/ perceptual experiments(eg perception of expressivity and 3D movements in both audio and visual channels): 2/ design of human-computer interfaces requiring head models at different resolutions and the integration of the talking head in virtual scenes. The target application of this expressive ACA is a real-time question and answer speech based system developed at LIMSI(RITEL). The architecture of the system is based on distributed modules exchanging messages through a network protocol. The main components of the system are: RITEL a question and answer system searching raw text, which is able to produce a text(the answer) and attitudinal information; this attitudinal information is then processed for delivering expressive tags; the text is converted into phoneme, viseme, and prosodic descriptions. Audio speech is generated by the LIMSI selection-concatenation text-to-speech engine. Visual speech is using MPEG4 keypoint-based animation, and is rendered in real-time by Virtual Choreographer (VirChor), a GPU-based 3D engine. Finally, visual and audio speech is played in a 3D audio and visual scene. The project also puts a lot of effort for realistic visual and audio 3D rendering. A new model of phoneme-dependant human radiation patterns is included in the speech synthesis system, so that the ACA can move in the virtual scene with realistic 3D visual and audio rendering.

• 한국멀티미디어학회논문지
• /
• 제12권4호
• /
• pp.492-501
• /
• 2009

동영상에서 객체의 동작 정보는 장면의 내용을 분류하고 구분하는 중요한 정보로 이용될 수 있다. 본 논문에서는 동영상에서 객체의 동작을 효과적으로 찾기 위한 모양기반 동작 검색 방법을 제안한다. 객체의 동작 정보는 동영상 프레임에서 객체 영역을 추출하여 연속된 2차원 모양 정보로 표현되고, 각각의 2차원 모양 정보는 모양 기술자를 이용하여 1차원 모양 특정값으로 변환된다. 순서에 따라 나열된 모양 기술자 시퀀스를 이용하여 개별 동작의 분할 과정 없이 문서에서 단어를 검색하듯이 동영상에서 객체의 동작을 검색할 수 있다. MPEG-7 모양 변화 기술자와의 성능 비교 실험을 통하여 제안된 방법이 객체의 동작 정보를 보다 효과적으로 표현할 수 있으며, 동작 검색 및 분석 응용에 적용할 수 있음을 보였다.

• International Journal of Contents
• /
• 제4권2호
• /
• pp.24-28
• /
• 2008

In this paper, we propose a new approach for content-based video retrieval using non-parametric based motion classification in the shot-based video indexing structure. Our system proposed in this paper has supported the real-time video retrieval using spatio-temporal feature comparison by measuring the similarity between visual features and between motion features, respectively, after extracting representative frame and non-parametric motion information from shot-based video clips segmented by scene change detection method. The extraction of non-parametric based motion features, after the normalized motion vectors are created from an MPEG-compressed stream, is effectively fulfilled by discretizing each normalized motion vector into various angle bins, and by considering the mean, variance, and direction of motion vectors in these bins. To obtain visual feature in representative frame, we use the edge-based spatial descriptor. Experimental results show that our approach is superior to conventional methods with regard to the performance for video indexing and retrieval.

• 대한전자공학회논문지SP
• /
• 제43권1호
• /
• pp.27-38
• /
• 2006

제한된 채널 대역폭이나, 저장 공간의 한계가 있는 경우 일정한 화질의 영상을 얻기 위해서는 영상의 움직임, 화면전환, 버퍼 용량, 채널 대역폭등의 변화에 순간, 순간 적응할 수 있는 비트율 제어 방법이 필요하다. 각 프레임마다 목표한 비트수를 얼마나 정확하게 예측할 수 있는지, 또는 버퍼에 의한 영상 지연 시간을 얼마나 짧게 할 수 있는지 등이, 효율적인 부호화기를 구성하는데 필요한 기술들이다. 따라서 본 논문에서는 비디오 부호화기에서 찾을 수 있는 여러 가지 선형 관계를 이용하여 위의 요구 조건을 만족하는 비트율 제어 방법을 제안한다. 제안된 방법에서는 3가지의 선형 관계에 대해서 설명을 한다. 첫 번째로, 비트수(R)와 양자화 된 변환 계수 중 Zero의 비율(p)과의 관계. 두 번째, PSNR과 양자화변수(QP) 사이의 관계, 그리고 마지막으로 QP와 p에서의 선형적 특성을 찾을 수 있었다. 제안된 비트율 제어 방법과 H.264/MPEG-4 AVC JM9.3의 비트율 제어 방법을 비교 실험하여 본 결과, 제안된 방법에서 정확한 비트수 예측, 낮은 버퍼 충만도, 높은 PSNR을 관찰 할 수 있었다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제10권3호
• /
• pp.251-258
• /
• 2004

XMT는 텍스트 형식의 MPEG-4 씬 기술 언어로 방송용 오디오/비디오 편집 및 사용자 중심의 미디어 컨텐츠 개발에 활용될 수 있다. 본 논문에서는 다양한 재생 환경에서 컨텐츠의 상호 교환을 지원하는 XMT 저작 시스템을 제안한다. XMT 저작 시스템은 XMT의 두 가지 파일 포맷인 XMT-$\alpha$와 XMT-$\Omega$를 생성한다. 두 파일 포맷은 같은 객체를 표현하는 방법이 다르므로, 추상화된 XMT-$\alpha$를 위한 저작 인터페이스와 XMT-$\Omega$를 위한 인터페이스를 제공한다. 또한, 두 개의 파일 포맷을 지원할 수 있는 내부 자료 구조를 정의하고, XMT-$\alpha$를 BIFS로 변환하는 기능과 XMT-$\Omega$를 SMIL, XMT-$\alpha$로 변환하는 기능을 제공하여 XMT의 특징인 다양한 환경에서 멀티미디어의 상호 교환성을 제공한다.

• 방송공학회논문지
• /
• 제15권3호
• /
• pp.346-354
• /
• 2010

지상파 DMB에서는 양방�� 데이터 서비스를 위하여 MPEG-4 BIFS 규격을 사용하고 있다. BIFS는 콘텐츠의 장면을 구성하는 AV, 이미지, 그래픽, 텍스트 등의 다양한 멀티미디어 객체를 장면상에 표현하고, 사용자로부터 입력을 받아 표현된 객체를 조작하도록 하는 것이 가능하다. 그러나 BIFS가 다양한 형태의 입력장치를 갖는 멀티미디어 시스템에 부합되도록 설계되었지만, 오늘날과 같이 제한적 입력장치를 갖는 휴대 단말에 대한 고려가 결여되어 있다. 문제는 DMB 단말들이 제한적 입력을 가질 수밖에 없기 때문에 사용자가 양방향 데이터 콘텐츠를 조작하는 방법이 일관적이지 못하다는 것이다. 본 논문에서는 이러한 문제를 해결하기 위하여 콘텐츠 제공자와 사용자간의 통일되고 효율적인 콘텐츠 조작을 위해 현재의 BIFS 규격에 KeyNavigator 노드를 추가로 정의하였다. KeyNavigator 노드는 BIFS 콘텐츠에서 휴대 단말의 방향키를 이용하여 BIFS 객체간의 이동이나 BIFS 객체를 선택하는 방법을 제공한다. KeyNavigator 노드를 사용함으로써 BIFS 콘텐츠 제공자는 의도하는 바에 따라 콘텐츠를 저작할 수 있고 휴대 단말 사용자에게도 통일되고 효율적인 BIFS 콘텐츠 제어 방법을 제시하는 우수한 효과가 있다.

• 방송공학회논문지
• /
• 제16권3호
• /
• pp.542-551
• /
• 2011

최근 지상파 DMB 및 위성 DMB를 위한 국제 표준 파일 포맷인 DMB-AF(Digital Multimedia Broadcasting Application Format) 표준을 확장하여 2D 비디오와 2D 대화형 서비스 데이터, 즉 MPEG-4 BIFS(Binary Format for Scene) 데이터뿐만 아니라 스테레오스 코픽 비디오와 스테레오스코픽 BIFS 데이터를 함께 담는 방식이 제안되었으나, 검증을 위한 구현이 완료되지 않아 산업계에서 활용되기에는 미흡하였다. 이렇게 확장된 DMB-AF는 2D/3D 비디오 및 2D/3D BIFS 프레젠테이션이 시간적으로 혼용될 수 있게 한다. 본 논문에서는 [1]에서 제안된 방식들을 지원하는 DMB-AF 플레이어 소프트웨어를 개발하고, 그 기능을 시험하기 위해 이렇게 확장된 DMB-AF에 따라 시험 파일들을 제작하였다. 그 결과로서 [1]에서 제안된 방식 중 3D 미디어 트랙 간의 의존성을 나타내는 방법을 개선하였으며, 이렇게 개선된 형태로 [1]에서 제안된 방식이 기술적으로 정확히 동작함을 검증하였다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.360-371
• /
• 2011

T-DMB 하이브리드 데이터 서비스는 서비스를 구성하는 장면 기술 정보와 객체 기술 정보를 방송망 이외의 전송 경로를 통해 분산 전송할 수 있도록 구성하는 하이브리드 BIFS 기술을 이용하여 기존 T-DMB 수신기와의 역호환성을 보장하면서 새로운 데이터 서비스를 제공한다. 본 논문에서는 하이브리드 BIFS 기술을 이용하여 분산 전송이 가능한 BIFS를 구성하기 위한 하이브리드 서비스 저작 프레임워크의 구현 결과와 이를 이용한 실험 결과를 소개한다. 하이브리드 서비스 저작 프레임워크는 서비스 생성 시스템, 서비스 관리 시스템, 콘텐츠 제공 시스템 등으로 구성되며, 통합된 하이브리드 서비스를 저작하는 것은 물론 이를 방송망으로 전송되는 데이터와 무선 통신망을 통해 전송되는 개인맞춤형 데이터로 분할하여 생성하고 관리하는 기능을 제공한다. 이 서비스 프레임워크를 통해 구현된 콘텐츠는 기존 수신기와의 역호환성을 보장하면서 새로운 개인맞춤형 데이터 서비스 구현이 가능함을 검증하였다.