Implementation of a Person Tracking Based Multi-channel Audio Panning System for Multi-view Broadcasting Services

다시점 방송 서비스를 위한 사용자 위치추적 기반 다채널 오디오 패닝 시스템 구현

In this paper, we propose a person tracking based multi-channel audio panning system for multi-view broadcasting services. Multi-view broadcasting is to render the video sequences that are captured from a set of cameras based on different viewpoints, and multi-channel audio panning techniques are necessary for audio rendering in these services. In order to apply such a realistic audio technique to this multi-view broadcasting service, person tracking techniques which are to estimate the position of users are also necessary. For these reasons, proposed methods are composed of two parts. The first part is a person tracking method by using ultrasonic satellites and receiver. We could obtain user's coordinates of high resolution and short duration about 10 mm and 150 ms. The second part is MPEG Surround parameter-based multi-channel audio panning method. It is a method to obtain panned multi-channel audio by controlling the MPEG Surround spatial parameters. A MUSHRA test is conducted to objectively evaluate the perceptual quality and measure localization performance using a dummy head. From the experiments, it is shown that the proposed method provides better perceptual quality and localization performance than the conventional parameter-based audio panning method. In addition, we implement the prototype of person tracking based multi-view broadcasting system by integrating proposed methods with multi-view display system.

본 논문에서는 다시점 방송 서비스(multi-view broadcasting service)를 위한 사용자 위치추적 기반 다채널 오디오 패닝 시스템을 제안한다. 다시점 방송이란 각기 다른 시점에 해당하는 카메라들을 이용하여 촬영한 영상을 렌더링 해주는 방송 서비스이며 다채널 오디오 패닝 기법은 이러한 다시점 방송의 실감효과를 증대시키기 위한 오디오 렌더링에 필요한 기술이다. 이런 실감 오디오 기술을 다시점 방송 서비스에 적용하기 위해서 사용자의 시점정보를 얻을 수 있는 사용자 추적 기술 역시 필요하다. 이를 위해서 본 논문에서 제안한 기술은 크게 두 가지로 나눌 수 있다. 첫째로, 초음파 위성 및 수신기를 이용하는 사용자 추적 기술을 제안한다. 제안한 사용자 추적 기술을 이용해 약 10 mm 근방의 높은 해상도와 약 0.15초의 빠른 간격으로 사용자의 위치정보를 얻을 수 있었다. 둘째로, 공간 파라메터 기반 다채널 오디오 패닝 기술을 제안한다. 제안한 오디오 패닝 기법은 MPEG Surround로 압축된 오디오에 대해 MPEG Surround의 공간 파라메터를 이용하여 복호화 시 패닝된 오디오를 얻는 방법이다. 제안된 방법의 성능을 평가하기위해 음질 측면과 음상 정위 측면에서 성능을 평가하였다. 음질 측정은 MUSHRA 방법으로 이루어졌으며, 제안된 방식은 약 90점에 해당하는 MUSHRA점수로 평가되었다. 또한, 음상 정위 성능은 더미헤드를 이용하여 각 패닝 오디오에 대한 각도별 주파수응답을 측정하여 방사패턴을 분석하였다. 그 결과 본 논문에서 제안된 방식은 기존 파라메터 기반 오디오 패닝 방식에 비해 향상된 음질을 보임과 동시에 음상이 올바른 위치에 정위됨을 보일 수 있었다. 마지막으로 제안된 사용자 추적 기법 및 오디오 패닝 기법을 다시점 영상 재생 시스템과 결합시킴으로써, 사용자 추적 기반 다시점 방송 시스템의 프로토타입을 구현하였다.