A Study on RTP-based Lip Synchronization Control for Very Low Delay in Video Communication

초저지연 비디오 통신을 위한 RTP 기반 립싱크 제어 기술에 관한 연구

In this paper, a new lip synchronization control method is proposed to achieve very low delay in the video communication. The lip control is so much vital in video communication as delay reduction. In a general way, to control the lip synchronization, both the playtime and capture time calculated from RTP time stamp are used. RTP timestamp is created by stream sender and sent to the receiver along the stream. It is extracted from the received packet by stream receiver to calculate playtime and capture time. In this paper, we propose the method of searching most adjacent corresponding frame of the audio signal, which is assumed to be played with uniform speed. Encoding buffer of stream sender is removed to reduce the buffering delay. Besides, decoder buffer of receiver, which is used to correct the cracked packet, is resulted to process only 3 frames. These mechanisms enable us to achieve ultra low delay less than 100 ms, which is essential to video communication. Through simulations, the proposed method shows below the 100 ms delay and controlled the lip synchronization between audio and video.

본 논문은 비디오통신 시스템에서 초저지연을 달성하면서 립싱크 제어하는 방법을 제안한다. 초저지연 비디오 통신에서 핵심적인 기술은 종단간 지연시간을 줄이는 기술과 립싱크 제어 기술이다. 특히 서비스관점에서 립싱크 제어 기술이 중요한 요인으로 작용하고 있다. 오디오와 비디오의 데이터를 RTP/RTCP 기반으로 패킷을 구성하여 전송하고, 이 패킷을 이용하여 오디오와 비디오의 재생시간을 계산한 후 립싱크 제어를 한다. 본 논문에서는 오디오 데이터가 일정한 간격으로 재생되도록 하고, 오디오가 재생되는 시점에서 가장 근접한 재생시간을 가진 비디오 데이터를 찾아서 재생하는 방법으로 오디오와 비디오간의 립싱크 제어하는 방법을 제안한다. 그리고 종단간 지연시간이 100 ms이하인 초저지연 비디오 통신을 하기 위해서는 송신단의 인코딩 버퍼 제거하여 지연시간을 줄이고, 수신단의 재정렬버퍼 (Reordering Buffer)와 립싱크 버퍼의 크기를 3 프레임으로 처리하여 종단간 지연시간을 최소로 하였다. 실험결과에서 종단간 지연시간이 100 ms이하를 유지하고 오디오와 비디오의 립싱크 제어를 하였다.