• Journal of information and communication convergence engineering
• /
• 제18권2호
• /
• pp.115-122
• /
• 2020

Audiovisual (AV) facilities such as TVs and signage are installed in various public places. However, audio cannot be used to prevent noise and interference from individuals, which results in a loss of concentration and understanding of AV content. To address this problem, a total technique for remotely listening to audio from audiovisual facilities with clean sound quality while maintaining video and lip-syncing through personal smart mobile devices is proposed in this paper. Through the experimental results, the proposed scheme has been verified to reduce system power consumption by 8% to 16% and provide real-time processing with a low latency of 120 ms. The system described in this paper will contribute to the activation of audio telehearing services as it is possible to provide audio remote services in various places, such as express buses, trains, wide-area and intercity buses, public waiting rooms, and various application services.

• 한국정보전자통신기술학회논문지
• /
• 제16권2호
• /
• pp.69-76
• /
• 2023

MDCT/IMDCT 과정을 사용하는 고품질 오디오/음성 코덱은 이전 프레임 과의 중첩-합(Overlap-add) 과정을 통해 현재 프레임을 완벽 복원 가능하다. 중첩-합 과정에서 프레임 길이 만큼의 알고리즘 지연이 발생하게 된다. 본 논문에서는 알고리즘 지연을 줄이기 위해 MDCT/IMDCT에 가변적인 위상변이를 사용하여 알고리즘 지연을 줄인 MDCT/IMDCT 과정을 제안한다. 가변 지연 MDCT/IMDCT알고리즘을 ITU-T 표준 코덱 G.729.1 코덱에 적용하여 저지연 오디오/음성 코덱을 제안하였다. MDCT/IMDCT 과정에서의 알고리즘 지연은 기존 20 ms에서 1.25ms 까지 감소시킬 수 있다. 저지연 MDCT/IMDCT를 적용한 오디오/음성 코덱의 복호화된 출력신호는 객관적 음질 시험 방법인 PESQ 시험을 통해 성능 평가하였다. 전송 지연이 감소 됨에도 불구하고 기존 방법과 음질 차이가 없음을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제10권8호
• /
• pp.1039-1051
• /
• 2007

본 논문은 비디오통신 시스템에서 초저지연을 달성하면서 립싱크 제어하는 방법을 제안한다. 초저지연 비디오 통신에서 핵심적인 기술은 종단간 지연시간을 줄이는 기술과 립싱크 제어 기술이다. 특히 서비스관점에서 립싱크 제어 기술이 중요한 요인으로 작용하고 있다. 오디오와 비디오의 데이터를 RTP/RTCP 기반으로 패킷을 구성하여 전송하고, 이 패킷을 이용하여 오디오와 비디오의 재생시간을 계산한 후 립싱크 제어를 한다. 본 논문에서는 오디오 데이터가 일정한 간격으로 재생되도록 하고, 오디오가 재생되는 시점에서 가장 근접한 재생시간을 가진 비디오 데이터를 찾아서 재생하는 방법으로 오디오와 비디오간의 립싱크 제어하는 방법을 제안한다. 그리고 종단간 지연시간이 100 ms이하인 초저지연 비디오 통신을 하기 위해서는 송신단의 인코딩 버퍼 제거하여 지연시간을 줄이고, 수신단의 재정렬버퍼 (Reordering Buffer)와 립싱크 버퍼의 크기를 3 프레임으로 처리하여 종단간 지연시간을 최소로 하였다. 실험결과에서 종단간 지연시간이 100 ms이하를 유지하고 오디오와 비디오의 립싱크 제어를 하였다.

• 한국음향학회지
• /
• 제37권2호
• /
• pp.110-117
• /
• 2018

본 논문에서는 음성/오디오 부호화기를 위한 저지연 윈도우 스위칭 MDCT(Modified Discrete Cosine Transform) 방법을 제안한다. 윈도우 스위칭 알고리즘을 사용하여 신호의 특성이 빨리 변하는 전이 구간에서 음질 저하를 개선하고, 저지연 TDAC(Time Domain Aliasing Cancellation)를 사용하여 알고리즘 지연을 1/2로 줄일 수 있는 MDCT 방법을 제안한다. 제안된 윈도우 스위칭 방법은 기존 윈도우 스위칭 알고리즘이 다른 길이의 중첩합(overlap-add)을 사용하는 것과 달리, 일정한 길이의 중첩합을 사용하여 알고리즘 지연을 1/2로 줄일 수 있었고, 신호의 특성에 따라 윈도우의 종류를 2개로 줄여 프레임 상태를 표현하는 정보 비트를 1 bit 감소시킬 수 있었다. 제안한 알고리즘을 MDCT 기반의 음성/오디오 부호화기인 ITU-T(International Telecommunication Union - Telecommunication) G.729.1 부호화기에 적용하여 성능을 확인하였으며, 알고리즘 지연을 절반으로 감소시키면서 동일한 음질을 유지할 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 추계종합학술대회 논문집(1)
• /
• pp.93-96
• /
• 2000

This paper has been proposed an audio DAC structure composed of FIRs and IIR filters as digital interpolation filter to integrate the off-chip analog low-pass filter on-a-chip. The passband ripple(< 0.41${\times}$fs), passband attenuation(at 0.41${\times}$fs) and stopband attenuation(> 0.59${\times}$fs) of the Δ$\Sigma$ modulator output using the proposed digital interpolation filter had ${\pm}$ 0.001 ［㏈］, -0.0025［㏈］ and -75［㏈］, respectively. Also the inband group delay was 30.07/fs［s］ and the error of group delay was 0.1672%. Also, the attenuation of stopband has been increased -20［㏈］ approximately at 65［㎑］, out-of-band. Therefore the RC products of analog low-pass filter on chip have been decreased compared with the conventional digital interpolation filter structure.

• 전기전자학회논문지
• /
• 제3권1호
• /
• pp.11-21
• /
• 1999

본 논문은 기존의 오디오 DAC 칩 외부의 아날로그 저역통과 필터를 하나의 칩에 집적하기 위하여 디지털 보간 필터의 구조를 FIR와 IIR 필터를 혼합한 구조를 제시하였다. 제시된 디지털 보간 필터를 이용한 ${\Delta}{\Sigma}$ 변조기 출력은 통과대역 내 (>$0.41{\times}fs$) 진폭은 ${\pm}0.001dB,\;0.41{\times}fs$에서 감쇠는 -0.0025[dB], 저지대역 이상(>$0.59{\times}fs$)에서 감쇠는 -75dB였고, 통과대역 내에서 군지연이 30.07/fs[s]이고, 군지연 오차가 0.1672%였다. 또한 저지대역 65[kHz]에서 감쇠가 약 -20[dB] 향상되어 이로 인해 기존의 디지털 보간 필터 구조에 비해 아날로그 저역통과 필터의 RC 적을 감소시킬 수 있음을 알 수 있었다.

• 한국정보처리학회논문지
• /
• 제4권2호
• /
• pp.363-376
• /
• 1997

본 논문에서는 데이크탑 컴퓨터 환경하에서 영상 회의 시스템의 오디오와 비디오 데이타를 입출력하는 하드웨어 및 이를 이용하는 소프트웨어의 고도에 대해 논하고 이를 구현함에 있어 시간 지연 관점에서 스트림의 동작 방식에 대해 분석한다. 영상 회의, 원격 교육, 주문형 비디오 등의 멀티미디어 응용 서비스에 이용되어 질 수 있는 멀티미디어 입출력 처리기인 MuX는 멀티미디어 데이타의 입출력, 동기화, 접합, 분리 ,합성 등에 대한 다양한 처리 요소를 제공한다. 본 논문은 이를 조합하여 영상 회의를 구현하는 방법에 대해 기술하며, 오디오, 비디오 등의 스트림의 동작 방식을 Master click과 자체 시계를 이용하는 방식을 비교한다. 오비디오, 비디오, 스트림의 출발점 이 되는 입력부에서는 자체 시계를 이용한 방식이 Master clock을 이용하는 경우, 주기적인 요소 오디오 스트림을 채널 객체의 자체 시계로 이용하는 것이 Master clock 을 이용하는 것보다 오디오 스트림의 전송에는 지연을 줄이는 효과는 있으나 비디오 스트림의 경우에는 큰 영향을 주지 못 함을 보였다.

• 융합신호처리학회논문지
• /
• 제15권1호
• /
• pp.1-8
• /
• 2014

Digital watermarking techniques are attracting attention as a proper solution to protect copyright for multimedia data. This paper proposes a new audio watermarking method based on Discrete Cosine Transformation (DCT) and Discrete Wavelet Transformation (DWT) for copyright protection. In our proposed watermarking method, the original audio is transformed into DCT domain and divided into two parts. Synchronization code is applied on the signal in first part and 2 levels DWT domain is applied on the signal in second part. The absolute value of DWT coefficient is divided into arbitrary number of segments and calculates the energy of each segment and middle peak. Watermarks are then embedded into each middle peak. Watermarks are extracted by performing the inverse operation of watermark embedding process. Experimental results show that the hidden watermark data is robust to re-sampling, low-pass filtering, re-quantization, MP3 compression, cropping, echo addition, delay, and pitch shifting, amplitude change. Performance analysis of the proposed scheme shows low error probability rates.

• 한국산업정보학회논문지
• /
• 제12권1호
• /
• pp.54-60
• /
• 2007

The Digital Multimedia Broadcasting(DMB) system is developed to offer high quality multimedia content to the mobile environment. The system adopts the MPEG-4 standard for the main video, audio and other media format. For providing interactive contents, it also adopts the MPEG-4 scene description that refers to the spatio-temporal specifications and behaviors of individual objects. With more interactive contents, the scene description also needs higher bitrate. However, the bandwidth for allocating meta data, such as scene description is restrictive in the mobile environment. On one hand, the DMB terminal renders each media stream according to the scene description. Thus the binary format for scene(BIFS) stream corresponding to the scene description should be decoded and parsed in advance when presenting media data. With this reasoning, the transmission delay of the BIFS stream would cause the delay in transmitting whole audio-visual scene presentations, although the audio or video streams are encoded in very low bitrate. This paper presents the effective optimization technique in adapting the BIFS stream into the expected bitrate without any waste in bandwidth and avoiding transmission delays inthe initial scene description for interactive DMB content.

• 전자공학회논문지S
• /
• 제35S권7호
• /
• pp.1-5
• /
• 1998

In this paper, recovery method with high-bitrate and low-bitrate coder was implemented in order to recover consecutive packet loss over the Internet. LPC was used as redundant audio data for recover of lost packets and RTP parcket format was modified for accommodation of redundant data. In measuring results using random packet loss rate with three redundant datra in every packet, it has shown that recovery rate was 80% in los rate of 50%. Since the processing delay for recovery of the lost packet was 200ms, this recovery method can be applied to real-time Internet sevice such as Internet phone.