Utility-Based Video Adaptation in MPEG-21 for Universal Multimedia Access

UMA를 위한 유틸리티 기반 MPEG-21 비디오 적응

  • 김재곤 (한국전자통신연구원 디지털방송연구단 방송미디어연구그룹) ;
  • 김형명 (한국과학기술원 전자 전산학과 전기 및 전자공학) ;
  • 강경옥 (한국전자통신연구원 디지털방송연구단 방송미디어연구그룹) ;
  • 김진웅 (한국전자통신연구원 디지털방송연구단 방송미디어연구그룹)
  • Published : 2003.12.01

Abstract

Video adaptation in response to dynamic resource conditions and user preferences is required as a key technology to enable universal multimedia access (UMA) through heterogeneous networks by a multitude of devices In a seamless way. Although many adaptation techniques exist, selections of appropriate adaptations among multiple choices that would satisfy given constraints are often ad hoc. To provide a systematic solution, we present a general conceptual framework to model video entity, adaptation, resource, utility, and relations among them. It allows for formulation of various adaptation problems as resource-constrained utility maximization. We apply the framework to a practical case of dynamic bit rate adaptation of MPEG-4 video streams by employing combination of frame dropping and DCT coefficient dropping. Furthermore, we present a descriptor, which has been accepted as a part of MPEG-21 Digital Item Adaptation (DIA), for supporting terminal and network quality of service (QoS) in an interoperable manner. Experiments are presented to demonstrate the feasibility of the presented framework using the descriptor.

가변의 자원제한(resource constraint) 및 사용자 선호(preference)를 만족하기 위한 비디오 적응(adaptation)은 다양한 사용자 단말과 이종망을 통한 범용적멀티미디어접근(Universal Multimedia Access: UMA)을 위한 주요 요소기술이다. 기존의 많은 비디오 적응 기법이 존재하지만 주어진 자원제한을 만족하는 최적의 적응을 제공하기 위한 체계적인 기법은 제시되지 못하였다. 본 논문에서는 체계적인 최적의 적응을 제공하기 위하여, 적응단위를 정의하는 비디오 엔티티(entity), 주어진 자원제한을 나타내는 리소스(resource), 적용 가능한 적응동작을 규정하는 적응(adaptation), 각 적응결과 비디오 품질(quality)을 나타내는 유틸리티(utility)의 관계를 모형화하는 개념적인 적응 프레임워크를 제시하고자 한다. 본 프레임워크는 다양한 형태의 적응의 문제를 제한된 자원에서 유틸리티를 최대화하는 문제(resource-constrained utility maximization)로 정형화(formulation)할 수 있도록 한다. 본 논문에서는 이 프레임워크를 프레임 제거(frame dropping)과 DCT 계수 제거(coefficient dropping)을 이용한 MPEG-4 압축 비디오의 비트율 적응의 실제적인 예에 적용한다. 또한 상호연동 가능한(interoperable) 형태로 터미널 및 네트워크 QoS(quality of Service)를 제공하기 위한 툴로 MPEG-21 Digital Item Adaptation(DIA)에 채택된 기술자(descriptor)를 제시한다. 이 기술자는 본 프레임워크의 적응-리소스-유틸리티의 관계를 유틸리티 함수(utility function)를 이용하여 기술(description)한다. 실험을 통하여 본 논문의 표준 기술자를 사용하는 적응 프레임워크의 타당성을 보인다.다. 특정시기 가곡향유의 실질은 곧 가곡의 곡 해석방식에 직결될 것이기 때문이다.를 선택하는가 하는 디자이너 측면의 요인이 감성 품질과 밀접함 관련이 있음을 알 수 있었다.멘트들의 재배열이 주된 역할을 하는 것으로 해석할 수 있다. 한편 고자장 영역에서는 correlation time 중 $\tau$가 주된 역할을 담당하는데는 $\tau$는 나노 입자의 크기와 연관되어 있으며 고자장에서 입자 크기에 따른 T1 이완율(R1)과 T2 이완율(R2)의 차이는 이러한 입자크기의 차이에 의해 발생하는 것으로 해석할 수 있다. 나노입자에 포함된 철 원자수를 변화시키는 경우 철 원자수가 증가 할 수록 R1과 R2가 증가하는 결과를 나타내었다. 한편 온도변화에 따른 T1, T2 자기이완시간의 변화는 정상체온 근처의 제한적인 온도범위내에서 저자장 영역에서의 아주 작은 변화를 제외하고는 큰 차이를 보이지 않았으나 T1에 비해 T2에서 이러한 변화가 상대적으로 더 작게 나타났다. 결론 : 임상적 다기능성을 나타낼 가능성이 많은 것으로 보고되고 있는 미세 초상자성 산화철 입자의 자기이완에 대한 이론적 모델을 초상자성 나노입자의 물리적 특성에 기초하여 제시하였고 이러한 이론적 모델에 근거한 미세 초상자성 산화철 입자의 자기장의 세기에 따른 자기 이완시간의 변화를 컴퓨터 모의 실험을 통해 조사하였다.다.있는 것으로 보여진다. 따라서 혈압 저하를 목적으로 하는 나트륨 제한식의 실시는 다양한 체내의 생화학적 변화를 고려해서 이루어져야 할 것이며, 앞으로 이에 대한 보다 다각적인 연구가 요구된다.CSU-23 배양배지에서 배양하는 것이 좋다는 결과를 얻었다. and those a having sufficient sleep were found to be subject to less stress. Those interested in their health were found

Keywords

References

  1. R. Mohan, J. R. Smith, and C.-S. Liu, 'Adapting multimedia Internet content for universal access,' IEEE Trans. Multimedia, vol. 1., pp. 104-114, Mar. 1999.
  2. P. van Beek, J. R. Smith, T. Ebrahimi, T. Suzuki, and J. Askelof, 'Metadata-driven multimedia access', IEEE Signal Processing Mag., vol. 20, pp. 40-52, Mar. 2003.
  3. J. Bormans, J. Gelissen, and A. Perkis, 'MPEG-21: The 21st century multimedia framework,' IEEE Signal Processing Mag., vol. 20, pp. 53-62, Mar. 2003.
  4. A. Vetro, C. Christopoulos, and H. Sun, 'Video transcoding architectures and techniques: An overview', IEEE Signal Processing Mag., vol. 20, pp. 18-29, Mar. 2003.
  5. Y. Nakajima, H. Hori, and T. Kanoh, 'Rate conversion of MPEG coded video by requantization process,' in Proc. IEEE Int. Conf. Image Processing, Washington, DC, 1995, pp. 408-411.
  6. H. Sun, W. Kwok, and J. Zdepski, 'Architecture for MPEG compressed bitstream scaling', IEEE Trans. Circuits Syst. Video Technol., vol. 6, pp. 191-199, Apr.1996.
  7. P. Assuncano and M. Ghanbari, 'Post-processing of MPEG2 coded video for transmission at lower bit rates,' in Proc. IEEE Int. Conf. On Acoustic, Speech, and Signal Processing'96, vol. 4, Atlanta, GA, May 1996, pp. 1998-2001.
  8. A. Eleftheriadis, 'Dynamic rate shaping of compressed digital video,' Ph. D. dissertation, Dept., Elec. Eng., Columbia Univ., New York, June 1995.
  9. J. Youn, M. T. Sun, and C. W. Lin, 'Motion vector refinement for high performance transcoding,' IEEE Multimedia, vol. 1, pp. 30-40, Mar. 1999. https://doi.org/10.1109/6046.748169
  10. T. Shanableh and M. Ghanbari, 'Heterogeneous video transcoding to lower spatio-temporal resolutions and different encoding formats,' IEEE Trans. Multimedia, vol. 2, pp. 101-110, June 2000.
  11. K. T. Fung, Y. L. Chan, and W. C. Siu, 'New architecture for dynamic frame-skipping transcoder,' IEEE Trans. Image Processing, vol. 11, pp. 886-900, Aug. 2002.
  12. A. Vetro, H. Sun, and Y, Wang, 'Object-based transcoding for adaptive video content delivery,' IEEE Trans. Circuit Syst. Video Technol., vol. 11, pp. 387-401, Mar., 2001.
  13. W. Li, 'Overview of fine granularity scalability in MPEG-4 video standard,' IEEE Trans. Circuit Syst. Video Technol., vol. 11, pp. 301-317, Mar. 2001.
  14. M. van der Schaar and H. Radha, 'A hybrid temporal-SNR fine granular scalability for internet video,' IEEE Trans. Circuit Syst. Video Technol., vol. 11, pp. 318-331, Mar. 2001.
  15. S.-F. Chang, 'Optimal video adaptation and skimming using a utility-based framework,' in Proc. IWDC-2002, Capri Island, Italy, Sep. 2002.
  16. J.-G. Kim, Y. Wang, and S.-F. Chang, 'Content-adaptive utility-based video adaptation', In Proc. ICME-2003, Baltimore, July 2003.
  17. Y. Wang, J.-G. Kim, and S.-F. Chang, 'Content-based utility function prediction for real-time MPEG-4 transcoding', In Proc. ICIP-2003, Barcelona, Sep. 2003.
  18. A. Vetro, Y. Wang, and H. Sun, 'Rate-distortion optimized video coding considering frameskip,' in Proc. IEEE Int. Conf. Image Processing, Thessaloniki, Greece, Oct. 2001, pp. 534-537.
  19. E.C. Reed and J.S. Lim, 'Optimal multidimensional bit-rate control for video communications,' IEEE Trans Image Processing, vol. 11, no. 8, pp. 873-885, Aug. 2002.
  20. P. Bocheck, A. Campbell, S.-F. Chang and R. R.-F. Liao, 'Utility-based network adaptation for MPEG-4 systems', in Proc. NOSSDAV '99, Basking Ridge, New Jersey, June 1999.
  21. C. E. Luna, L. P. Kondi, and A. K. Katsaggelos, 'Maximizing user utility in video streaming applications', IEEE Tran. Curcits and Syst. Video Technol., vol 13, no 2, pp. 141-148, Feb. 2003.
  22. J.-G. Kim, Y. Wang, S.-F. Chang, K. Kang, and J. Kim, 'Description of utility function based optimum transcoding,' ISO/IEC JTC1/SC29/WG11/M8319, Fairfax May 2002.
  23. ISO/IEC 21000-7 FDIS Part 7: Digital Item Adaptation, ISO/IEC JTC1/SC29/WG11/N6168, Hawaii, USA, Dec. 2003..