Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Temporal Color Rolling Suppression Algorithm Considering Time-varying Illuminant

조도 변화를 고려한 동영상 색 유동성 저감 알고리즘

  • Oh, Hyun-Mook (Institute of TMS Information Technology, Yonsei University) ;
  • Kang, Moon-Gi (Institute of TMS Information Technology, Yonsei University)
  • 오현묵 (연세대학교 전기전자공학과 TMS 정보기술사업단) ;
  • 강문기 (연세대학교 전기전자공학과 TMS 정보기술사업단)
  • Received : 2011.04.28
  • Accepted : 2011.08.17
  • Published : 2011.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, a temporal color and luminance variation suppression algorithm for a digital video sequence is proposed by considering time-varying light source. When a video sequence is sampled with the periodically emitting illuminant and with a short exposure time, the color rolling phenomenon occurs, where the color and the luminance of the image periodically change from field to field. In conventional signal processing techniques, the luminance variation remaining in the resultant video sequence degrades the constancy of the image sequence. In the proposed method, we obtain video sequences with constant luminance and color by compensating for the inter-field luminance variation. Based on a motion detection technique, the amount of the luminance variation for each channel is estimated on the background of the sequence without the effects of moving objects. The experimental results clearly show that our strategy efficiently estimated the illuminant change without being affected by moving objects, and the variations were efficiently reduced.

본 논문은 조도 변화에 의해 동영상 시퀀스에서 발생하는 주기적인 색상 및 밝기 변화를 저감하기 위한 알고리즘을 제안한다. 밝기 변화가 주기적으로 일어나는 광원 환경에서 동영상을 촬영하는 경우, 노출 시간이 짧아짐에 따라 색상 및 밝기가 주기적으로 변하는 색 유동성 현상, 즉 컬러 롤링 현상(color rolling phenomenon)이 발생한다. 색 유동성 현상이 발생하는 경우 화이트 밸런스 알고리즘을 적용함으로써 개별 프레임의 색상을 보정할 수 있지만, 프레임 간에 발생하는 밝기 차이를 고려하지 않기 때문에 동영상의 밝기가 주기적으로 변하는 문제가 남게 된다. 제안하는 방법에서는 프레임 간에 발생하는 밝기 변화를 추정함으로써 색 유동성 현상으로 인해 나타나는 밝기 및 색상 변화를 보정하는 알고리즘을 제안한다. 이 때, 움직이는 물체에 의해 발생하는 밝기 변화 추정 에러를 줄이기 위해 움직임 검출(motion detection) 방법에 기반하여 색 유동성에 의한 밝기 변화만을 선택적으로 검출하여 보상한다. 또한 이전 밝기 정보를 이용하여 색 유동성에 의한 밝기 변화량을 예측함으로써 실시간 영상 처리에 적합하도록 하였다. 실험 결과를 통해 제안하는 방법을 사용하는 경우 조도 변화에 의한 밝기 변화를 보상함으로써 동영상의 프레임 간 밝기 및 색상의 항상성을 유지하는 것을 확인할 수 있다.

Keywords

References

  1. K. Barnard, V. Cardei, and B. Funt, "A comparison of computational color constancy algorithms - Part I: methodology and experiments with synthesized data," IEEE Trans. Image Processing, vol. 11, no. 9, pp. 927-984, Sep. 2002.
  2. J. Weijer, T. Gevers, and A. Gijsenij, "Edge-based color constancy," IEEE Trans. Image Processing, vol. 16, no. 9, pp. 2207-2214, Sep. 2007 https://doi.org/10.1109/TIP.2007.901808
  3. C. Weng, H. Chen, C. Fuh, "A novel automatic white balance method for digital still cameras," IEEE ISCAS 2005, pp. 3801-3804, May 2005
  4. Y. Horie, "Color image processing method, and color imaging apparatus," US 2005/0179789, Aug. 2005.
  5. J. C. Weng and J. L. Chen, "Image-clock adjusting circuit and method," US 2008/0309818, Dec. 2008.
  6. Y. Taura, "Image processing circuit, image processing method, and camera device," US 2005/0253941, Nov. 2005.
  7. J. A. Worthey and M. H. Brill, "Heuristic analysis of von Kries color constancy," J. Opt. Soc. Amer., vol. 3, no. 10, pp. 1708-1712, Oct. 1986. https://doi.org/10.1364/JOSAA.3.001708
  8. Y. Y. Jung, S. Yang, and P. Yu, "An effective de-interlacing technique using two types of motion information," IEEE Trans. Consumer Electronics, vol. 49, no. 3, pp. 493-498, Aug. 2003. https://doi.org/10.1109/TCE.2003.1233760
  9. G. L. Li and M. J. Chen, "High performance de-interlacing algorithm for digital television displays," Journal of Display Technology, vol. 2, no. 1, pp. 85-90, Mar. 2006. https://doi.org/10.1109/JDT.2005.864157
  10. M. J. Chen, C. H. Huang, and C. T. Hsu, "Efficient de-interlacing technique by inter-field information." IEEE Trans. Consumer Electronics, vol. 50, no. 4, pp. 1202-1208, Nov. 2004. https://doi.org/10.1109/TCE.2004.1362520
  11. H. Yang, J. Lin, H. Tsao, and Y. Fan, "Algorithm and architecture design of illumination changes adaptive motion estimation" IEEE ISCE 2009, pp.565-568, May 2009.