Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Color Demosaicing Algorithm Considering Color Constancy

색의 일관성을 고려한 색상 보간

  • Kim, Chang-Won (Institute of TMS Information Technology, Yonsei University) ;
  • Oh, Hyun-Mook (Institute of TMS Information Technology, Yonsei University) ;
  • Kang, Moon-Gi (Institute of TMS Information Technology, Yonsei University)
  • 김창원 (연세대학교 전기전자공학과 TMS 정보 기술 사업단) ;
  • 오현묵 (연세대학교 전기전자공학과 TMS 정보 기술 사업단) ;
  • 강문기 (연세대학교 전기전자공학과 TMS 정보 기술 사업단)
  • Received : 2010.03.02
  • Published : 2010.05.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a novel way of combining color demosaicing and the auto white balance (AWB) method, which are important parts of image processing. Performance of the AWB is generally affected by demosaicing results because most AWB algorithms are performed posterior to color demosaicing. In order to increase the performance and efficiency of the AWB algorithm, the color constancy problem is considered during the color demosaicing step. Initial estimates of the directional luminance and chrominance values are defined for estimating edge direction and calculating the AWB gain. We propose a modified edge-based AWB method that used a pre-defined achromatic region. The estimation of edge direction is performed region adaptively by using the local statistics of the initial estimates of the luminance and chrominance information. The proposed method shows significant improvements in terms of visual and numerical criteria when compared to conventional methods.

본 논문은 카메라 영상 처리에서 중요한 부분인 색상 보간과 자동 화이트 조절을 동시에 수행하는 방법을 제안한다. 대부분의 자동 화이트 조절은 색상 보간 후에 수행이 되기 때문에 색상 보간의 결과에 영향을 받는다. 자동 화이트 조절의 성능을 높이기 위해서 색상 보간 수행 중에 색의 일관성이 고려된다. 자동 화이트 조절 이득 계산과 색상 보간의 방향 결정을 위한 초기 추정치를 테일러 시리즈를 이용하여 상하좌우 방향으로 구한다. 미리 정의된 무채색 영역을 이용하여 에지 기반 자동 화이트 조절을 수행한다. 에지 기반 자동 화이트 조절의 이득을 계산하고 색상 보간의 성능을 높이기 위해서 베이어 데이터의 각 화소에서 평탄, 에지, 패턴 에지 영역으로 구분한다. 색상 보간은 초기 추정치 중에서 국부 분산을 사용하여 보간 오류의 발생을 최소화하는 방향으로 수행한다. R과 B 색상은 보간된 G 색상과 색의 일관성이 고려된 색차값을 이용해서 쉽게 보간된다. 제안된 알고리즘은 기존 알고리즘에 비해 수치적 및 영상의 화질 면에서 모두 뛰어난 결과를 보임을 실험을 통해 확인 할 수 있다.

Keywords

References

  1. B.E. Bayer, "Color imaging array," U.S. Patent 3 971 065, Jul. 1976.
  2. D. Forsyth, "A novel algorithm for color constancy," Int. J. Comput. Vis., vol. 5, no. 1, pp. 5-36, 1990. https://doi.org/10.1007/BF00056770
  3. S. C. Pei and I. K. Tam, "Effective color interpolation in CCD color filter arrays using signal correlation," IEEE Trans. Circuits and systems for video technology, vol. 13, no. 6, pp. 503-513, June 2003.
  4. 허봉수, 홍훈섭, 강문기, "CCD 이미지 센서를 위한 경계 적응적 칼라 보간", 대한전자공학회, 제39권, 제1호, pp.1-10, 2002년 1월
  5. W. Lu and Y. Tan, "Color filter array demosaicking: New method and performance measures," IEEE Trans. Image Processing, vol. 12, no. 10, pp. 1194-1210, Oct. 2003. https://doi.org/10.1109/TIP.2003.816004
  6. X. L. Wu and N. Zhang, "Primary-consistent soft-decision color demosaicking" for digital cameras (patent pending), IEEE Trans. Processing, vol. 13, no. 9, pp. 1263-1274, Sep. 2004. https://doi.org/10.1109/TIP.2004.832920
  7. J.S.J. Li and S. Randhawa "High Order Extrapolation Using Taylor Series for Color Filter Array Demosaicing" ICIAR 2005, LNCS 3656, pp. 703-711, 2005.
  8. L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Transactions on Image Processing, vol. 14, no. 12, pp. 2167-2178, 2005.
  9. K.-H. Chung and Y.-H. Chan, "Color demosaicing using variance of color differences," IEEE Transactions on Image Processing, vol. 15, no. 10, pp. 2944-2955, 2006.
  10. C.Y. Tsai and K.T. Song, "Heterogeneity-Projection Hard-Decision Color Interpolation Using Spectral-Spatial Correlation," IEEE Trans. Image Processing, vol. 16, no. 1, pp. 78-91, Jan. 2007. https://doi.org/10.1109/TIP.2006.884943
  11. 김창원, 오현묵, 강문기, "영역 적응적 컬러보간 알고리듬", 대한전자공학회 하계종합학술대회, 용평리조트, 2008년 6월
  12. K. Barnard, L. Martin, A. Coath, and B. Funt, "A comparison of computational color constancy algorithms.Part I: Experiments with image data," IEEE Trans. Image Process., vol. 11, no. 9, pp. 972-984, Sep. 2002 https://doi.org/10.1109/TIP.2002.802531
  13. K. Barnard, L. Martin, A. Coath, and B. Funt, "A comparison of computational color constancy algorithms.Part II: Experiments with image data," IEEE Trans. Image Process., vol. 11, no. 9, pp. 985-996, Sep. 2002. https://doi.org/10.1109/TIP.2002.802529
  14. J. Lin, "An Automatic White Balance Method Based on Edge Detection," Consumer Electronics, 2006. ISCE '06. 2006 IEEE Tenth International Symposium, pp. 1-4, 2006.
  15. J. van de Weijer and T. Gevers, "Edge-Based Color Constancy," IEEE Trans. Image Process., vol. 16, no. 9, pp. 2207-2214, Sep. 2007.
  16. H. H. Chen, C. H. Shen, and P. S. Tsai, "Edge-based automatic white balancing with linear illuminant constraint," Proc. of SPIE-IS&T Electronic Imaging SPIE Vol. 6508, 65081D, 2007.