Image Exposure Compensation Based on Conditional Expectation

Conditional Expectation을 이용한 영상의 노출 보정

  • Kim, Dong-Sik (Department of Electronics and Information Engineering, Hankuk University of Foreign Studies) ;
  • Lee, Su-Yeon (ECO, Inc.)
  • Published : 2005.11.01

Abstract

In the formation of images in a camera, the exposure time is appropriately adjusted to obtain a good image. Hence for a successful alignment of a sequence of images to the same scene, it is required to compensate the different exposure times. If we have no knowledge regarding the exposure time, then we should develop an algorithm that can compensate an image with respect to a reference image without using any camera formation models. In this paper, an exposure compensation is performed by designing predictors based on the conditional expectation between the reference and input images. Further, an adaptive predictor design is conducted to manage the irregular exposure or histogram problem. In order to alleviate the blocking artifact and the overfitting problems in the adaptive scheme, a smoothing technique, which uses the pixels of the adjacent blocks, is proposed. We successfully conducted the exposure compensation using real images obtained from digital cameras and the transmission electron microscopy.

사진기에서 고품질의 영상을 획득하기 위해서는 적절히 노출 시간을 조절하게 되는데 이로 인해 각각 독립적으로 얻어진 영상들의 노출 시간은 서로 달라진다. 이는 여러 영상의 열을 정렬하는 과정 등에서 부정확한 결과를 초래할 수 있으므로 영상들의 노출 시간을 동일하게 맞추어 줄 필요가 있다. 그런데, 노출 시간을 알지 못하는 경우에는, 하나의 영상을 기준으로 다른 영상들의 상대적 노출 시간을 추정하고 보정하는 알고리즘에 대한 연구가 필요하다. 본 논문에서는, 사진기의 모델 함수를 고려할 필요 없는, 최소 오류 개념에서 최적의 예측기인 conditional expectation을 사용하여 노출 보정을 시도하였다. 나아가서, 불규칙한 노출 또는 히스토그램 특성을 위한 적응 노출 보정 기법을 제안하였다. 이때 blocking artifact 및 overfitting 등의 문제를 완화시키기 위한 인접의 화소를 사용하는 기법을 도입하였다. 디지털 사진기 및 투과전자현미경을 통하여 얻어진 실제 영상을 사용한 모의실험을 통하여 성공적인 노출 보정 수행을 확인할 수 있었다.

Keywords

References

  1. S. Mann, 'Comparametric equations with practical applications in quantigraphic image processing,' IEEE Trans. Image Processing, vol. IP-9, no. 8, pp. 1389-1406, Aug. 2000 https://doi.org/10.1109/83.855434
  2. R. C. Gonzalez and R. E. Woods, Digital Image Processing. 2nd. ed. NY: Prentice Hall, 2002
  3. F. M. Candocia, 'Jointly registering images in domain and range by piecewise linear comparametric analysis,' IEEE Trans. Image Processing, vol. IP-12, no. 4, pp. 409-419, April 2003 https://doi.org/10.1109/TIP.2003.811497
  4. J. Frank, Three-Dimensional Electron Microscopy of Macromolecular Assemblies. San Diego, CA: Academic, 1996
  5. T. Mitsunaga and S. K. Nayar, 'Radiometric self calibration,' in Proc. IEEE Conf. Computer Vision and Pattern Recognition, 1999, pp, 842-849 https://doi.org/10.1109/CVPR.1999.786966
  6. F. M. Candocia, 'Analysis and enhancements to piecewise linear comparametric image registration,' IEEE Trans. Image Processing, vol. IP-14, no. 2, pp. 181-188, April 2005 https://doi.org/10.1109/TIP.2004.840705
  7. M. H. DeGroot, Probability and Statistics. 2nd ed. Reading, MA: Addison-Wesley, 1986
  8. K Lee, D. S. Kim, and T. Kim, 'Regression-based prediction for blocking artifact reduction in JPEG-compressed images,' IEEE Trans. Image Processing, vol. IP-14, no. 1, pp. 36-48, Jan. 2005 https://doi.org/10.1109/TIP.2004.838699
  9. D. S. Kim and M. R. Bell, 'Upper bounds on empirically optimal quantizers,' IEEE Trans. Inform. Theory, vol. IT-49, no. 4, pp. 1037-1046, April 2003 https://doi.org/10.1109/TIT.2003.809480
  10. B. Chalmond, Modeling and Inverse Problems in Image Analysis. NY: Springer-Verlag, 2003
  11. A. Sen and M. Srivastava, Regression Analysis. Reading, NY: Springer-Verlag, 1980
  12. M P. Wand and M. C. Jones, Kernel Smoothing. London: Chapman & Hall, 1995