스테레오 영상 기반 야간 및 우천시 조명 반사 제거 기술

Removing Lighting Reflection under Dark and Rainy Environments based on Stereoscopic Vision

  • 발행 : 2010.02.15

초록

조명반사 문제는 영상 분석에서 흔히 존재하는 문제점이며, 영상 분석에서 필요로 하는 주요 특징들을 검출하는 데 많은 어려움을 야기한다. 특히 이러한 문제점은 야간이나 우천 시에 더욱 두드러지는 것으로 알려졌다. 본 논문에서는 조명 반사에 의해 특징 분석이 어려운 영역에서 조명 반사를 제거하거나 반사되지 않은 상태로 복원하는 것을 목표로 한다. 본 논문에서는 다중 영상에서 획득된 다중 기하정보를 이용한 3차원 공간 분석과 기하학적 접근을 시도한다. 이러한 방법들에서 얻어진 정보들을 바탕으로 조명 반사가 이루어지는 영상들을 조합하여 조명 반사를 제거하는 방법을 제안한다. 조명 반사 영역을 제거하기 위하여 영상 내에서 조명 및 반사영역을 수직 히스토그램의 국부 최대값을 이용하여 추출한다. 이 후, 각 영상 내에서 도로 표면에 해당하는 영역을 추출하기 위해서 필요한 기본 행렬과 상동 관계 행렬을 다중 영상들의 대응점들을 분석하여 계산한다. 이렇게 얻어진 각 영상들의 도로표면을 기준 영상에 배치하여, 양쪽 영상에서 조명 반사가 상대적으로 적은 영역을 선택하는 방법을 취한다. 이러한 과정에 의하여 중복되지 않는 도로표면의 반사는 효과적으로 감소되었으며 도로가 가지고 있는 고유한 정보 또한 손실되지 않았다. 수집된 데이터를 이용하여 실험한 결과는 계산 속도에 비하여 뛰어난 성능을 보여주었으나 기하학적 공통 영역 부분의 복원은 상대적으로 부족한 것으로 판단되었다.

The lighting reflection is a common problem in image analysis and causes the many difficulties to extract distinct features in related fields. Furthermore, the problem grows in the rainy night. In this paper, we aim to remove light reflection effects and reconstruct a road surface without lighting reflections in order to extract distinct features. The proposed method utilizes a 3D analysis based on a multiple geometry using captured images, with which we can combine each reflected areas; that is, we can remove lighting reflection effects and reconstruct the surface. At first, the regions of lighting sources and reflected surfaces are extracted by local maxima based on vertically projected intensity-histograms. After that, a fundamental matrix and homography matrix among multiple images are calculated by corresponding points in each image. Finally, we combine each surface by selecting minimum value among multiple images and replace it on a target image. The proposed method can reduces lighting reflection effects and the property on the surface is not lost. While the experimental results with collected data shows plausible performance comparing to the speed, reflection-overlapping areas which can not be reconstructed remain in the result. In order to solve this problem, a new reflection model needs to be constructed.

키워드

참고문헌

  1. J. E. Adams, J. F. Hamilton, and F. C. Williams, "Noise reduction in color digital images using pyramid decomposition," US Patent, No. 10738658, 2007.
  2. S. G. Narasimhan and S. K. Nayar, "Removing Weather Effects from Monochrome Images," Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.2, pp.186-193, June, 2001.
  3. G. Dedeoglu, T. Kanade, and J. August, "High-Zoom Video Hallucination by Exploiting Spatio-Temporal Regularities," Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.2, pp.151-158, Jun 2004.
  4. B.-W. Hwang and S.-W. Lee, "Reconstruction of Partially Damaged Faces Based on a Morphable Face Model," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.25, no.3, pp.365-372, 2003. https://doi.org/10.1109/TPAMI.2003.1182099
  5. A. S. Georghiades, P. N. Belhumeur, and D. J. Kriegman, "From few to many: illumination cone models for face recognitionunder variable lighting and pose," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.23, no.6, pp.643-660, Jun 2001. https://doi.org/10.1109/34.927464
  6. S.-W. Lee, S.-H. Moon, and S.-W. Lee, "Face Recognition under Arbitrary Illumination Using Illuminated Exemplars," Pattern Recognition, vol.40, no.5, pp.1605-1620, May 2007. https://doi.org/10.1016/j.patcog.2006.09.016
  7. R. Cucchiara and M. Piccardi, "Vehicle Detection under Day and Night Illumination," Proceedings of International ISCS Symposium on Intelligent Industrial Automation, pp.789-794, 1999.
  8. M. Minnaert, The Nature of Light and Color in the Open Air, Dover Publications, Inc., 1954.
  9. http://www.xiberpix.net/SqirlzReflect.html
  10. G. J. Klinker, S. A. Shafer, and T. Kanade, "The Measurement of Highlights in Color Images," International Journal of Computer Vision, vol.2, pp.7-32, 1988. https://doi.org/10.1007/BF00836279
  11. S. Lin, Y. Li, S. Kang, et al, "Diffuse-Specular Separation and Depth Recovery from Image Sequences," Lecture Notes in Computer Science, vol.2352, 2002.
  12. Y. Ivanov, A. Bobick, and J. Liu, "Fast lighting independent background subtraction," International Journal of Computer Vision, vol.37, pp.49-55.
  13. C. Schlick, "A Survey of Shading and Reflectance Models," Computer Graphics Forum 13, vol.13, no.2, pp.121-131, 1994. https://doi.org/10.1111/1467-8659.1320121
  14. R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2006.