전자공학회논문지CI (Journal of the Institute of Electronics Engineers of Korea CI)

대한전자공학회 (The Institute of Electronics and Information Engineers)
권호 표지

파노라믹 3D가상 환경 생성을 위한 다수의 카메라 캘리브레이션

Multiple Camera Calibration for Panoramic 3D Virtual Environment

  • 김세환 (광주과학기술원 정보통신공학과) ;
  • 김기영 (광주과학기술원 정보통신공학) ;
  • 우운택 (광주과학기술원 정보통신공학과)
  • 발행 : 2004.03.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 영상기반 파노라믹 3D 가상 환경 (Virtual Environment: VE) 생성을 위해 회전하는 다수의 멀티뷰 카메라를 위한 캘리브레이션 방법을 제안한다. 일반적으로, 카메라 캘리브레이션 알고리즘은 카메라와 캘리브레이션 패턴 사이의 이 멀어질수록 획득되는 카메라 파라미터의 정확도가 상당히 저하되어 파노라마 영상 제작에는 부적합하다. 이러한 문제점을 극복하기 위해 멀티뷰 카메라의 렌즈간 그리고 회전하는 다수의 멀티뷰 카메라간의 기하학적인 상관 위치 관계를 이용하여 정확도를 높인다. 우선, Tsai의 캘리브레이션 알고리즘을 적용하여 획득된 카메라 파라미터를 카메라 렌즈간의 사전 기하 정보와 비교하여 그 오차에 기반한 인트라 카메라 캘리브레이션 (Intra-camera Calibration)을 수행한다. 그리고 가상 공간에 역투영된 3D point cloud에 ICP 알고리즘을 적용하여 인터 카메라 캘리브레이션 (Inter-camera Calibration)을 수행한다. 이를 확장하여, 다수의 카메라를 회전시켜 획득된 3D point cloud에 대해 기준 카메라의 위치를 중심으로 인터 카메라 캘리브레이션을 연속적으로 수행함으로써 회전하는 다수의 멀티뷰 카메라에 대한 캘리브레이션을 수행한다. 이와 같은 캘리브레이션 방법을 통해 중에서도 비교적 개선된 카메라 파라미터를 획득할 수 있기 때문에 파노라믹 3D 가상 환경을 생성하기 위한 정합과정에 사용할 수 있다. 또한, 실시간 3D 객체 추적 및 AR 응용 시스템 등의 다양한 AR 응용분야에 활용될 수 있다.

In this paper, we propose a new camera calibration method for rotating multi-view cameras to generate image-based panoramic 3D Virtual Environment. Since calibration accuracy worsens with an increase in distance between camera and calibration pattern, conventional camera calibration algorithms are not proper for panoramic 3D VE generation. To remedy the problem, a geometric relationship among all lenses of a multi-view camera is used for intra-camera calibration. Another geometric relationship among multiple cameras is used for inter-camera calibration. First camera parameters for all lenses of each multi-view camera we obtained by applying Tsai's algorithm. In intra-camera calibration, the extrinsic parameters are compensated by iteratively reducing discrepancy between estimated and actual distances. Estimated distances are calculated using extrinsic parameters for every lens. Inter-camera calibration arranges multiple cameras in a geometric relationship. It exploits Iterative Closet Point (ICP) algorithm using back-projected 3D point clouds. Finally, by repeatedly applying intra/inter-camera calibration to all lenses of rotating multi-view cameras, we can obtain improved extrinsic parameters at every rotated position for a middle-range distance. Consequently, the proposed method can be applied to stitching of 3D point cloud for panoramic 3D VE generation. Moreover, it may be adopted in various 3D AR applications.

키워드

참고문헌

  1. C. C. Slama, Manual of Photogrammetry, American Society of Photogrammetry, 4th ed., 1980
  2. R. Tsai, 'A versatile camera calibration technique for high-accuracy 3d machine vision metrology using off-the-shelf tv cam eras and lenses,' IEEE Journal of Robotics and Automation, vol. 3, no. 4, pp. 323-344, 1987 https://doi.org/10.1109/JRA.1987.1087109
  3. J. Weng, P. Cohen and M. Herniou, 'Camera Calibration with Distortion Models and Ac curacy Evaluation,' IEEE Trans. on PAMI, vol. 14, no. 10, pp. 965-980, Oct. 1992 https://doi.org/10.1109/34.159901
  4. Heikkila, J, 'Geometric Camera Calibration Using Circular Control Points,' IEEE Trans. on PAMl, vol. 22, no. 10, pp. 1066-1077, Oct. 2000 https://doi.org/10.1109/34.879788
  5. Z. Zhang, 'Flexible camera calibration by viewing a plane from unknown orientations,' ICCV99, vol. 1, pp. 666-673, 1999 https://doi.org/10.1109/ICCV.1999.791289
  6. W. Woo, N. Kim and Y. Iwadate, 'Stereo imaging using a camera with stereoscopic adapter,' Proc. Systems, Man, and Cybernetics (SMC), vol. 2, pp, 1512-1517, 2000 https://doi.org/10.1109/ICSMC.2000.886069
  7. C. Cheung and W. Brown, '3D Shape Mea surement using Three Camera Stereopsis in Optics,' Proc. SPIE Illumination and Image Sensing for Machine Vision II, vol. 850, pp. 128-139, 1987
  8. K. Kim, S. Kim and W. Woo, 'Optimization Technique of Extrinsic Parameters using a Multi-view Camera,' Korean Signal Processing Conference 2003, vol. 16, no. 1. pp. 75-78, 2003
  9. S. Kim and W. Woo, 'Image-based 3D Mosaicking using Multiple 3D Cameras,' Korean Institue of Communication Sciences (KICS02), vol. 26, pp. 58-61, 2002
  10. S. Kim and W. Woo, 'Virtual Environment Generation using 3D Image-based Panorama,' 15th Workshop on Image Processing and Image Understanding (IPIU03), vol. 13, pp. 111-116, 2003
  11. S. Kim, E. Chang, C. Ahn and W. Woo, 'Image-based Panoramic 3D Virtual Environment using Rotating Two Multi-view Cameras,' IEEE Proc. ICIP2003, vol. 1, pp. 917 -920, 2003 https://doi.org/10.1109/ICIP.2003.1247113
  12. P.J. Besl, N. D. McKay, 'A Method for Registration of 3-D Shapes,' IEEE Trans. on Pattern Recognition and Machine Intelligence, vol. 14, no. 2, pp. 239-256, 1992 https://doi.org/10.1109/34.121791
  13. A. Johnson and S. B. Kang, 'Registration and Integration of Textured 3-D Data,' Tech. Rep. CRL 96/4, Digital Equipment Corporation, Cambridge Research Lab., 1996
  14. Point Grey Research Inc., http://www.ptgrey.com, 2002