A Calibration Method for Multimodal dual Camera Environment

멀티모달 다중 카메라의 영상 보정방법

Abstract

Multimodal dual camera system has a stereo-like configuration equipped with an infrared thermal and optical camera. This paper presents stereo calibration methods on multimodal dual camera system using a target board that can be recognized by both thermal and optical camera. While a typical stereo calibration method usually performed with extracted intrinsic and extrinsic camera parameter, consecutive image processing steps were applied in this paper as follows. Firstly, the corner points were detected from the two images, and then the pixel error rate, the size difference, the rotation degree between the two images were calculated by using the pixel coordinates of detected corner points. Secondly, calibration was performed with the calculated values via affine transform. Lastly, result image was reconstructed with mapping regions on calibrated image.

멀티모달 다중 카메라 시스템은 동일 기종이 아닌 적외선 열화상 카메라와 광학 카메라를 이용하여 구성한 스테레오 형태의 시스템이다. 본 논문에서는 열화상 카메라와 광학카메라에서 동시에 인식이 가능한 전용 타겟을 제작하여 스테레오 보정을 진행하였다. 일반적인 스테레오 교정에서는 두 카메라 사이의 내부 파라미터와 외부 파라미터를 이용하여 교정을 진행 하지만, 본 연구에서는 각각의 영상에서 코너점을 검출하고, 검출된 코너점의 좌표를 이용하여 두 영상 사이의 픽셀 오차율, 영상의 회전정도 및 영상의 크기 차이를 구한다. 이를 이용하여 기하학적 변환중 하나인 어파인 변환을 이용하여 보정을 진행 하였으며, 최종적으로 보정된 영상에 매핑되는 영역을 재구성하여 최종 결과 영상을 구했다.

Ⅰ. 서 론

열화상 카메라는 적외선 복사 감지를 이용한 기술이 들어간 카메라로서, 일반적인 광학카메라를 이용하기에 한계가 있는 영역인, 인체 체열 감지, 군사 분야, 기계고장 검출, 화재 감시, 국경 및 발전소 보안, 감시분야에서 널리 사용되고 있다[1]. 이러한 여러 분야에서 열화상 카메라 단독으로 사용되는 경우도 있지만, 종종 다른 종류인, 적외선 카메라, 광학 카메라 등을 이용한 이종의 카메라를 이용한 다중 카메라 시스템(Multi Camera System)환경은 다양한 분야에서 쓰이고 있다[2]. 이러한 다중 카메라 시스템 환경 운용에서 중요한 기술 단계는 카메라 보정 과정이다. 가장 이상적인 시스템으로는 같은 화각, 해상도를 가진 카메라를 수직, 수평으로 완전한 평행화를 시켜주는 것인데, 현실적으로는 그렇지 못하고 수직, 수평으로 오차율이 발생할 수밖에 없다. 따라서 해당 시스템을 사용하기 위해서는 보정의 과정을 거쳐야한다.

본 논문에서는 기존의 동일 기종의 카메라가 아닌, 광학카메라와 열화상 카메라를 장착한 이종 스테레오 카메라 시스템을 이용한다. 광학 카메라로 영상을 탐지할 수 없는 상황을 막고자, 열화상 카메라를 이용하여 카메라 간의 한계점을 상호 보완하기 위해 제작 하였다. 그러나 서로 다른 화각, 해상도, 베이스라인의 평행 오차를 가진 이종의 스테레오 카메라 환경으로 촬영된 영상을 보정하는 과정이 필요하다.

통상의 스테레오 카메라를 이용한 보정[3]을 하는 것이 아닌 화각 및 해상도가 다른 스테레오 카메라 시스템의 형태로 촬영한 영상 사이의 기하학적인 변환을 이용한 보정 방법을 제시한다. 이종 카메라를 수평으로 배치하고, 영상을 보정하기 위해 사용하는 방법으로 Zhang[4]이 제시한 체스보드검출 방법을 이용하여 보정 한다.

일반 광학카메라는 기존의 체스보드를 이용하여 교정할 수 있지만 열화상 카메라는 적외선을 이용하여 열을 감지하는 시스템이기 때문에, 기존의 교정보드를 이용하여 스테레오 교정을 진행할 수가 없다. 따라서 열화상 카메라와 광학카메라 이종의 환경에서 적용이 가능한 교정 보드를 사용하여 이종 카메라 간의 교정을 진행한다.

본 논문의 구성은 다음과 같다. 2장에서는 열화상 카메라와 광학카메라를 보정하기 위한 열화상 및 광학카메라 전용 체스 보드 제작 및 영상의 기하학적인 변환을 이용한 보정 방법을 제시하며, 3장에서는 체스 보드로 보정한 영상의 실험 결과를 보여주며, 4장에서는 본 연구의 결론을 내린다.

 

Ⅱ. 멀티모달 카메라 스테레오 보정

본 논문에서의 스테레오 보정을 위한 환경구성은 열화상 카메라와 광학 카메라를 수평으로 배치하는 형태로 구성 하였고 카메라 사이의 베이스라인은 렌즈 중점을 기준으로 약 5cm로 짧은 거리의 실험 환경을 구성하였다. 사용된 카메라는 해상도 640x512의 FLIR Tau2 35mm렌즈가 부착된 열화상 카메라와, 해상도 811x508 SCO-2120R 화각 3.94~46.05mm렌즈가 부착된 카메라를 사용하였다. 영상을 송신 받아오는 중간에는 비디오 서버를 설치하여 해상도를 640x480으로 고정하여 받아온다.

스테레오 카메라 시스템에서 일반적으로 초점거리, FOV(Field of View) 및 두 카메라의 환경구성 위치 차이 등으로 인해 카메라 사이의 기구적 불일치를 줄이기란 쉽지가 않다. 따라서 소프트웨어적 보정 기술도 필요하다. 일반적인 카메라교정(Camera Calibration)은 촬영한 영상을 이용하여 카메라와 촬영한 영상 사이의 상관관계변수를 찾는 것이다. 여기서 상관관계 변수란 초점거리(fx, fy), 주점(cx, cy), 비대칭계수(skew_c), 방사 왜곡과 접선 왜곡을 표현하는 왜곡계수(k1,k2,k3,p1,p2) 등을 표현하는 내부 파라미터와 카메라사이의 위치 관계를 나타내는 이동벡터와 회전벡터를 표현한 수식 (1)~ (2)는 외부 파라미터를 의미한다[5].

교정을 통해 획득한 변수들을 이용하여 각 카메라의 왜곡을 제거하는 교정의 과정을 적용 후, 이 영상이 행, 열 정렬된 카메라에서 촬영된 것처럼 보이게 하는 것이 조정이다[6]. 하지만 본 논문에서는 이러한 일반적인 방법이 아닌 각 영상의 체스보드를 이용하여 코너 점을 검출한 후 두 영상의 픽셀 및 영상 기울기 오차율을 계산하여 기하학적 변환(geometric transform) 중 하나인 어파인 변환(affine transform)을 이용하여 영상을 보정하는 방법을 제시한다.

2.1. 멀티모달 환경을 위한 체스보드 제작

일반적인 광학카메라는 빛을 렌즈로부터 받아들여 해당 센서에 이미지를 만드는 과정으로 되어있지만, 열화상 카메라는 물체로부터 나오는 적외선 열에너지를 이용하여 온도 또는 영상으로 변환하는 과정을 통해서 사용자에게 보여준다[7].

이종카메라 간의 영상획득 방법의 차이점으로 인하여, 영상 교정에 필요한 체스보드 영상 획득에 문제가 발생하는데, 그림 1의 (a)는 광학카메라를 이용하여 촬영한 체스보드로 정상적으로 촬영되는 것을 볼 수 있다. 하지만 그림 1의 (b)는 해당 체스보드가 열을 발산하지 않는 단순한 종이 출력물로 제작되어있기 때문에, 해당 영상 어떠한 것도 촬영이 되지 않는다. 따라서 광학 및 열화상 카메라 모두에서 영상을 획득할 수 있는 체스보드를 제작하여야 한다.

그림 1.일반적인 체스보드를 촬영한 열화상 및 광학 영상 (a) 열화상카메라 영상, (b) 광학카메라 영상 Fig. 1 Images with a standard chessboard (a) Image of infrared thermal camera (b) Image of optical camera

제작 한 체스보드는 격자무늬의 사이즈를 가로 x 세로(26mm x 26mm)로 디자인한 5x8사이즈의 체스보드로 제작한 후 열이 통과할 영역만 타공 하였으며, 해당 보드가 부착된 박스의 내부는 검은색 타일로 코팅하였다. 박스의 후면 부분에는 열을 발산하는 열판을 제작하여 배치하였다. 따라서 해당 열판에 열을 공급하면 앞의 체스보드의 타공된 부분으로 열이 나오며, 그림 2의 (a)와 같이 열화상 카메라에선 구멍에서 발산되는 열을 감지하여 촬영할 수 있으며, 광학 카메라는 그림 2의 (b)의 타공된 구멍을 통하여 검은색 타일을 촬영하기 때문에 기존의 측정용 체스보드와 같은 역할을 한다.

그림 2.새로 제작한 열화상 및 광학카메라 전용 체스보드 (a) 열화상카메라 영상, (b) 광학카메라 영상 Fig. 2 Images with the newly created chessboard (a) Image of infrared thermal camera (b) Image of optical camera

2.2. 이기종 카메라간의 보정 및 코너점 검출

일반적인 OpenCV[8]함수를 이용하여 다중 카메라 스테레오 영상의 교정 후 구해진 파라미터를 이용하여 진행한 스테레오 조정의 결과는 그림 3과 같이, 그림 2 (a)~(b)의 촬영된 영상의 회전각과 전혀 다른 각도로 조정되었으며 원본 이미지 환경 그대로를 이용해야 되는 상황에서는 부적합하다는 것을 알 수 있다.

그림 3.일반적인 스테레오 조정 함수를 이용한 결과 Fig. 3 Results image with typical stereo rectification

본 논문에서의 이미지 교정은 체스보드를 이용하여 특징점을 검출한 후 이 특징점의 픽셀 좌표 값을 이용하여 화각이 다른 카메라에서 촬영된 영상을 수직, 수평 평행 보정을 하며, 이미지의 사이즈를 같은 크기로 재투영하는 것이다. 그림 4의 그림은 두 영상의 평행 정도를 보기 위해 Line을 삽입하였다. 각 이미지 왼쪽 상단의 검은색 격자무늬를 보게 되면 눈으로 보기에도 수직, 수평으로 평행이 되지 않다는 것과 이미지 사이즈가 다름을 알 수 있다.

그림 4.평행정도를 보기위해 라인이 삽입된 영상 이미지 Fig. 4 Image inserted lines to view a parallel degree

그림 5는 본 논문에서 제안하는 교정 알고리즘의 순서도이다.

그림 5.멀티모달 다중카메라 영상의 교정 알고리즘 Fig. 5 A Calibration Algorithm of Multimodal dual Camera

먼저 체스보드의 특징점을 이용하여 두 영상을 평행 보정을 하기 위해서 사용된 코너 검출 알고리즘은 가장 널리 사용되는 해리스 코너 검출 방법을 이용한 OpenCV의 cvFindChessboardCorners을 사용하였다. 그림 6의 (a)~(b)는 해당 함수를 이용하여 코너를 검출한 영상 이미지이며, 각 영상 이미지엔 시각화를 하기 위해 코너 점 마다 cvDrawChessboardCorners을 이용하여 색을 입혀주었다.

그림 6.체스보드에서 코너점을 찾은 영상 이미지 (a) 열화상 카메라 영상, (b) 광학카메라 영상 Fig. 6 Image with founded corner from the chessboard (a) Image of infrared thermal camera (b) Image of optical camera

또한, 각 검출된 코너로부터 픽셀의 좌표(Coordinate)를 구할 수 있다. 각 영상의 대응하는 코너 점의 픽셀 좌표값을 비교하기 위하여 코너 점이 검출된 체스보드의 각 행의 x, y좌표의 평균 오차율을 구한 것이 표 1과 같다. 두 카메라 사이의 물리적인 수평 및 수직 베이스라인이 평행하지 않아 그림 6의 열화상 체스보드 이미지가 우측 영상인 광학카메라의 체스보드 이미지보다 Y축 방향으로 오차율이 심하다는 것을 알 수 있다.

표 1.두 영상 이미지 사이의 코너점 오차율 Table. 1 The Error Rate of Two Images

검출된 열화상 카메라 영상의 두 픽셀 좌표를 이용하여 수식 (3)과 수식 (4)에 값을 적용하여 영상 이미지의 기울기를 구하고, 구하여진 기울기를 이용하여 열화상 영상의 이미지의 회전각을 구한다.

식의 결과 값으로 나온 회전각과 그림 5의 (B)에서 검출한 코너 좌표점을 이용하여 영상이 회전할 회전중심점을 찾는다. 마지막으로 그림 5의 (a)~(b)의 내부 체스판 크기를 비교하여 알맞은 크기로 스케일 조절을 하기 위하여 비율을 찾는다.

구해진 값을 통하여 광학 영상 이미지에 적용하기 위해 회전각도와 스케일값을 이용하면 수식 (5)와 같이 변환을 나타내는 2x3의 변환행렬을 구할 수 있다[9]. 변환 행렬을 이용하여 광학 영상 이미지에 어파인 변환을 적용 시켜 준다.

 

Ⅲ. 실험 결과

그림 7은 도출된 행렬을 이용하여 어파인 변환을 적용한 보정된 영상의 이미지에 보정 정도를 시각화하기 위해 다시 한 번 Line을 그려 넣었다. y축은 코너점의 x 좌표를 기준으로 선분을 삽입하고, x축은 영상이미지의 넓이의 1/20 크기인 32픽셀로 나누어 선분을 삽입 하였다. 그림 4의 그림과 비교하면 영상 이미지가 열화상 이미지를 기준으로 수직, 수평으로 크기 및 위치가 재 매핑되어 보정이 된 걸 알 수 있다. 실제 보정된 영상의 코너 점들의 오차율을 나타낸 표 2의 값이 표 1의 값과 비교하여 상당 부분 보정이 된 것을 알 수 있다.

그림 7.보정된 영상의 평행정도를 보기위해 라인이 삽인된 영상 이미지 Fig. 7 Image inserted line of calibrated

표 2.보정된 두 영상 이미지 사이의 코너점 오차율 Table. 2 The Error Rate of calibrated Two Images

그림 7은 보정이 완료된 영상이지만 우측의 광학카메라 영상을 보게 되면 어파인 변환을 적용하였기 때문에 영상이 회전하고 재 매핑 과정에 의해서 제외된 부분이 발생 하여 해당영역의 픽셀을 RGB(0,0,0)의 색상으로 채워준다. 따라서 본 논문에서 보정된 영상의 마무리 과정은 광학 영상을 기준으로 검정색상의 픽셀로 채워진 영역을 제외한 부분을 잘라내고, 마찬가지로 열화상이미지에서 같은 영역을 잘라내 매칭되는 영역으로 다시 새로 영상을 만드는 조정 과정을 반복한다.

그림 8은 제외된 영역을 잘라낸 최종 조정된 영상으로, 잘라낸 각각 영상의 해상도는 가로x세로(611x446)의 사이즈로 그려졌다. 잘려진 영상의 수평, 평행 정도를 확인하기 위해 마찬가지로 Line을 그려 넣었다.

그림 8.최종으로 조정된 영상이미지 Fig. 8 Final calibrated image

실험에 사용된 스테레오 시스템은 주·야간 공통 영역 감시를 위해 제작 되었고, 카메라의 성능차이로 인한 촬영 영상의 오차가 발생하여 보정을 진행해야 한다.

이종의 카메라로 획득한 영상에 일반적인 교정 및 조정 과정을 적용한 그림 3은 교정 과정에서 획득한 내부 파라미터로 재 투영 되고, 조정이 완료되어 행 정렬이 되었지만, 영상이 회전되어 본 논문에서 제작한 스테레오 시스템에서 사용하기에 부적합 하였다. 하지만 본 논문에서 제시한 어파인 변환 교정 방법을 적용한 그림 8의 이미지는 행과 열이 정렬되었고, 광학 영상에 맞춰진 이미지로 변환한다.

따라서 서로 다른 화각을 및 해상도를 가진 카메라를 통해 촬영된 영상을 1:1 크기로 보정하여, 카메라 특성에 의해 촬영하는 영역이 서로 다른 결과를 제거 하여 같은 영역을 감시하기에 적합하다.

 

Ⅳ. 결 론

본 연구에서는 기존의 스테레오 교정 및 조정 방법을 사용하지 않고 영상의 기하학적 변환중 하나인 어파인 변환을 이용하여 적외선 열화상 카메라와 광학 카메라의 영상을 보정하고, 조정하는 방법을 제시하였다. 영상을 촬영하는 방법이 다른 멀티모달 환경으로 인하여 기존의 체스보드는 사용에 불편함이 많아, 해당 실험 환경에서 사용이 가능한 전용 체스보드를 제작 하였다.

제작한 보드를 이용하여 촬영한 각각 카메라의 영상에서 코너 점과 기울기를 이용한 회전각, 각 영상의 체스보드의 크기 비율을 구하여 영상을 보정하였다. 보정된 영상에서 검정픽셀로 채워진 부분을 제외한 매칭되는 영역을 따로 잘라내어 최종 영상화면을 제작 하였다.

조정되어 동일한 영역을 나타내는 영상평면에 컴퓨터 비전기술을 적용하여, 객체 인식 및 검출 등의 오차가 적은 환경을 요구하는 영역에서 응용하기에 이점이 있다고 판단된다.