시뮬레이션을 통한 광학 및 레인지 센서 간의 효율적인 시스템 캘리브레이션 설계

A Study for Efficient Methods of System Calibration between Optical and Range Sensors by Using Simulation

Abstract

본 연구에서는 레인지 센서와 광학 센서 간의 시스템 캘리브레이션을 효율적으로 수행하기 위한 방법을 시뮬레이션 수행을 통하여 검증한다. 이를 위하여 먼저 레인지 및 광학 센서의 특성을 반영한 단일 캘리브레이션 검정 대상지를 디자인하였으며, 각 센서의 다양한 특징 및 오차 수준을 반영하여 시뮬레이션 환경을 설계하였다. 시뮬레이션 데이터는 영상 및 거리 데이터의 획득 위치가 시스템 캘리브레이션 정확도에 미치는 영향을 확인하기 위하여 다양한 위치에서 획득된 것으로 가정하여 제작되었다. 이와 같이 획득된 시뮬레이션 데이터는 단사진 표정과 블록 조정의 두 가지 방법의 시스템 캘리브레이션을 통하여 처리하고, 각각의 정확도를 비교 평가하였다. 시뮬레이션 결과, 검정 대상지를 기준으로 2~4m 거리에서 다양한 각도로 촬영한 데이터들을 이용하여 블록 조정을 수행할 경우, 보다 효율적이고 정확도 높은 시스템 캘리브레이션을 수행할 수 있었다. 또한 레인지 센서의 거리관측값을 포함하여 시스템 캘리브레이션을 수행할 경우 보다 높은 정확도의 결과를 얻을 수 있었다.

The study planned to suggest the efficient methods of system calibration between the range and optical sensors. The simulation was performed by considering i) design of test-bed, ii) mathematical methods of system calibration and iii) locations of the sensors. The test-bed was designed by considering specifications of the range and optical sensors. Also, the error levels of each sensor were considered in the process of simulation with dataset, which was generated under these predetermined conditions. The system calibration was carried out by using the simulated dataset in two different approaches, which are single photo resection and bundle adjustment. The results from the simulation determined that the bundle adjustment method is more efficient than the single photo resection in the system calibration between range and optical sensors. For the better results, we have used the data, obtained in various locations. In a conclusion, the most efficient case was in sequence of i) the bundle adjustment with ii) the simulated dataset, which were obtained between 2m to 4m away from the test-bed.

1. 서 론

최근 실내 3차원 모델링 및 실내 측위 데이터의 필요성이 증가함에 따라서 이들 연구에 대한 필요성도 함께 증가하고 있다. 실내 3차원 모델링 데이터는 실내 위치 정보 서비스를 위한 기초 데이터, 또는 BIM 데이터와의 연계를 통한 건물 정보갱신 등의 다양한 분야에 활용될 수 있으며 이에 따라 데이터의 정확도 확보 역시 매우 중요하다.

실내에 대한 3차원 데이터와 색상정보를 동시에 구축하는 방법은 크게 광학 스테레오 영상을 이용한 방법, 광학 센서와 지상 라이다 데이터의 융합을 통한 방법 그리고 광학 및 레인지 센서 데이터 간의 융합을 통하여 데이터를 구축하는 방법으로 나눌 수 있다. 특히 광학 및 레인지 센서 데이터 간의 융합을 통하여 실내 3차원 데이터를 구축하는 방법의 경우, 실시간 데이터 획득이 용이하며 상대적으로 적은 비용으로 높은 정확도의 데이터를 획득할 수 있다는 장점이 있다.

이종 센서로부터 획득한 데이터를 높은 정확도로 융합하기 위해서는, 각 센서에 대한 캘리브레이션 및 센서 간의 기하학적 위치 관계를 도출하는 시스템 캘리브레이션(System Calibration)이 필수적이다. 광학 또는 레인지 센서에 각각에 대한 효율적인 캘리브레이션은 그동안 다양한 연구를 통하여 검증되어 왔다(Habib et al., 2002; Habib et al., 2003; Habib and Morgan, 2005; Kim et al., 2011; Lee et al., 2010; Oh et al., 2006). 한편 광학 및 레인지 센서 간의 시스템 캘리브레이션은, 일반적으로 특정 객체의 3차원 정보를 획득하는 방향으로 연구가 진행되어 왔다(Choi and Sohn, 2011; Kang and Ho, 2011). 하지만 이들 연구는 정확도를 확보하기 위하여 객체를 제외한 전경을 모두 제거하는 방식을 사용하며, 특정 객체 이외의 3차원 정보를 획득할 수 없다는 한계가 존재한다. 또한 레인지 센서에 적합한 검정 대상지를 따로 설계하지 않고 광학 센서용 체스판 무늬 검정 대상지를 레인지 센서에도 적용하여, 시스템 캘리브레이션에 각 센서의 특징을 정밀하게 반영하지 못한다는 한계를 지니고 있다. 본 연구에서 사용한 레인지 카메라는 거리 및 전정색 영상 데이터를 제공하는 센서이며 TOF(Time of Flight)의 원리를 기반으로 적외선을 이용하여 측정된 거리 데이터를 제공한다. 이때 사용되는 적외선은 물체의 색상에 따라 서로 다른 반사도를 보이는데, 이는 레인지 센서 검정 대상지 설계에 있어 매우 중요한 고려사항이 된다(Lichti and Kim, 2011).

본 연구에서는 효율적인 시스템 캘리브레이션을 수행하기 위한 방법을 확인하고자, 가상 데이터를 제작하고 이를 사용하여 시스템 캘리브레이션 시뮬레이션을 수행하였다. 정교한 시뮬레이션은 실제 실험에서의 경제적, 시간적 비용을 절약할 수 있도록 하며, 최종 결과를 보다 정확하게 비교 검증 할 수 있다는 장점이 있다. 본 연구에서는 먼저 효율적인 시스템 캘리브레이션을 위한 검정 대상지를 설계하고, 가상의 센서 데이터를 제작하였다. 그리고 이를 사용하여 시스템 캘리브레이션을 수행하고, 그 결과를 통하여 보다 효율적인 시스템 캘리브레이션 방법을 제안하였다.

 

2. 연구방법

본 연구의 흐름도는 Fig. 1과 같으며, 크게 시뮬레이션 영상 제작, 단사진 표정 및 블록 조정과 그 결과의 비교 평가로 이루어진다. 시뮬레이션 영상 제작 및 단사진 표정, 블록조정은 모두 MATLAB 프로그램 코딩을 통하여 수행하였다. 그리고 시뮬레이션을 통해서 i) 검정 대상지의 디자인, ii) 시스템 캘리브레이션을 수행할 수학적 모델의 종류 그리고 iii) 데이터의 획득 위치가 각각 시스템 캘리브레이션 정확도에 미치는 영향을 분석하였다.

Fig. 1.Flow chart of system calibration simulation

2.1 검정 대상지 설계

검정 대상지의 내부는 총 56개의 0.7×0.5m 크기의 직사각형들로 구성하였으며, 직사각형들이 서로 만나는 모서리에는 광학 카메라 지상 기준점을 배치하고 각 직사각형의 내부에는 레인지 센서용 지상 기준점을 배치하였다(Fig. 2). 검정 대상지의 가로 세로 비율은 레인지 센서 및 광학카메라 영상의 가로 세로비율과 비슷하도록 설계하였다. 검정 대상지는 광학 카메라용 지상 기준점에 높이 변화를 준 3가지 유형으로 설계 하였으며, 각 유형은 검정 대상지 평면을 기준으로 0m(design 1), 0.25m(design 2), 0.5m(design 3)만큼 높이의 변화를 준 지상 기준점을 포함하도록 하였다(Fig. 3). 한편 레인지 센서의 지상 기준점은 Lichti et al.(2010)이 제안한 흰색 원을 검정색 직사각형 내부에 배치하는 방식을 기본으로 설계하였다. 그리고 이때 흰색원의 무게 중심점이 레인지 센서의 지상 기준점이 된다.

Fig. 2.Test-bed design for system calibration between optical and range sensors (diamond shape: points which are not given changing in height / circle shape : points which are given changing in height)

Fig. 3.Simulated control points on the optical sensor test-bed (top to bottom design1, design2, design3)

Fig. 4는 Matlab을 통하여 구현한 레인지 센서 지상 기준점을 표시한 그림으로, 각 원의 중앙점이 레인지 센서 지상 기준점의 위치를 나타낸다.

Fig. 4.Simulated control points on the range sensor test-bed

2.2 센서의 제원 및 가상의 내부표정요소 결정

본 연구에서는 다음과 같은 센서를 사용한 것으로 가정하여 시뮬레이션을 구성하였다. 먼저 광학 센서의 경우 Canon 6D 바디와 EF 35mm f/2 IS USM 렌즈를 사용한 것으로 하였으며, 레인지 센서의 경우 MESA Imaging사의 SR4000 모델을 사용한 것으로 가정하여 시뮬레이션 자료를 구축하였다. 각 센서 및 렌즈의 제원은 Table 1 및 Table 2에 보인바와 같다. 한편 내부표정요소 및 각 센서의 오차 계수는 Table 3과 Table 4와 같이 각 센서에서 나타날 수 있는 일반적인 수준의 값을 가정하였다.

Table 1.Specification of Cannon 6D camera sensor

Table 2.Specification of SR4000 range sensor

Table 3.Interior orientation parameters of optical and range sensors

Table 4.Distortion parameters of optical and range sensors

2.3 외부 및 상대표정요소 설정 및 시뮬레이션 영상 제작

센서 시스템은 Fig. 5와 같이 0.4m 길이의 프레임에 두 센서가 Y축 중심, 반시계 방향 6°의 차이로 고정되어 있음을 가정하였다. 그리고 이는 광학 센서 좌표계를 기준으로 한 레인지 센서의 상대적인 위치와 자세인 상대표정요소(ROP, Relative Orientation Parameters)로 표현할 수 있으며 이는 Table 5와 같다.

Fig. 5.Relative location between optical and range sensors

Table 5.Relative orientation parameters of range sensor

본 연구에서는 최종적으로 Fig. 6과 같이 광학카메라의 외부표정 요소 및 레인지 센서의 상대표정 요소를 결정하였다. 즉 Fig. 6과 같은 위치에 센서 시스템을 위치하도록 하고, 총 21쌍의 센서 데이터 셋을 획득하는 것으로 가정하였다. 이 같이 결정된 내·외부 표정요소, 오차계수를 사용하면 각 센서의 시뮬레이션 영상을 만들어 낼 수 있다.

Fig. 6.Shooting locations of optical and range sensors (circles : location of optical sensor / squares : location of range sensor)

먼저 광학 센서의 경우, 공선조건식(Eq. (1) 및 Eq. (2))을 사용하여 시뮬레이션 영상을 제작할 수 있다. 한편 레인지 센서는 거리 측정값과 전정색 영상의 두가지 데이터를 제공하며, 이때 전정색 영상의 경우 광학 카메라와 동일하게 Eq. (1)과 Eq. (2)로 설명될 수 있으며, 거리 데이터는 Eq. (3)을 통하여 설명할 수 있다. 본 연구에서는 보다 현실적인 데이터를 제작하고자 시뮬레이션 영상 및 데이터를 제작할 때, 우연오차를 추가하였으며, 이는 평균이 0이며, 각 센서 영상 한 픽셀의 절반 크기를 ±1 표준편차로 하는 정규분포를 보인다고 가정하였다.

where x, y: image coordinates of sensor data, Δx, Δy: distortions of image coordinates, xp, yp : prinsipal points of image data, f : focal length, m11~m33: compounds of rotation matrix, X, Y, Z: ground coordinates of control points, X0, Y0, Z0: exterior orientation parameters of sensor(shooting location), ρ: range value(measured distance value), and Δρ: distortion of range value

2.4 단사진 표정 및 블록조정을 통한 시스템 캘리브레이션

본 연구에서는 단사진 표정 및 블록조정의 두 가지 방법을 통하여 시스템 캘리브레이션을 수행하였으며, 각 방법에 있어서 레인지 카메라의 거리값 데이터를 사용하는 경우와 그렇지 않은 경우를 다시 세분화 하여 비교하였다.

단사진 표정 및 블록조정을 이용한 두 가지 시스템 캘리브레이션 방법은 모두 공선조건식을 기본으로 행렬식을 구성하고, 이 행렬식을 최소제곱법과 축차근사법(iteration method)을 사용하여 풀어낸다는 점에서는 동일하다. 두 방법의 차이점은 다음과 같다. 먼저 단사진 표정을 이용한 방법의 경우, 단사진 표정 수행을 통하여 각 카메라의 외부표정요소를 도출하고, 이를 사용하여 상대표정요소를 구하는 두 단계에 걸친 시스템 캘리브레이션 수행하게 된다. 반면 블록조정의 경우 광학 및 레인지 카메라 영상 모두를 사용, 하나의 행렬식으로 구성하여 상대표정요소를 바로 도출하게 된다.

 

3. 연구 결과

단사진 표정을 이용하여 도출한 상대표정요소는 Table 6과 같으며, 블록조정을 통하여 도출한 상대표정요소는 Table 7과 같다. 블록 조정의 경우가 단사진 표정에 비하여 전반적으로 높은 정확도 수준을 보임을 확인할 수 있다. Fig. 7은 시스템 캘리브레이션 방법 및 거리값의 추가 여부에 따른 오차 수준을 비교한 그래프이다. 이를 통하여 가장 낮은 오차수준을 보인 방법은 레인지 카메라의 거리 관측값을 추가한 블록 조정 방법이며, 블록조정을 이용한 시스템 캘리브레이션은 전반적으로 낮은 오차를 나타내며 안정적으로 상대표정요소를 도출할 수 있음을 확인할 수 있다.

Table 6.Results of system calibration using single photo resection

Table 7.Results of system calibration using bundle adjustment

Fig. 7.Comparison of relative orientation parameters errors ((a) X0, Y0, Z0 / (b) ω, Φ, κ)

한편 최종 정확도에 가장 큰 영향을 보인 요인은 레인지 센서의 거리값 데이터를 포함하여 캘리브레이션을 수행하였는지 여부로 나타났다. 특히 단사진 표정을 이용한 캘리브레이션에서 Y0와 ω는 거리 관측값을 포함한 경우 그 오차가 매우 큰 폭으로 감소됨을 확인할 수 있었다. 이는 카메라가 검정 대상지의 Y축과 수직방향을 바라보고 있기 때문에 Y0와 ω간의 상관관계가 높은 수준으로 나타나게 되는데, 거리값에 대한 조건을 추가해주면서, 이 상관관계가 일정 부분 해소되기 때문으로 판단할 수 있다. 한편 검정 대상지 유형(Fig. 3 참조)은 정확도에 큰 영향을 주지 않았다. 이는 검정 대상지 유형은 오직 광학 카메라에 관련된 정확도 부분에 기여하게 되는데, 레인지 센서의 오차 수준이 광학 카메라에 비하여 매우 높기 때문에, 최종 오차 수준에 상대적으로 매우 작은 영향을 미치기 때문으로 판단된다.

Fig. 8은 가까운 거리에서 촬영된 영상부터 누적시켜 가며 블록 조정(거리값 사용)을 수행한 결과이다. 2m, 2~3m의 거리에서 획득된 영상을 누적하여 사용할 경우에서는 상대적으로 높은 오차를 보이고 있지만, 2~4m부터는 비교적 낮은 수준의 오차가 지속되는 것을 확인할 수 있다.

Fig. 8.Trends of relative orientation parameters errors while increasing the number of images

 

4. 결 론

본 연구에서는 광학 및 레인지 센서 간의 효율적인 시스템 캘리브레이션 방법을 제안하고자, 센서 데이터를 시뮬레이션으로 제작하고 이에 대하여 시스템 캘리브레이션을 수행하였다. 결과적으로, 본 연구를 통하여 다음과 같은 사항을 확인할 수 있다. i) 단사진 표정보다는 블록 조정이 시스템 캘리브레이션 정확도 확보에 유리하며, 레인지 센서의 거리 관측값을 포함하여 시스템 캘리브레이션을 수행한다. ii) 보다 많은 수의 데이터를 포함할 경우 일반적으로 보다 높은 정확도를 확보할 수 있으나, 데이터의 수가 증가할수록 정확도가 높아지는 경향은 크게 감소한다. iii) 검정 대상지를 기준으로 2~4m 떨어진, 좌 · 우측 및 중앙에서 획득한 데이터를 사용함으로써 보다 효율적인 시스템 캘리브레이션을 수행할 수 있다. 즉 정확도를 유지함과 동시에 시스템 캘리브레이션에 필요한 영상의 숫자를 효과적으로 줄일 수 있다.

이와 같은 본 연구의 결과는 광학 및 레인지 센서간의 실제 시스템 캘리브레이션을 수행하는 대에 있어 경제적, 시간적 비용 감소에 크게 기여할 것으로 판단된다. 추후에는 본 시뮬레이션 실험으로부터 얻어진 연구결과를 바탕으로 실제 검정 대상지 제작, 이종센서 간의 시스템 캘리브레이션 및 데이터 융합을 수행하는 연구가 필요할 것으로 판단된다.