A Study on the Improvement of UAV based 3D Point Cloud Spatial Object Location Accuracy using Road Information

도로정보를 활용한 UAV 기반 3D 포인트 클라우드 공간객체의 위치정확도 향상 방안

Abstract

Precision positioning is necessary for various use of high-resolution UAV images. Basically, GCP is used for this purpose, but in case of emergency situations or difficulty in selecting GCPs, the data shall be obtained without GCPs. This study proposed a method of improving positional accuracy for x, y coordinate of UAV based 3 dimensional point cloud data generated without GCPs. Road vector file by the public data (Open Data Portal) was used as reference data for improving location accuracy. The geometric correction of the 2 dimensional ortho-mosaic image was first performed and the transform matrix produced in this process was adopted to apply to the 3 dimensional point cloud data. The straight distance difference of 34.54 m before the correction was reduced to 1.21 m after the correction. By confirming that it is possible to improve the location accuracy of UAV images acquired without GCPs, it is expected to expand the scope of use of 3 dimensional spatial objects generated from point cloud by enabling connection and compatibility with other spatial information data.

고해상도 UAV 영상의 다양한 활용을 위해서는 정밀한 위치보정이 필요하다. 이를 위해 지상기준점을 선정하는 것이 일반적이지만 긴급상황이나 지상기준점 선정이 어려운 경우에는 지상기준점없이 촬영을 수행해야 한다. 본연구에서는 지상기준점 없이 생성된 UAV 기반 3차원 point cloud 데이터의 x, y 좌표에 대한 위치 정확도 향상방법을 제안하였다. 위치정확도 향상을 위한 기준 데이터로 공공데이터포털에서 제공하는 벡터파일 중 도로 정보를 이용하였다. 2차원 정사보정 영상의 기하보정을 먼저 수행하고, 이 과정에서 산출된 변환행렬을 3차원 point cloud에 적용하는 방법을 채택하였다. 보정 전 약 34.54 m의 직선 거리 차이가 보정 후 약 1.21 m 로 감소하였다. 지상기준점 선정없이 획득된 UAV영상의 2차원 및 3차원 영상의 위치정확도 향상이 가능함을 확인함에 따라 타 공간정보 데이터와의 연계 및 호환 등이 가능해져 point cloud 데이터에서 획득된 3차원 공간 객체의 활용 범위의 확대를 기대한다.

1. 서론

고해상도의 UAV(Unmanned Aerial Vehicle) 영상을 이용한 다양한 부가가치정보가 주목받고 있다. 수백 km상공에서 촬영되는 인공위성과 수 km에서 촬영되는 항공기와 달리 UAV 촬영고도는 100 m 안팎으로 낮아져 수 cm급 해상도 영상을 획득할 수 있기 때문이다. 하지만 영상 한 장이 커버하는 면적이 좁고, 일반적으로 디지털카메라 또는 유사한 사양의 구(球)형 카메라를 탑재하기 때문에 획득된 영상의 외곽으로 왜곡현상이 발생하는 단점이 있다. 그러므로 UAV 영상을 항공영상이나 인공위성 영상과 같이 활용하기 위해서는 각각의 영상에서 지형/지물 등의 높이에 따라 발생되는 기복변위를 보정하고 정합과정을 거쳐야 한다. 대부분의 UAV 영상 처리 소프트웨어는 보정 및 정합기능을 탑재하고 있으며, 이를 통해 정사보정된 넓은 면적에 대한 하나의 2차원 정사 영상과 3차원 point cloud 데이터를 생성할 수 있다. 수 cm 해상도를 가지는 2차원 영상은 항공기와 인공위성 영상을 대체하여 지상에 대한 정밀한 연구를 가능하게 한다. 최근 하천부유쓰레기 탐지(Kim et al., 2017)나 저수량 산정(Kim et al., 2018), 그리고 갯벌의 해수 변화량 파악(Lee et al., 2017) 등이 연구된 바 있다. 고해상도의 2차원 영상이 아닌 3차원의 point cloud 데이터의 활용 범위 또한 넓다. 2차원이 아닌 3차원의 point cloud 데이터를 이용하여 촬영 지역의 토지피복을 분류하거나(El-Ashmawy and Shaker, 2014; Becker et al., 2017), 영상 내 객체를 추출한 연구가 수행된 바 있다 (Kattenborn et al., 2014; Nevalainen et al., 2017).

단, UAV는 촬영 시 인공위성이나 항공기보다 기체의 흔들림이 심하고, 상대적으로 GPS(Global PositioningSystem)와 IMU(Inertial Measurement Unit)센서의 정확도가 낮아 외부표정요소가 부정확할 확률이 높다(Lim et al., 2015). 다른 영상과의 비교나 시계열 분석이 필요하지 않고 획득된 영상 내에서 관심 객체를 추출하거나 상대적 거리나 면적 등을 측정할 목적이라면 위치정확도는 중요하지 않다. Kim and Yoon(2018)의 연구에서는 지상기준점 없이 획득한 UAV영상의 경우에도 영상 내 거리측정과 같은 정량적 측정 오차율은 1% 이내라고 밝히고 있다. 하지만 절대 위치와 거리, 면적 등을 측정하고, 추출한 객체를 타 데이터와의 융합이나 연계 등을 목적으로 활용할 계획이라면 위치정확도는 중요해진다. 위치정확도 향상 및 기하보정을 위해서는 일반적으로 지상기준점(GCP, Ground Control Point)을 이용한다(Tomastik et al., 2019). 지상기준점 선정과 배치, 처리과정 중 지상기준점 위치 정보 반영 등은 UAV 데이터처리에서 가장 많은 시간을 필요로 하는 과정이나 (Forlani et al., 2018), 지적측량의 오차 범위인 수 cm급의 위치정확도의 결과물을 얻을 수 있다는 장점이 있다 (Manyoky et al., 2011; Nagendran et al., 2018). 하지만 재난상황에서의 촬영과 같이 지상기준점 설정보다 신속한 촬영이 요구되거나 지형적인 조건에 따라 촬영이 불가능한 경우가 존재할 수 있으며, 이 경우 영상 내부에 존재하는 일부 특징점을 활용하는 방법도 제안된 바 있다 (Jung et al., 2016). 영상에서 특징점을 추출하는 경우 건물 모서리와 같이 시각적으로 동일하다고 판단되는 명확한 지점을, 지도를 기준으로 사용하는 경우에는 사용되는 지도의 종류에 따라 동일 지점으로 간주하는 기준이 포인트나 선 등을 이용하는 것이 일반적이다. 예를 들어, 건축물대장을 기준으로 하는 경우 동일 지역에서 확인할 수 있는 건물의 모서리 등이 기준으로 사용되고, 도로정보 지도의 경우 선형적인 정보가 기준으로 사용된다. Choi and Kim(2017)에서는 영상 내 선형정보만을, Choi and Kim(2019)에서는 선형정보 외 일부 특징점을 추가 탐지하여 기하보정을 수행한 바 있다.

본 논문에서는 지상기준점을 포함하지 않고 획득된 UAV 영상의 3차원 point cloud 데이터의 x, y 2차원 좌표에 대한 정밀 위치보정 방법을 제안한다. 보정은 행정안전부 공공데이터포털에서 제공하는 벡터파일을 기준으로 2차원 정사보정 영상의 기하보정을 먼저 수행하고, 이 과정에서 산출된 변환행렬을 3차원 point cloud에 적용하는 방법을 채택하였다. 3차원 point cloud 데이터의 x, y 2차원 위치정확도 향상이 확인될 경우 point cloud 데이터에서 획득할 수 있는 객체의 활용 범위 확대를 기대할 수 있다.

2. 연구 배경

1) 연구지역과 데이터

2차원 정사보정 및 3차원 point cloud 데이터 생성을 위한 UAV 촬영은 서울 여의도 중학교와 고등학교 일대에서 진행되었다. 학교와 주변 아파트 등이 있어 건물모서리 등의 특징점을 확인할 수 있고, 왕복 4차로의 여의동로, 그리고 학교와 아파트를 연결하는 국제금융로 7길 등이 있어 선형적인 정보도 확인이 가능하다. UAV는 SISTECH의 K-Mapper모델이며, 6000×4000 해상도의 SONY ILCE-6000 카메라를 탑재하여 촬영하여, GSD (Ground Sample Distance) 3 cm의 영상을 획득하였다. 전체적인 촬영 조건을 Table 1에 나타냈다.

Table 1. DetailsoftheUAV,camerainformation,andacquisition conditions

2) UAV 데이터 처리

촬영된 UAV영상은 UAV 영상처리 소프트웨어 중 하나인 Pix4Dmapper를 통해 2차원의 정사모자이크와 3차원의 point cloud 데이터를 생성하였으며 이중 3차원 point cloud 데이터와 2차원 정사모자이크 결과를 Fig. 1에 나타냈다.

Fig. 1. 3D point cloud (a) and 2D Ortho-mosaic image (b) on research area.

생성된 2차원과 3차원 결과물은 건물과 건물의 배치나 거리, 도로의 형태 등은 실제와 같이 표현되었다. 이는 UAV에 탑재된 GPS 센서에 의해 기록된 위치 정보와 촬영 시 방향과 각도, 자세 등의 정보를 반영하고 각각의 UAV 영상 내에서 동일 지점을 찾아 영상 정합이 수행되었기 때문이다.

Fig. 2의 (a)와 (b)는 생성된 3차원 point cloud와 2차원 정사보정 영상을 도로명주소 전자지도에 중첩시킨 결과이다. 도로명주소 전자지도는 행정안전부가 제공하는 도로명주소 안내 시스템(https://m1.juso.go.kr/addrlink/devLayerRequestWrite.do)에서 행정구역별로 제공하는 것으로 ‘법정구역시도’, ‘법정구역시군구’, ‘법정구역읍면동’, ‘법정구역리’, ‘건물’, ‘건물군’, ‘출입구’, ‘기초구간’,‘도로구간’, ‘실폭도로’, ‘기초구역’ 유형으로 구성되며, 타 데이터와의 연계 및 중첩을 위해 shape 파일로 제공되고 있다. Fig. 2(c)는 2차원 정사보정 영상을 Google Earth에 투영한 결과이다.

Fig. 2. 3D point cloud(a) and 2D ortho-mosaic image(b) on digital map provided by the Ministry of the Interior and Safety and Google Earth(c).

Fig. 2를 통해 3D point cloud 및 2D 정사모자이크 영상은 위치오차가 포함되어 있음을 확인할 수 있다. 이는 촬영 시 지상기준점을 선정하지 않았고, 영상 생성과정에서 지상기준점이나 기타 외부 정보를 반영하지 않고 센서 자체의 정보만을 이용했기 때문으로 판단된다. Fig. 2(b)와 같은 2차원 영상은 Han et al.(2006)과 Han et al.( 2010)에서와 같이 매칭쌍 추출을 통한 SIFT(Scale Invariant Feature Transform)법을, Fig. 2(a)와 같은 3차원 point cloud 데이터는 ICP(Iterative Closest Points) 알고리즘을 이용하여 위치를 보정하는 것이 일반적이다(He etal., 2017). 단, ICP 알고리즘을 적용하는 경우 3차원 기준 데이터가 존재해야 하고, 기준데이터와 매칭데이터에서 동일점을 찾아 위치 편차를 줄이기 위한 반복작업을 수행하므로 긴 처리 시간이 요구된다. 또한 변환을 위한 적절한 초기값을 입력해야 하며, 초기값에 따른 오차 발생 가능성이 있다(He et al., 2017).

3. 3D point cloud 데이터의 위치보정

1) 연구방법

데이터 포맷 변환 프로그램을 이용하여 3D point cloud 데이터를 아스키 파일로 변환하였다. 이때 생성된 속성값은 ‘x’, ‘y’, ‘z’, ‘color red’, ‘color green’, 그리고 ‘color blue’의 6개 항목이며, 전체 포인트는 총 7,466,480개이다. ‘x’, ‘y’, ‘z’는 UTM 52N에 대한 meter 단위 값이고, 색정보는 16비트 정수로 표현되었다. intensity값도 변환하였으나 모두 0으로 확인되어 처리 과정에서 제외하였다. Table 2는 변환된 값중첫 포인트에서 10번째 포인트까지의 값을 나타낸다.

Table 2Converted xyz values in UTM coordinate and 3 colors values of 16-bit integer from LAS format data

생성된 값 중에서 변환하고자 하는 정보는 x와 y 방향에 해당하는 2차원 정보이다. x, y좌표 변환을 위해 동일한 알고리즘을 통해 처리된 2차원 정사모자이크 영상을 기준 영상에 맞게 먼저 변환하고 이 과정에서 생성된 변환행렬을 적용하고자 하며 이에 대한 흐름도를 Fig. 3에 표현하였다.

Fig. 3. Suggesting processing flow chart to creating correct 3D point cloud data without GCPs.

2) 변환행렬 산출과 2차원 영상의 변환

UAV로 생성된 2차원 정사모자이크 영상의 기하보정을 위해 사용될 기준데이터로 도로명주소 전자지도를 활용하였다. 도로명주소 전자지도는 크게 건물, 도로, 그리고 행정구역에 대한 항목으로 구분되는데, 이중 행정구역은 육안으로 판독이 어렵고 명확한 구분 확인을 위해서는 수작업이 요구되므로 위치보정의 기준으로 이용하기에는 부적합하다고 판단하였다. ‘건물’과 ‘건물군’은 일정한 형태의 shape 파일로 제공되기 때문에 자동화 처리는 가능하다. 하지만 높이에 따라 형태가 달라지는 건물의 경우 shape 파일과 UAV 영상에서 촬영된 영상이 매칭되지 않을 가능성이 있다. 또한 shape 파일의 생성 시기와 UAV 영상 촬영 시기가 다른경우 일부 건물에 대해서는 shape 파일이 제공되지 않거나 일치하지 않아 차후 자동화 매칭 과정에서 오류를 일으킬 가능성이 높으며, 건물이 충분하지 않은 지역의 경우에도 매칭점 검출이 어렵거나 불가능하기 때문에 위치보정 기준으로는 부적합하다고 판단하였다. 반면 도로는 대부분의 영상에서 포함되고 식별이 용이하며, 건물에 비해 변화의 정도가 많지 않아 자동화 개발 시에도 추출과 매칭점 탐지가 용이하다고 판단하여 위치보정의 기준으로 선택하였다. 3차원 point cloud 데이터와 ‘실폭도로’의 중첩은 Fig. 2(a)에서, 2차원 정사모자이크 영상과 ‘실폭도로’, 그리고 ‘도로구간’의 중첩은 Fig.2(b)에서 확인할 수 있으며, 중첩된 결과를 통해 2차원 및 3차원 정합 결과가 실제 위치와는 오차가 발생했음을 확인할 수 있다.

변환계수 산출을 위한 매칭점 선택과정은 수동으로 진행하였다. 우선 기준이 되는 실폭도로 벡터 파일에서 도로가 끊어지거나 축소, 확장 등이 일어나는 변화지점을 찾고 이에 대응하는 지점을 2차원 정사영상에서 확인하였으며, 선택된 위치 정보를 Table 3에 나타냈다. Table 3에 표현된 정사모자이크 영상과 실폭도로에서의 값은 Table 2에서 확인한 meter 단위의 UTM 맵좌표이다. 선정된 매칭점들을 이용하여 다항식 공간 변형을 시도하였다. 본 연구는 2차원 선형정보를 이용하여 생성한 변환형렬이 3차원 point cloud 데이터의 x, y 좌표변환에도 적용이 가능한지를 파악하는데 그 목적이 있으며, 3차원 데이터 변환에도 유용하다고 판단될 경우 차후 매칭점 자동탐지 내용을 추가 수행하고자 한다.

Table 3. UTM map coordinates of criteria digital map and 2D ortho-mosaic image

선정된 매칭점은 총 9개이다. n차 다항식 변환을 위해서는 (n+1)² 만큼의 매칭점이 필요하기 때문에(Rifman and McKinnon, 1974), 1차 혹은 2차 다항식 적용이 가능한데, 이 중 2차 다항식 변환을 적용하고자 하였다. 최소 제곱 추정치를 사용하여 다항 함수의 계수 Kx(i, j)와 Ky(i, j)를 결정할 수 있으며 이는 아래의 식을 이용하여 산출되었다.

\(X_i = \sum_{i,j} Kx_{i,j} \cdot Xo^j \cdot Yo^i\)

\(Y_i = \sum_{i,j} Ky_{i,j} \cdot Xo^j \cdot Yo^i\)

Kx와 Ky는 다항식에 대한 입력값으로 이용되어 2차원 정사모자이크 영상에서의 좌표 xo, yo는 ‘실폭도로’ 정보에서의 좌표 xi, yi로 매핑된다. 본 영상에서는 각각 \(\begin{bmatrix} 2909.61 && -0.326036 \\ 1.00354 && 0.0000055 \end{bmatrix}\)\(\begin{bmatrix} -1820.13 && 1.09954 \\ 0.334915 && -0.00000544 \end{bmatrix}\)로 산출되었다. 이 변환행렬을 이용해 기하보정이 수행된 영상을 Fig. 4에 나타냈다. 위치보정의 정도를 파악하기 위해 보정 전의 영상을 반투명 상태로 중첩 표현하였으며, 불투명 영상은 보정 후의 영상을 나타낸다. 변환에 사용된 매칭점의 위치도 포함하였는데, 빨간색으로 표현된 것은 기하보정 전 영상에서의 매칭점을 나타내고, 흰색으로 표현된 것은 기하보정 후 영상에서의 매칭점 위치를 나타낸다.

Fig. 4. The comparison image before and after position correction. The translucent image represents the 2D ortho-mosaic before position correction. The red and white mark in the image represent matching points before and after position correction, respectively.

3) 위치정확도 향상 검증

기하보정된 2D 영상의 위치정확도를 검증하였다. 검증을 위해 영상 취득 인근의 통합기준점(서울U0147)에 확인측량을 수행하고 이를 기준으로 6개의 지상기준점을 선정하였으며, 이에 대한 정보는 Table 4와 Fig. 5에 나타냈다. Table 5에는 측량 지점에 대한 보정 전후의 UTM 좌표를 나타냈으며, Table 4의 좌표를 기준으로 직선거리를 산출하였다. 보정 전평균 약 34.54 m의 차이를 보였던 거리가 보정 후 약 1.21 m로 감소함을 확인하였다.

Table 4. The location information of GCPs

Fig. 5. GCP number and location information.

Table 5. The comparison of UTM coordinates and distance before and after position correction

4) 변환 행렬을 이용한 point cloud 데이터 변환

2차원 정사보정 영상의 기하보정 과정에서 생성된 변환행렬을 이용하여 전체 7,466,480 포인트의 x, y에 해당하는 위치정보를 보정하였다. 다른 속성값인 z, color_red, color_green, color_blue 값은 변환하지 않았다. 데이터 포맷 변환 프로그램을 통해 x, y 좌표가 보정된 아스키 파일을 point cloud 데이터로 변환하였으며, 결과를 Fig. 6에 나타냈다. Fig. 2(a)와의 비교를 통해 x, y에 해당하는 위치가 보정되었음을 확인할 수 있다.

Fig. 6. Corrected 3D point cloud result with criteria digital map.

4. 결론

지상기준점을 포함하지 않고 촬영된 UAV를 통해 생성한 2차원 정사모자이크 영상과 3차원 point cloud 데이터의 x, y 위치 정확도 향상을 연구하였다. 대부분의 UAV 처리 소프트웨어는 정사보정된 한 장의 2차원 모자이크 영상과 3차원의 point cloud 영상을 생성하는 기능을 지원하며, 본 연구에서는 Pix4Dmapper 소프트웨어를 이용하여 2차원과 3차원의 결과물을 생성하였다. 생성된 2차원 영상을 이용한 위치 보정을 먼저 수행하고, 변환 행렬을 산출하였다. 그리고 이를 3차원 point cloud 데이터 중 x, y 방향에 해당하는 2개 속성에 적용하여 3차원 데이터의 위치보정을 수행하였다. 2차원 변환의 경우 회전, 축척, 그리고 이동 과정이 포함되는데 생성된 변환 행렬을 통해 각 과정에 대한 정도를 파악할 수 있다. 영상 변환 후 위치정확도 검증을 위해 6개의 GCP를 선정하여 비교한 결과 보정 전 약 34.54 m의 직선 거리 차이가 보정 후 약 1.21 m 로 감소하였음을 확인하였다. 생성된 변환행렬 이용해 최종적으로 3차원 point cloud 데이터를 변환하였으며, 변환된 point cloud 데이터의 위치 정확도도 향상되었다. 이를 통해 지상기준점 등의 정밀 위치정보없이 오직 UAV의 GPS 센서만을 이용해 촬영된 2차원 및 3차원 영상의 위치정확도를 공공데이터를 이용한 후처리 과정을 통해 향상시킬 수 있음을 확인하였다. 위치정확도가 향상됨에 따라 UAV 기반 point cloud 데이터에서 획득된 객체의 활용 범위 확대를 기대할 수 있다.

단, 본 연구에서 최종 산출된 위치보정 행렬은 정확한 위치정보를 포함하지 않은 모든 UAV 영상에 적용할 수 있는 절대값은 아니며, 사용된 UAV의 GPS 센서와 촬영조건, 그리고 2D 정사보정 영상과 3D point cloud 데이터를 생성하는데 사용된 알고리즘 등에 따라 달라질 수 있다. 그러므로 기준 영상과의 비교를 통한 2차원 영상의 기하보정을 반드시 선행하고 이 과정에서 생성된 변환행렬을 3차원 point cloud 데이터에 적용해야 한다.

위치보정을 수행했음에도 약 1.2 m의 오차가 발생하고 있는데, 이는 변환행렬의 부정확함이나 변환 과정에서의 오차보다 변환의 기준으로 사용된 ‘실폭도로’의 정확도에 기인한다고 판단하였다. ‘실폭도로’를 포함한 도로명주소 전자지도는 항공기 영상을 기반으로 각 항목에 대한 분류작업을 거쳐 벡터파일로 변환되어 행정구역별로 제공된다. 항공영상의 촬영시기와 해상도, 분류과정에서의 알고리즘, 그리고 벡터파일로의 변환 과정 등에서 오차가 발생할 수 있다. 실제로 본 연구에서 이용한 ‘실폭도로’ 벡터파일은 UAV영상과 대부분 일치하였으나, 영상에서 볼 수 있는 건물이 도로명주소 전자지도의 ‘건물’ 항목의 폴리곤으로 표현되지 않은 경우를 확인하였다. 그러므로 UAV촬영 시기와 유사시기에 촬영되고 정밀한 분류가 수행된 벡터파일이나, UAV 영상과 유사한 해상도의 raster 영상을 기준영상으로 위치보정을 수행할 경우 위치정확도가 향상될 것으로 기대한다.