DOI QR코드

DOI QR Code

크라우드소싱 드론 영상의 기하학적 품질 자동 검증

Automatic Validation of the Geometric Quality of Crowdsourcing Drone Imagery

  • 이동호 (국토연구원 공간정보사회연구본부 ) ;
  • 최경아 (국토연구원 공간정보사회연구본부)
  • Dongho Lee (Geospatially Enabled Society Research Division, Korea Research Institute for Human Settlements) ;
  • Kyoungah Choi (Geospatially Enabled Society Research Division, Korea Research Institute for Human Settlements)
  • 투고 : 2023.09.26
  • 심사 : 2023.10.10
  • 발행 : 2023.10.31

초록

크라우드소싱(crowdsourcing) 공간 데이터 활용 연구가 활발히 진행되고 있으나 데이터 품질의 불확실성으로 인한 문제점이 제기되고 있다. 특히 드론 영상 데이터셋에 품질이 낮은 데이터가 포함될 경우, 출력되는 공간 정보의 품질이 저하될 수 있다. 이를 위해 본 연구에서는 크라우드소싱된 영상의 기하학적 품질을 자동으로 검증하는 방법론을 제안하였다. 주요 품질 요소로는 영상의 공간해상도, 해상도 변화량, 매칭점 재투영 오차, 번들 조정 결과 등을 입력변수로 활용하였다. 공간 정보 생성에 적합한 영상을 분류하기 위해 학습 및 검증 데이터를 구축하고, radial basis function (RBF) 기반의 support vector machine (SVM) 모델로 학습을 진행하였다. 학습된 SVM 모델의 분류 정확도는 99.1%를 기록하였다. 품질 검증 모델 효과를 확인하기 위해 학습 및 검증에 사용하지 않은 드론 영상에 대하여 해당 모델을 적용하기 전후의 영상 데이터셋으로 각각 정사영상을 생성하고 비교하였다. 그 결과 모델 적용을 통하여 정사영상에 포함될 수 있는 다양한 왜곡을 줄이고 객체 식별력을 증대시키는 것을 확인하였다. 제안된 품질 검증 방법론은 다양한 품질의 크라우드소싱 데이터를 입력으로 받아 양질의 정보만을 자동 선별하게 함으로써 공간정보 생성에서의 활용 가능성을 증대시킬 것으로 기대한다.

The utilization of crowdsourced spatial data has been actively researched; however, issues stemming from the uncertainty of data quality have been raised. In particular, when low-quality data is mixed into drone imagery datasets, it can degrade the quality of spatial information output. In order to address these problems, the study presents a methodology for automatically validating the geometric quality of crowdsourced imagery. Key quality factors such as spatial resolution, resolution variation, matching point reprojection error, and bundle adjustment results are utilized. To classify imagery suitable for spatial information generation, training and validation datasets are constructed, and machine learning is conducted using a radial basis function (RBF)-based support vector machine (SVM) model. The trained SVM model achieved a classification accuracy of 99.1%. To evaluate the effectiveness of the quality validation model, imagery sets before and after applying the model to drone imagery not used in training and validation are compared by generating orthoimages. The results confirm that the application of the quality validation model reduces various distortions that can be included in orthoimages and enhances object identifiability. The proposed quality validation methodology is expected to increase the utility of crowdsourced data in spatial information generation by automatically selecting high-quality data from the multitude of crowdsourced data with varying qualities.

키워드

1. 서론

도시계획 조감도 작성, 시설물 안전점검, 식생 모니터링에서부터 택배 및 도심항공교통(urban air mobility, UAM)까지 다양한 분야에 드론을 활용하고자 한다(Kim et al., 2018; Kim et al., 2023; Kim et al., 2016; Lee et al., 2023). 최근에는 다양한 시도에 따라 일상적으로 활용되는 사례도 늘어가고 있다. 특히 드론은 사람이 접근하기 어려운 건물이나 시설물의 균열 관측에 활용되어 성과를 보였다(An et al., 2021; Choi et al., 2021). 또한 토목 및 건설 현장에서는 드론의 도입으로 공정관리에 있어 시간과 비용을 절감하며 업무 효율성을 크게 향상시켰다(Lee et al., 2021).

상기 활용 사례들은 정사영상, 수치지도, three-dimensional (3D) 모델 등 공간정보 생성을 목적으로 드론을 도입한 것은 아니지만 업무 목적에 부합하는 고품질의 드론 영상 데이터를 수집하게 된다(Kim and Ha, 2022; Paik et al., 2021). 이러한 데이터를 공간정보 생성 및 갱신에 활용한다면 기존 공간정보 생성에 소요되는 비용을 절감하고 갱신 주기를 단축할 수 있을 것이다(Choi, 2022). 이에 공간정보가 아닌 다양한 목적으로 수집되는 영상, 라이다 데이터 등을 크라우드소싱 받아 공간정보 갱신에 활용하기 위한 시도들이 나타나고 있다. 대표적으로 일본 국토교통성에서는 플라토 프로젝트(Project PLATEAU)의 일환으로 버스에 장착된 라이다 데이터, 버스 승객의 스마트폰 영상 등 크라우드소싱 데이터를 3D 도시 모델 갱신에 활용하기 위한 기술 개발을 추진하고 있다(Ministry of Land, Infrastructure, Transport and Tourism, 2022). 하이델베르크(Heidelberg) 대학에서는 volunteered geographic information (VGI) 데이터로 3D 도시 모델을 구축하는 OpenStreetMap (OSM)-3D 프로젝트를 진행하였다. Shuttle radar topography mission(SRTM) 높이 데이터에서 파생된 상세한 통합 지형모델과 건물 공간을 3차원으로 결합하였고, web 3D service(W3DS)를 통해 표준화된 3D 데이터를 제공하였다(Fan and Zipf, 2016). Zhanabatyrova et al. (2023)은 메타데이터(metadata)를 비교하여 자동으로 변경사항을 감시하고 블랙박스 비디오로 3D 지도를 갱신하는 방안을 제안하였다.

고품질의 공간정보 생성을 위하여 드론 영상 취득 시 해상도, 중복도, 외부표정요소 등 기하학적 요소가 일정기준 이상의 품질을 만족해야 한다. 현재 드론 매핑을 위한 상용 및 오픈소스 소프트웨어는 입력 데이터의 품질을 고려하지 않고, 전처리 및 공간정보 생성 프로세스를 적용한다. 데이터 입력 시 품질이 낮은 데이터가 함께 입력되는 경우, 끝까지 프로세스가 적용되지 않거나 산출된 공간정보의 품질이 낮아진다. 이에 따라 소프트웨어의 사용자가 육안으로 입력 데이터나 중간 산출물의 품질을 확인하며 입력 데이터셋을 편집한다. 크라우드소싱되는 수많은 드론 영상 데이터를 활용할 경우, 공간정보 생성에 유효한 품질을 갖는 데이터 선별에 많은 시간이 소요될 수 있다. 품질이 확보되는 않은 크라우드소싱 드론 영상을 공간정보 생성에 바로 적용하는 것은 시간 및 비용 측면에서 비효율적이다.

다양한 품질의 수많은 크라우드소싱 영상을 활용하는 경우 자동화된 프로세스가 필요하며, 특히 앞부분 프로세스에 해당하는 양질의 데이터를 선별하는 품질 검증 자동화는 대량의 영상 데이터를 일일이 확인하지 않고 최종 산출물의 품질을 어느 정도 보장하는 측면에서 매우 중요하다. 이에 본 연구에서는 드론 영상의 기하학적 품질이 공간정보 생성에 끼치는 영향을 분석하여 품질 요소를 도출하고 이를 기반으로 자동으로 품질 검증을 수행하는 방법론을 제안하고자 한다.

2. 기하학적 품질 검증 방법론

본 연구에서는 드론 영상의 품질 요소로써 주로 다뤼지는 공간해상도, 영상 간 중복도, 외부표정요소에 대하여 실험적으로 검증하고, 다양한 품질 요소를 종합적으로 적용하여 소싱된 데이터셋의 개별 드론 영상에 대한 품질 검증을 자동으로 수행하는 방법론을 제안한다. 제안하는 방법론은 품질 요소 산출, 학습 데이터 구축, 품질 검증 모델 선정 및 학습의 주요 단계로 구성된다.

2.1. 품질 요소 산출

본 연구에서 품질 검증은 크라우드소싱된 드론 영상 데이터를 국토 공간 변화정보 수집 및 갱신에 활용할 수 있는가에 대한 질의에 기초한다. 따라서 드론 영상으로부터 국토 공간 변화를 식별하고 위치 측정이 가능한 정사영상을 생성할 수 있는가를 기준으로 품질 요소에 대하여 실험적으로 살펴보고 산출식을 정의하고자 한다. 우선 크라우드소싱 드론 영상은 카메라 정보, 위치(global navigation satellite system, GNSS)/자세(inertial navigation system, INS) 정보를 메타데이터로 함께 소싱 받는다는 가정하에 공간해상도, 영상 간 중복도, 외부표정요소 프로파일은 다음과 같이 산출할 수 있다. 공통적으로 촬영고도는 지표면으로부터의 높이를 의미하므로 GNSS 정보로부터 대상지의 지표면 높이를 이용하여 표고로 변환하는 과정이 필요하다. 지표면 높이는 기구축된 digital elevation model (DEM) 또는 초기 외부 표정요소와 공액점을 이용하여 계산된 높이 정보를 이용하여 결정할 수 있다.

공간해상도는 식(1)과 같이 촬영고도, 카메라 픽셀 사이즈 및 초점거리를 이용하여 ground sampling distance(GSD)로 산출할 수 있다.

\(\begin{aligned}G S D=\frac{P S \times H}{f}\end{aligned}\)       (1)

영상 간 중복도는 식(2)와 같이 주점 간 거리, 촬영고도, 카메라 디텍터 사이즈, 초점거리를 이용하여 산출하거나 카메라 및 GNSS/INS 정보를 이용하여 영상의 지상 영역(footprint)을 계산하고 중복영역을 식별하여 산출할 수 있다.

\(\begin{aligned}O=\frac{100 A f-100 H a}{H a}\end{aligned}\)       (2)

외부표정요소 변화량은 식(3)과 같이 직전에 촬영된 영상의 외부표정요소와 해당 영상의 외부표정요소를 비교하여 산출한다

EOvariation = [Xpres Ypres Zpres ωpres φpres kpres]T – [Xprev Yprev Zprev ωprev φprev kprev]T       (3)

고품질의 정사영상을 생성하기 위해서는 일정한 촬영고도에서 연직방향으로 촬영된 요구 해상도 이상의 중복된 드론 영상 데이터셋이 필요하다. 이에 해상도 측면에서 품질 기준 해상도 이상이며, 외부표정요소 측면에서는 고도의 변화가 급변하지 않으면서, 카메라의 방향이 연직방향으로 유지되는 것이 중요하다. 중복도 측면에서는 영상 간의 양질의 공액점이 충분히 확보될 수 있도록 높은 중복도가 중요하지만, 드론을 이용하여 수집되는 영상의 경우 대부분 중복도가 충분히 확보되고 있다. 오히려 카메라의 방향 중 X, Y축의 회전량이 커지면서 중복도는 크게 유지되지만, 영상 내 해상도가 일관되지 않게 되어 생성된 공간정보의 품질을 저하시킬 수 있다. 이에 중복도는 품질 요소에서 배제하는 대신, 해상도 변화량을 품질요소로 선정하고 식(4)와 같이 영상 내 개별 픽셀의 해상도를 모두 계산하여 대표 해상도 대비 최대값의 비율로 변화율을 계산한다.

\(\begin{aligned}G S D_{\text {variaction }}=\frac{G S D_{M a x}}{G S D_{0}}\end{aligned}\)       (4)

추가적으로 정사영상 생성을 위한 전 과정인 번들 블록 조정(bundle block adjustment)에서 산출되는 변수를 품질 요소로 활용하고자 한다. 소싱된 드론 영상 간 공액점을 추출하고 GNSS/INS 정보를 이용하여 지상기준점 없이 번들 블록 조정을 수행한다. 수행 결과, 초기 외부표정요소와 추정된 외부표정요소 간의 차이를 오차로 간주하고 해당 오차와 이에 대한 분산도 품질 요소로 활용한다. 이와 함께 공액점에 대하여 산출된 지상점 좌표를 추정된 외부표정요소를 이용하여 영상으로 재투영(reprojection)하고 해당 좌표와 측정된 공액점의 좌표 간의 차이를 오차로 간주하였다. 이 오차를 기반으로 영상 별 모든 공액점에 대하여 해당 오차에 대한 최솟값, 최댓값, 표준 편차, 평균제곱근오차(root mean square error, RMSE)를 품질 요소로 활용한다.

2.2. 학습 데이터 구축

상술된 영상의 대표 해상도, 영상 내 해상도 변화량, 외부표정요소의 변화량, 외부표정요소 오차 및 분산, 지상점 재투영 오차의 최소·최대·표준편차·RMSE를 입력으로 영상의 품질을 적합(1)과 부적합(0)으로 산출하는 자동화된 품질 검증을 위하여 머신러닝 모델을 활용하고자 한다. 머신러닝 모델의 성능에 있어서 정확한 학습 데이터 구축은 필수적이다. 이를 위해 다양한 조건으로 취득된 드론 영상을 소싱하였다. 소싱된 드론 영상은 크게 두 가지 유형으로 나뉜다. 첫 번째 유형은 자동 비행모드를 이용하여 동일한 고도, 범위, 중복도에서 각 세트마다 pitch angle을 변경하며 촬영된 영상이다. Roll의 경우 드론 시스템에 내장된 gimbal에 의하여 변경이 어려웠으며, yaw angle은 스트립 변경 시마다 변경되었다. Pitch angle을 0°, 20°, 40°, 50°, 60°, 70°로 설정하여 총 6세트의 드론 영상을 취득하였다. 두 번째 유형은 수동 비행모드로 일정한 경로 없이 자율적으로 비행하며 다양한 카메라 자세로 촬영된 영상이다. 이렇게 수집된 드론 영상에 대하여 자동으로 산출된 입력변수와 함께 개별 정사영상을 생성하여 품질을 확인하며 라벨링을 수행하였다. 정사영상은 원본 영상의 품질, 매칭을 포함한 번들 블록 조정 결과에 영향을 받게 된다. 생성된 개별 정사영상의 품질을 Fig. 1과 같이 확인할 수 있다. Fig. 1(b)와 같이 텍스쳐가 없는 영역(blank area)의 비율이 크거나, Fig. 1(c)와 같이 선형 객체가 일그러지는 현상이 심한 경우 소싱된 드론 영상의 품질이 부적합한 것으로 판단하였다.

OGCSBN_2023_v39n5_1_577_f0001.png 이미지

Fig. 1. Image quality assessment using individual orthoimages: (a) suitable image, (b) unsuitable image, and (c) unsuitable image (Zoomed in (b)).

입력변수를 함께 고려하였을 때, 해상도는 대부분 6cm 이상의 고해상도 영상으로 변별력이 없었으며 해상도의 변화량은 2.2 이상, 외부표정요소 변화량의 경우에는 pitch angle의 영향이 컸고 33° 이상인 경우에 낮은 품질을 나타냈다. 학습 데이터는 총 1,387장의 영상에 라벨링을 수행하여 구축하였으며 이 중 70%는 모델 학습에, 30%는 모델 검증에 활용했다. 적합 및 부적합 라벨링된 샘플 영상은 Fig. 2와 같다.

OGCSBN_2023_v39n5_1_577_f0002.png 이미지

Fig. 2. Examples of labeling for suitable and unsuitable images.

2.3. 품질 검증 모델 선정 및 학습

품질 검증의 요소로 선정된 입력변수들은 모두 영상 취득 시의 GNSS/INS 정보에서 파생되기 때문에 변수들 사이에 상관관계가 존재한다. 이는 전통적인 통계 모델부터 머신러닝, 딥러닝 기반의 모델까지 모델의 복잡성을 증가시키고 성능에 부정적인 영향을 끼칠 수 있다. 이에 본 연구에서는 많은 특성을 갖는 데이터에 대해서도 성능을 유지하며, 최적의 독립 변수를 선정할 수 있는 재귀적 특성 제거(recursive feature elimination, RFE)알고리즘을 활용하였다. RFE는 모델 학습에 가중치가 낮은 변수를 순차적으로 제거하면서 모델을 반복적으로 학습시켜 최적의 변수를 찾는 알고리즘이다(Lin et al., 2012).

학습 데이터의 품질 요소를 입력 변수로하고 라벨링 데이터를 종속변수로 하여 RFE 알고리즘을 수행한 결과, Fig. 3과 같이 전체 품질 요소 중 11개 이상을 변수로 사용할 경우 가장 높은 성능을 보였으며, 이 중 가장 적은 수인 11개의 변수 조합을 출력한 결과는 Table 1과 같다. 11개의 변수 중 가장 중요도가 높은 변수는 pitch로 도출되었다.

Table 1. The optimal variables and their importance rank derived using the RFE algorithm

OGCSBN_2023_v39n5_1_577_t0001.png 이미지

OGCSBN_2023_v39n5_1_577_f0003.png 이미지

Fig. 3. Results of optimal variable extraction using the RFE algorithm.

앞서 구축한 학습 데이터와 RFE 알고리즘으로 선정한 최적 변수들을 활용하여 적합 이미지와 부적합 이미지를 분류하기 위한 머신러닝 알고리즘으로 radial basis function (RBF) 커널 기반의 support vector machine (SVM) 모델을 선정하였다(Cortes and Vapnik, 1995). 이 모델은 선형적으로 분리 가능한지 여부에 관계없이 적은 양의 학습 데이터로도 높은 성능을 보인다. RBF 커널 기반의 SVM 모델 학습을 위해서는 Cost (C)와 Gamma 매개변수의 최적 값을 결정해야 한다. 이를 위해 K-fold 교차 검증과 grid search 방법을 결합하여 학습 데이터를 5개의 부분집합으로 나눈 후, 이를 10회 반복 실행하여 최적의 매개변수를 선정한다.학습 데이터셋에 grid search 방법을 적용한 결과 Fig. 4와 같이 C는 10, Gamma는 0.1일 때 정확도 0.991로 가장 높은 성능을 보였다.

OGCSBN_2023_v39n5_1_577_f0004.png 이미지

Fig. 4. Results of grid search based on K-fold cross-validation for hyperparameter tuning.

모델 학습을 완료한 뒤, 검증 데이터에 대해서 RFE 알고리즘을 통해 선정된 11개 변수를 적용하였다. 이를 학습된 모델을 통해 예측을 수행하고 혼동 행렬(confusion matrix)을 작성한 결과는 Table 2와 같다.

Table 2. Confusion matrix from model validation using the validation set

OGCSBN_2023_v39n5_1_577_t0002.png 이미지

분석 결과 검증 데이터의 245개 부적합한 영상은 모두 올바르게 분류되었다. 그러나 실제로 적합한 영상 172개중 4개 영상은 부적합으로 분류되었다. 오분류된 영상의 라벨링 데이터를 확인한 결과 모두 pitch angle이 35–40° 사이의 값을 가지며, 농경지를 촬영한 영상으로 확인되었다. 라벨링 데이터에서 pitch angle이 35–40°일 때 일반적으로 건물 밀집 지역의 경우 Fig. 5(a)와 같이 blank area의 비율이 높고 선형 객체가 많이 일그러지게 나타난다. 농경지 영상의 경우 pitch angle 기준으로는 일반적으로 부적합 이미지의 특성을 가지나 실제로 개별 정사영상을 관찰했을 때는 Fig. 5(b)와 같이 선형 객체가 왜곡되지 않았고, blank area 비율도 낮게 나타났다. 이러한 특성 때문에 라벨링 작업 중에는 적합한 이미지로 분류되었으나 SVM 모델은 이러한 시각적 특성을 반영하지 못하고 기하학적 품질 요소만으로 분류하기 때문에 오분류된 것으로 해석된다.

OGCSBN_2023_v39n5_1_577_f0005.png 이미지

Fig. 5. Comparison of orthoimages with pitch angles between 35° and 40°: (a) built-up area and (b) agricultural land.

검증 데이터셋의 전체 분류 정확도는 0.990, Precision은 0.992, Recall은 0.955, F1-score는 0.990으로, 학습된 모델은 검증 데이터셋에서도 매우 우수한 성능을 나타냈다.

3. 품질 검증 모델 적용 및 결과 분석

제안하는 품질 검증 방법론의 효과를 확인하고자 모델 학습 및 검증에 사용하지 않은 데이터셋에 대하여 품질 검증 모델을 적용하였다. 적용한 데이터셋은 라벨링 데이터의 두 번째 유형과 같이 매뉴얼 비행모드로 일정한 경로 없이 자율적으로 운행하며, 다양한 pitch angle에서 촬영된 영상으로 총 621장의 영상 중 341장을 품질 적합으로, 280장을 품질 부적합으로 분류하였다. 품질 검증 전, 전체 621장의 데이터셋(Set A)과 품질 검증을 통해 적합으로 분류된 341장의 데이터셋(Set B)을 이용하여 각각 정사영상을 생성하고 산출물을 분석하였다. 정사영상 생성을 위하여 상용소프트웨어 Metashape (AgiSoft, Russia)을 이용하였다.

3.1. 정성적 분석

두 데이터셋의 영상 개수가 다르기 때문에 생성된 정사영상의 커버리지는 Fig. 6과 같이 상이하다.

품질이 낮은 영상까지 포함하는 Set A (Fig. 6a)를 이용하여 정사영상을 생성한 경우, 커버리지가 훨씬 넓지만 건물, 도로, 농경지 등에서 일그러지고 정확하게 객체 식별이 어려운 지점들이 다수 발견된다.

OGCSBN_2023_v39n5_1_577_f0006.png 이미지

Fig. 6. Orthomosaic images generated from (a) Set A and (b) Set B.

Fig. 7은 Fig. 6에서 붉은 태두리로 표시된 1번, 2번, 3번 지점을 Set A와 Set B를 사용한 정사영상으로 비교한 것이다.

OGCSBN_2023_v39n5_1_577_f0007.png 이미지

Fig. 7. Zoomed-in views of orthomosaic images generated from set A and set B at areas 1, 2, and 3 in Fig. 6.​​​​​​​

Fig. 7(a)에서 Set A 정사영상을 이용해 확대한 1번 지역의 아파트 같은 기복 변위가 큰 지역에서 왜곡이 크게 나타나며, 텍스쳐(texture) 생성도 부족한 모습을 보인다. 반대로 Fig. 7(b)에서 동일한 지역을 Set B 정사영상으로 확대하면 고층 건물에서도 왜곡 없이 잘 정합되는 것을 볼 수 있다. Figs. 7(c, d)는 2번 지역을 확대한 것으로 주택지역에서는 Set A 영상의 주택, 지붕, 자동차, 도로선 등의 선형 객체들에서 왜곡이 발생한 반면, Set B 영상에서는 왜곡이 발생하지 않은 것을 확인하였다. 마지막으로 Figs. 7(e, f)는 3번 지역의 확대 이미지로 주로 자동차 도로를 나타낸다. Set A 영상의 Fig. 7(e)에서는 중앙분리대의 왜곡, 이중으로 그려진 방향 지시선, 영상 간 어긋난 연결선(seamline)으로 인한 차선 왜곡 등의 문제점을 발견할 수 있다. 그러나 Set B 영상의 Fig. 7(f)에서는 이러한 문제점들 없이 중앙분리대, 방향 지시선, 차선 등이 자연스럽게 표현되어 있다. Fig. 8은 Fig. 6에서 노란색 태두리로 강조된 4번과 5번 지점을 확대해 나타낸 것이다.

OGCSBN_2023_v39n5_1_577_f0008.png 이미지

Fig. 8. Zoomed-in views of orthomosaic images generated from set A at areas 4 and 5 in Fig. 6.​​​​​​​

위 지점은 전체 영상을 입력으로 사용한 Set A에서만 확인할 수 있으며, Set B에서는 품질이 부적합한 영상부분을 제외했기 때문에 해당 지점의 정사영상은 생성되지 않았다. 따라서 4번과 5번 지점은 품질이 부적합으로 분류된 영상만으로 생성된 지점이다.

Fig. 8(a)는 4번 지점을 확대한 그림으로 축구장과 농경지가 주로 촬영되었다. 기복 변위가 심하지 않은 농경지의 경우 큰 왜곡이 발생하지 않았지만, 축구장의 경우 형태를 알아볼 수 없을 정도로 왜곡된 것을 확인하였다. Fig. 8(b)는 5번 지점을 확대하였다. 해당 지역은 주로 농경지, 도로가 있는 지역으로 기복 변위가 크지 않은 지역이지만 영상 간 연결선이 자연스럽게 연결되어 있지 않은 것을 확인할 수 있다. 이와 같이 품질이 낮은 영상만으로 구성된 부분은 처리되어 산출물은 생성되지만 많은 왜곡을 보여준다. 반면 본 연구에서 제안한 분류 모델에서 적합으로 분류한 영상으로 정사영상을 제작했을 때 연결선, 도로선, 높이를 갖는 건물 등에서 끊어지는 현상이 전체적으로 개선된 것을 확인할 수 있다. 이를 통해 제안된 품질 검증 방법론에 의하여 공간정보 생성 프로세스의 주요 산출물인 정사영상의 품질을 어느 정도 보장할 수 있는 것으로 판단된다.

3.2. 정량적 분석

Set A와 Set B를 이용하여 생성된 정사영상의 정확도 비교를 위하여 Fig. 9와 같은 위치에서 real-time kinematic GNSS (RTK GNSS)를 이용하여 검사점 측량을 하였다. 해당 위치에 대하여 각각의 정사영상에서 수평 좌표를 취득하고 검사점을 기준으로 오차를 계산하였다. 수평오차의 평균, 표준편차, RMSE는 Table 3과 같다. Set A와 Set B의 수평 오차의 크기는 각각 4.3 m와 4.6 m로 큰 차이를 보이지 않으나, X 방향으로는 정확도가 약 3.5배 이상 향상된 것을 확인할 수 있다.

OGCSBN_2023_v39n5_1_577_f0009.png 이미지

Fig. 9. Locations of check points (CPs).​​​​​​​

Table 3. Horizontal positioning accuracy of orthomosaic images generated from set A and B (Unit: m)​​​​​​​

OGCSBN_2023_v39n5_1_577_t0003.png 이미지

정사영상 생성을 위한 중간 산출물로써 DEM을 이용하여 수직 위치에 대한 오차도 확인하였다. 수직 오차의 평균, 표준편차, RMSE는 Table 4와 같다. 수직 정확도의 경우, 품질 검증 모델 적용을 통하여 6.4 m에서 5.9 m로 약 10 % 향상된 것을 확인할 수 있다.

Table 4. Vertical positioning accuracy of orthomosaic images generated from set A and B (Unit: m)​​​​​​​

OGCSBN_2023_v39n5_1_577_t0004.png 이미지

품질 검증 모델의 적용을 통해 정확도 측면에서 유의미한 개선의 효과를 확인할 수 없었던 것은 Set A와 Set B의 처리에 있어서 기준 데이터로 지상기준점 없이 GNSS/INS 데이터만을 사용하였고, 두 데이터의 GNSS/INS 정확도는 동일하기 때문이다. 또한 동일한 위치의 검사점에 대해서 정확도를 산출하는 과정에서 검사점은 두 데이터셋에서 모두 식별 가능한 점으로 측량하였기 때문에 해상도가 나빠지고, 식별력이 떨어지는 등의 품질 저하의 영향을 받지 않은 것으로 판단된다.

4. 결론

본 연구에서 크라우드소싱된 영상을 공간정보 생성에 활용할 수 있는지 기하학적 품질에 대하여 자동으로 검증하기 위한 방법론을 제안하였다. 품질 검증을 위하여 영상의 대표 해상도, 해상도 변화량, 외부표정요소의 변화량, 공액점의 투영오차, 번들조정 결과를 품질요소로 정의하였다. 정의된 품질요소를 활용하여 영상과 처리된 개별 정사영상을 가시적으로 확인하며, 총 1,387장의 학습 데이터를 구축하였다. 구축된 데이터의 70%를 이용하여 RBF 커널 SVM 모델을 학습시키고, 30%를 이용하여 품질 검증 성능을 평가하였으며 그 결과 99.0%의 정확도를 나타냈다. 해당 품질 검증 모델에 학습 및 검증에 사용하지 않은 데이터셋을 적용하여 품질 검증의 효과를 분석하였다. 품질 검증 모델을 통하여 선별된 데이터를 이용하여 정사영상을 생성하였을 때, 그렇지 않은 경우와 비교하여 가시적으로 고품질의 정사영상을 생성할 수 있었다. 이는 다양한 품질을 갖는 수많은 크라우드소싱 데이터 입력으로 양질의 데이터를 자동 선별할 수 있게 함으로써 공간정보 생성에 크라우드소싱 데이터의 활용 가능성을 증대시킬 것으로 기대한다. 향후 복사학적 품질 검증 방법론을 구상하여 크라우드소싱된 드론 영상에 대하여 기하학적 및 복사학적 특성을 모두 고려한 자동 품질 검증 프레임워크를 제시하고자 한다.

사사

본 연구는 국토교통부/국토교통과학기술진흥원의 디지털 국토정보 기술개발사업 지원으로 수행되었음(과제번호 RS-2023-00142501).

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

참고문헌

  1. An, Y. K., Bae, H. J., and Jang, K. Y., 2021. Deep learning-based crack evaluation of bridges using drone and climbing robot. Journal of the Korean Society for Nondestructive Testing, 41(6), 349-357. https://doi.org/10.7779/JKSNT.2021.41.6.349
  2. Choi, D., Paik, S. H., Kim, Y. K., Jung, S. W., and Kim, D. N., 2021. Deep-learning crack analysis for visual-safety inspection of bridge by drones. Journal of Korean Institute of Information Technology, 19(12), 115-121. https://doi.org/10.14801/jkiit.2021.19.12.115
  3. Choi, K., 2022. Defining quality factors and criteria on crowd-sourced aerial view images. Journal of Korean Society for Geospatial Information Science, 30(4), 129-138. https://doi.org/10.7319/kogsis.2022.30.4.129
  4. Cortes, C., and Vapnik, V., 1995. Support-vector networks. Machine Learning, 20(3), 273-297. https://doi.org/10.1007/BF00994018
  5. Fan, H., and Zipf, A., 2016. Modelling the world in 3D from VGI/crowdsourced data. In: Capineri, C., Haklay, M., Huang, H., Antoniou, V., Kettunen, J., Ostermann, F., and Purves, R. (eds.), European handbook of crowdsourced geographic information, Ubiquity Press, pp. 435-446. https://doi.org/10.5334/bax.ae
  6. Kim, E., Oh, H. K., Lee, W., and Lee, J., 2023. The use of drone remote sensing for investigating the seasonal characteristics of biological communities in the Mt. Halla ecosystems in response to climate change. The Geographical Journal of Korea, 57(1), 51-65. https://doi.org/10.22905/kaopqj.2023.57.1.5
  7. Kim, H. Y., Choi, K. A., and Lee, I. P., 2018. Drone image-based facility inspection - Focusing on automatic process using reference images. Journal of Korean Society for Geospatial Information Science, 26(2), 21-32. https://doi.org/10.7319/kogsis.2018.26.2.021
  8. Kim, S. J., Bae, K. H., and Choi, C. Y., 2016. A study on introduction of drone delivery service policies and development plans in countries. Korea Logistics Review, 26(1), 27-38. https://doi.org/10.17825/klr.2016.26.1.27
  9. Kim, T. W., and Ha, Y. H., 2022. Deep learning based runway crack identification. Journal of Korean Institute of Information Technology, 20(10), 1-11. https://doi.org/10.14801/jkiit.2022.20.10.1
  10. Lee, D. H., Go, S. H., and Park, J. H., 2023. Analysis of plant height, crop cover, and biomass of forage maize grown on reclaimed land using unmanned aerial vehicle technology. Korean Journal of Remote Sensing, 39(1), 47-63. https://doi.org/10.7780/kjrs.2023.39.1.3
  11. Lee, K., Lee, S., and Kim, N., 2021. Application and utilization plans of drones at construction sites. Journal of the Korean Geosynthetics Society, 20(4), 8-11.
  12. Lin, X., Yang, F., Zhou, L., Yin, P., Kong, H., Xing, W. et al., 2012. A support vector machine-recursive feature elimination feature selection method based on artificial contrast variables and mutual information. Journal of Chromatography B, 910, 149-155. https://doi.org/10.1016/j.jchromb.2012.05.020
  13. Ministry of Land, Infrastructure, Transport and Tourism, 022. PLATEAU about. Available online: https://www.mlit.go.jp/plateau/about (accessed on Sept. 8, 2023).
  14. Paik, S. H., Choi, D., Kim, Y. K., Jung, S. W., and Kim, D. N., 2021. Implementation of the drones with deep-learning crack detection analysis for inspection of bridge. Journal of Korean Institute of Information Technology, 19(3), 45-52. https://doi.org/10.14801/jkiit.2021.19.3.45
  15. Zhanabatyrova, A., Souza Leite, C. F., and Xiao, Y., 2023. Automatic map update using dashcam videos. arXiv preprint arXiv:2109.12131. https://doi.org/10.48550/arXiv.2109.12131