Application of Decision Tree Algorithm for Automating Public Survey Performance Review

공공측량 성과심사 자동화를 위한 결정트리 알고리즘의 적용

Abstract

The current public survey performance review extracts samples according to the set screening ratio, and examines the extracted samples to determine the suitability or inadequacy of the survey performance. The examiner directly judges the survey performance submitted by the performer, and extracts it in consideration of various field conditions and topography for each subject. However, it is necessary to secure fairness in the examination as it is extracted with different extraction methods for each subject and the judgment of the examiner. Accordingly, in order to automate sampling for public survey performance review, the detailed sampling criteria of the reviewer were investigated to prepare a volume calculation table, and the automation of sampling using Python was studied. In addition, by reviewing items that can and cannot be automated, the application of the automated decision tree algorithm of sampling was reviewed.

1. 서론

1960년대 공포된 ｢측량법｣에 근거하여 공공측량 제도가 시작되었다. 공공측량 제도의 목적은 작업 방법을 통일시키고 국민안전과 관련한 정확도 확보를 목적으로 도입되었다. 공공측량 성과심사란 관계법령에 따른 사업 등을 시행하기 위하여 실시하는 공공 측량 등을 대상으로 공공의 안전과 품질을 확보하고, 측량 기준, 작업 방법 통일 및 공공측량의 신뢰성을 확보하는데 목적이 있다. 공공측량 시행자가 제출한 공공측량 성과에 대하여 ‘측량성과 심사수탁기관의 심사업무 및 지정절차 등에 관한 규정’ 에 따라 측량 결과의 정확성 등에 대한 성과심사를 받아야 한다. 현재 공공측량 성과의 체계적인 관리를 위해 작업규정의 개선이 이루어지고 있고, 공공측량의 제도개선을 위해 수준측량, 지하시설물 측량, 노선측량을 다루고 있으며 스마트건설에 대비한 LiDAR(Light Detection And Ranging) 측량의 발전방안에 대해 연구가 이루어지고 있다[1]. 공공측량 성과심사에 관한 주요 연구를 살펴보면, Lee외 4명은 공공측량 작업규정 관련 법령 및 제도 체계를 분석을 수행하였다. ‘도로법‘, ‘하천법’등 공공측량 대상 법령을 조사하고 지형측량, 주제도, 지하시설물 측량 등을 규정한 법령 및 행정규칙간 관계를 트리구조로 분석하여 건축, 도시계획, 하천, 환경, 농림에 관한 공공측량과의 관계 법령, 측량 목적, 측량 종류, 성과품 종류를 도출하였으며, 추후 다양한 공공측량 작업현장 여건 변화와 운영현황 등을 분석하였다[2]. 현행 공공측량 성과심사를 살펴보면 수행자가 제출한 공공측량 성과에 대해 심사비율에 따라 표본을 추출하고, 추출된 표본의 성과에 대한 적합여부를 판단하고 있다. 공공 측량 성과심사는 표본추출 비율에 맞춰 성과의 전체적인 경향을 나타내기 위해 무작위 추출로 명시되어 있다. 하지만 현재 공공측량 성과심사는 규정에 의거하여 각 성과항목의 표본을 심사자의 판단으로 추출하고 있다. 공공측량 시행자가 제출한 성과에 대해 심사자의 전문성에 의존하여 표본을 추출하고 있으며, 공공측량 심사자는 공공측량 작업규정 및 심사 대상별 현황에 전문적인 지식이 필요하다.

지하시설물 측량 성과심사의 개선을 위한 품질관리 방안 및 성과심사 방법개선에 관한 연구가 이루어졌고, 다양한 지하시설물 데이터 모델에 관한 연구가 이루어졌다. Kwon은 지하시설물 측량 관련 규정 정비를 위해 ‘공공측량 작업규정’ 제정 이후 최근까지 개정현황을 조사하였고, 작업계획서 분석 및 측량분야 신기술을 활성하 하고자 하였다. 또한 수행자 설문조사 및 심층인터뷰를 통해 지하시설물 측량 부분을 개정하였다[3]. Jung외 3명은 공공측량 성과심사 중 가장 심사 빈도가 높은 지하시설물 측량의 비중을 확인하고, 공공측량 심사자 및 수행자를 대상으로 설문조사를 수행하여 현장 의견을 종합한 실측 대상의 세분화와 품셈 개선안을 제시하였다[4]. 기존 연구에서는 공공측량 성과심사의 제도개선 및 품질 개선에 대한 연구 등이 이루어졌으나, 성과심사 표본추출에 관한 연구는 부족하다. 국가 공간 정보의 기본이 되는 공공측량 성과심사에 대한 세부적인 표본추출 기준 마련이 필요한 시점이고, 공공측량 성과심사 표본추출의 공정성 확보를 위한 자동화 방안이 마련되어야 한다. 따라서 본 연구는 성과심사 표본추출의 공정성 및 통일성 확보를 위해 표본추출의 자동화 방안을 연구하였으며, 머신러닝 알고리즘 중 하나인 의사결정트리를 활용하여 자동화 표본추출 분류 모델을 구축하였다.

2. 연구방법

2.1 공공측량 성과심사 표본추출 현황

현행 표본추출은 심사 비율에 따라 제출된 성과 전체의 경향을 나타낼 수 있게 심사자의 주관적 판단으로 표본을 추출한다, ‘측량성과 심사수탁 기관의 심사업무 및 지정절차 등에 관한 규정’의 심사방법에 의거하여 표본을 추출하며, 다양한 현장의 여건과 심사의 안전성 등을 고려하여 심사자가 직접 판단으로 표본을 추출한다.

Table 1은 공간정보품질관리원에서 수행하고 있는 표본추출 비율로 20%에서 50%까지 분포되어 있고 측량 시행자는 CAD파일로 성과심사 데이터를 제출한다[5]. 공공삼각점 성과심사의 경우 성과심사 데이터 전체를 검수하며, 측량 시행자가 제출한 측량 원시데이터를 표본추출 대상으로 한다. 제출된 성과와 검측 성과를 비교 후 총 측점의 50%를 표본추출 하며, 심사 결과를 통지한다. 항공사진과 관련된 심사의 경우 1차적으로 심사자가 표본을 추출하는데, 비교적 심사지역이 넓고 도엽의 면적과 하천 등 지형지물을 파악하여야 하기에 심사자의 전문성이 필요하다. 성과심사에 부적합한 산악 및 구조물이 없는 지역은 심사자의 판단으로 제외한 면적의 20%를 표본으로 추출한다. 이처럼 현장의 여건 및 작업 방법 등을 고려해야 하는 공공측량은 무작위 추출로 표본을 추출하기에는 어려움이 있다. 따라서본 연구에서는 공간정보품질관리원 내부 통계자료 분석을 통해 공공측량 성과심사 중 가장 많이 이루어지는 지하시설물 측량 성과심사를 대상으로 표본추출의 기준을 분석하고 결정트리 알고리즘을 적용한 자동화 분류 모델의 성능을 평가한다. Fig. 1은 공공측량 성과심사 현황 중 측량 종류별 접수현황이다.

Table 1. Performance Review Sampling Ratio

Fig. 1 Percentage Graph of Public Survey Types

2.2 성과심사 심사자 면담

본 연구에서는 공공측량 성과심사의 표본추출 개선방안을 분석하고, 심사자 면담을 통한 표본추출의 세부기준을 분석하여 성과심사 표본추출의 자동화 분류 모델 성능을 검증하고자 하였다. 심사자 면담은 자동화를 위한 세부적인 표본추출 기준들을 확인하고 심사대상별 구분을 위해서 방문 면담 형식으로 실시하였다. 심사자 면담에서 공공 기준점 및 지하시설물 등 성과심사의 표본추출이 대부분 판단추출로 이루어지고 있음을 확인하였다. 표본추출의 자동화 분류 모델 성능 검증을 위한 자동화 오류 및 성과결과에 대한 표본조사가 필요하였으며, 표본을 가지기 위해서는 충분한 모집단 확보가 필요하였다. 따라서 심사자가 개입하지 않는 성과심사 방안을 구축하기 위해서는 충분한 모집단인 성과심사자료 확보가 선행되어야 하고, 성과심사 결과에 따른 정확도 분석에 대한 검토가 이루어져야 할 것으로 보인다.

2.3 지하시설물 측량

지하시설물 측량은 지하공간을 안전하게 개발하고, 체계적으로 관리하기 위하여 도로와 지표면 아래 매설된 시설물 및 구조물을 대상으로 조사/탐사/측량을 실시하고 도면 및 수치로 표현하여 데이터베이스로 구축하는 작업이다. 지하 관수로, 지하시설물 등 지표면 아래에 매설한 시설물 및 구조물의 위치 확인을 위한 측량으로서 지하매설 물측량 이라고도 한다.

Table 2는 지하시설물 측량의 세부적인 표본추출 기준을 분석한 것이다. 지하시설물 측량은 총 연장의 길이를 포함한 Cad 데이터, 측량성과표, 정위치 편집을 포함한 데이터 속성정보를 포함하는 실내심사와 실제 측량데이터의 비교를 위한 현장심사로 이루어지고 있다. 실내 심사의 경우 다양한 현장 여건과 작업 방법 등을 고려해야 하기 때문에 심사자의 판단을 배제하기 어렵다. 지하시설물 성과심사 시 제출된 지역의 연장과 시설물이 부족한 도엽은 심사자의 판단으로 제외한다. 총 연장이 1km 이하인 경우 전수검사를 실시하며, 5km 단위로 성과비율 20%를 심사지역으로 선정한다. 심사지역의 범위가 넓을 경우 전체적인 경향을 나타내기 위하여 지역별로 비례하여 도엽을 선정하여야 하며, 실측 및 탐사/조사가 병행되었을 경우 각 작업 방법에 비례하여 도엽 및 심사물량을 선정해야 한다. 또한 수행기관이 다양할 경우 각 기관이 포함될 수 있게 균등하게 추출하여야 한다. 특히 현장심사의 경우 심사 지역의 거리가 인접해야 하며, 교통안전을 고려한 최적의 장소 선정을 위해 심사자의 전문적인 판단이 필요하다.

Table 2. Examiner’s detailed criteria

2.4 의사결정트리 알고리즘

성과심사 표본추출은 공정성 확보를 위한 무작위 추출(Random Collection)과 성과심사의 효율성을 높일 수 있는 심사자의 판단추출 모두 고려되어야 한다. 그러나, 무작위 추출과 심사자의 전문성을 반영한 판단추출은 서로 상반되는 개념의 추출법이다. 따라서 머신러닝을 이용해 심사자의 전문성을 표본추출에 반영한다면 심사자가 직접 개입하지 않기 때문에 공정성을 확보한 전문적인 표본추출 방법이 될 수 있다. 결정트리는 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종이다. 결정트리는 한 번에 하나씩의 설명변수를 사용하여 데이터 사이에 존재하는 특성과 패턴을 예측 가능한 규칙의 조합으로 나타낸다. 의사결정 규칙을 트리 구조로 나타내어 불순도가 낮아지는 방향으로 대상을 좁혀 나가는 분류 방법이다. 이는 변수에 따른 분리 기준을 통해 불순도를 감소시키는 정도를 계산하여 분류 및 예측 작업에 효과적인 중요한 변수를 확인할 수 있어 유용하다. 목표변수(Y)를 예측 및 분류 문제를 해결하기 위해 어떤 설명변수가 가장 중요한 영향인자인지 확인할 수 있고, 나아가 각 변수별로 어떤 척도에 따라 분류했는지 상세한 기준을 알 수 있다[6-7]. Fig. 2은 의사결정트리를 나타낸 것이다.

Fig. 2 Decision Tree Algorithm

3. 실험 및 분석

공공측량 성과심사 중 가장 많은 심사가 이루어지는 지하시설물 측량을 대상으로 의사결정 트리를 활용하여 표본추출을 실시한다. 의사결정트리 알고리즘이 훈련 데이터를 학습하고 모델을 구축하고 모델의 성능을 평가한다. 훈련과정을 통해 만들어진 머신러닝 모델은 전문가들이 판단추출로 도엽을 추출하는 것과 같은 결과를 나타내기를 기대한다. 이를 통해 심사자의 전문성을 표본추출에 반영할 수 있다면 사람이 직접 개입하지 않기 때문에 공정성을 의심받지 않으면서 신뢰성 높은 표본추출의 자동화가 가능하다고 할 수 있다.

3.1 데이터 SET

본 연구에서 표본추출 모델을 개발하기 위해 지하시설물 측량 데이터를 사용하였다. 공공측량 성과심사에서 가장 많이 심사가 이루어지는 분야로, 다양한 데이터를 확보할 수 있다는 장점이 있다.

Fig. 3는 본 연구의 훈련 모델로 서울특별시의 한 지역을 선정하였다. 심사와의 면담을 통해 다양한 현장 상황과 대표성을 가진 지역을 선정하였으며, 넓은 지역과 현장의 특수성이 반영된 신뢰도 있는 자료로서 훈련 데이터로 활용하기에 적합하다고 판단된다. Fig. 4는 거제시의 한 지역으로 마을 전체의 오수관로 정비 및 오수처리장 신축 현장으로 신규 실측이 이루어진 지역이다. 비교적 최근에 심사한 성과심사 지역이고 각 구역마다 오수관로 시공이 이루어진 현장으로서 테스트 데이터로 적합하여 활용하였다.

Fig. 3 Seoul GIS DB INDEX

Fig. 4 Geoje GIS DB INDEX

3.2 특성추출

성과심사 시 제출되는 지하시설물 측량 성과의 속성정보 추출을 위해 Cad Lisp을 활용하였다. 각 도엽의 연장을 계산하는 작업을 통해 도면의 속성 정보를 수치화하고 필요한 속성정보를 추출하였다. 속성정보를 추출한 훈련 데이터 및 테스트 데이터는 총 연장, 시설물, 연결 도엽수, 현장의 신규실측, 신규탐사 등 현장의 작업 방법으로 구성되어 있다. 이 중 총연장, 시설물 수, 연결 도엽수를 모델 개발에 사용하기로 하였다. 총 연장은 전체 연장의 20%를 추출하기 위해 신규실측, 신규탐사, 신규불탐, 기존정탐, 기존불탐의 연장을 합산한 값이다. 또한 표본추출이 지엽적으로 이루어지지 않기 위해 연결 도엽수를 설정하여 구분하였다. 실제 성과심사 시 심사의 효율을 위해 대표성있는 도엽의 인근 도엽을 심사하며 심사를 위한 현장의 이동거리와 시간, 비용을 절감할 수 있다. Fig. 5는 훈련 데이터로 활용하기 위한 서울특별시 현장의 실제 심사가 이루어진 지역을 표시한 도면의 일부이다. 다양한 시설물을 확인할 수 있고 연장이 충분한 도엽을 표본추출 하였다. Table 3은 서울특별시의 도면 속성정보를 추출한 훈련 데이터의 일부로 각 구역의 연장과 신규실측, 신규탐사, 신규불탐, 기존정탐, 기존불탐으로 구성되어 있다. 이는 다양한 측량작업 방법을 포함하고 심사의 효율을 위한 연결 도엽수와 시설물로 구성하였다. 심사자가 추출한 도엽의 구분하기 위해 추출여부에 숫자1을 부여하여 구분하였다.

Fig. 5 Judgment Extraction

Table 3. Trainng Data

Table 4는 거제시 오수관로 현장의 도면 속성 정보를 추출한 훈련 데이터의 일부로 각 도엽의 연장 및 시설물을 포함한 테스트 데이터이다. 훈련 데이터와 같이 총 연장 및 작업 방법으로 구성되어 있으며, 실제 심사가 이루어진 도엽은 추출 여부로 구분하였다.

Table 4. Test Data

3.3 데이터 전처리

Fig. 6는 자동화 분류 모델의 데이터 전처리를 위한 과정이다.

Fig. 6 Automated Classification Model Flow Chart

분류모델의 성능평가를 위해 지하시설물도의 속성정보를 추출하여 표본추출 대상을 선정한다. 결측치와 이상치를 처리하고 학습에 사용할 데이터들의 특성 값을 일정한 수준으로 맞추어 모두 같은 크기로 반영되도록 정규화를 실시한다. 또한 훈련 데이터를 활용하여 심사자의 판단과정을 학습하고, 학습된 모델을 테스트 데이터에 적용한다. 훈련 데이터에 적용된 결과를 오차 행렬(Confusion matrix)을 통해 심사자의 판단과 유사도를 비교한다. 본 논문에서는 정규화를 위해 수식 (1)에 따라 데이터에 대해 Min-Max변환을 수행하였다.

\(\begin{align}x^{\prime}=\frac{x-\min }{\max -\min }\end{align}\)       (1)

3.4 성능평가

표본추출의 결과를 측정하기 위해 오차 행렬에 기반한 메트릭을 사용하여 표본추출의 결과를 측정한다. Fig. 7은 오차 행렬로 훈련을 통한 예측(Prediction) 성능 측정을 위해 Value와 실제 Value를 비교하기 위한 표이다. Actual Values는 실제값, Predictive Values는 예측값을 의미하고, T는 True, F는 False, P는 Positive, N은 Negative를 의미한다.

Fig. 7 Confusion matrix

즉, TP와 TN은 실제값과 맞게 예측한 부분이며, FP와 FN은 실제값과 다르게 예측한 부분을 의미한다. 실험 성능 평가는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score을 측정한다. 성능 측정의 방법은 수식은 (2),(3),(4),(5)와 같다.

\(\begin{align}Accuracy=\frac{T P+T N}{T P+T N+F P+F N}\end{align}\)       (2)

\(\begin{align}Precision=\frac{T P}{T P+F P}\end{align}\)       (3)

\(\begin{align}Recall=\frac{T P}{T P+F N}\end{align}\)       (4)

\(\begin{align}F1-Score= 2 {\times} \frac{ Precision \times Recall}{Precision + Recall}\end{align}\)       (5)

본 연구 대상인 지하시설물의 공공측량 성과심사 표본추출에서 가장 중요하다고 판단되는 평가 지표는 Precision이다. 자동화 분류 모델이 추출할 것으로 예측한 도엽과 실제 심사자가 추출한 도엽이 일치할 확률이기 때문이다.

3.5 표본추출 결과

본 연구의 대상인 지하시설물의 공공측량 성과 심사에서 가장 중요하다고 판단되는 데이터는 정밀도(Precision)이다. 정밀도는 자동화 분류 모델이 추출한 표본이 예측한 값(Positive)이 실제 심사자의 판단추출 값(Positive)과 일치할 확률이다. 자동화 분류 모델이 예측하여 추출한 표본이 실제 심사자의 표본추출과 일치하는 비율을 나타낸다. Table 5는 자동화 분류 모델에 Fig. 4의 거제시 지하시설물도를 테스트 데이터로 수치화하여 훈련 데이터에 적용시킨 결과이다.

Table 5. Test Data Model Results

본 연구에서 결정 트리를 활용하여 구축한 표본 추출 모델은 심사자의 판단 및 전문성을 학습하여 유사도가 높은 결과를 보여주었다. Accuracy는 0.96, Precision는 0.90, Recall이 1.00, F1-Score은 0.95이다. Precision의 값이 다른 평가 지표들에 비해 낮게 나타나기는 하였으나 평가 지표 모두 대체로 높아 분류 모델의 성능이 좋은 것으로 판단된다. 분류 모델이 추출한 표본을 분석해보면 테스트 데이터의 시설물이 있는 지역과 없는 지역이 명확히 구분되었고 도엽이 충분할수록 분류 모델의 결과가 심사자의 판단과 유사하게 표본추출을 한다고 유추할 수 있다.

그러나 재현율이 1.00으로 나온 것으로 보아 분류 모델이 학습한 훈련 데이터의 총연장, 연결 도엽, 시설물 등 유의미한 숫자가 나오는 지역을 추출하여 실제 심사자의 판단추출 도엽을 포함한 더 많은 도엽을 표본을 추출한것으로 확인되었다(Table 6). 충분한 훈련 데이터를 확보하고 일반화 성능을 통한 검증이 이루어진다면 효율적이고 신속한 표본추출이 가능할 것으로 판단된다.

Table 6. Sample Comparative Analysis

4. 결론 및 시사점

본 연구에서는 공공측량 성과심사의 세부적인 표본추출 기준을 심사자 면담을 통해 확인하고, 다양한 현장의 여건에 맞는 알고리즘을 적용하여 성과심사 표본추출의 자동화를 연구하였다. 현행 성과심사 표본추출은 무작위 추출로 규정에 명시되어 있으나, 실제 심사에서는 심사자의 전문성에 의존한 판단추출로 심사자가 이루어지고 있었다. 이에 따른 공공측량 성과심사의 공정성 확보를 위한 개선방안이 요구되었다. 공간정보품질관리원에서 심사접수의 가장 높은 빈도를 가지는 지하시설물 측량을 우선적으로 자동화 하였으며, 성과심사 표본추출 과정에서 필요한 자동화 알고리즘 방안을 제시하였고, 표본추출 자동화를 위한 요구사항 등을 제시하여 성과심사 과정의 자동화 시스템에 대한 방향과 추후 성과심사 표본추출의 연구방향을 제시하였다. 공간정보품질관리원의 심사자 판단추출로 검증된 다양한 데이터를 확보해야하고, 많은 데이터의 머신러닝을 통해 표본추출 자동화 응용을 통한 성과심사 기반이 마련된다면 성과심사의 자료처리 프로세스가 현재보다 체계적이고 공정하게 이루어질 것으로 기대된다.