Implementation of 3D Road Surface Monitoring System for Vehicle based on Line Laser

선레이저 기반 이동체용 3차원 노면 모니터링 시스템 구현

Abstract

Road surface measurement is an essential process for quantifying the degree and displacement of roughness in road surface management. For safer road surface management and quick maintenance, it is important to accurately measure the road surface while mounted on a vehicle. In this paper, we propose a sophisticated road surface measurement system that can be measured on a moving vehicle. The proposed road surface measurement system supports more accurate measurement of the road surface by using a high-performance line laser sensor. It is also possible to measure the transverse and longitudinal profile by matching the position information acquired from the RTK, and the velocity adaptive update algorithm allows a manager to monitor in a real-time manner. In order to evaluate the proposed system, the Gocator laser sensor, MRP module, and NVIDIA Xavier processor were mounted on a test mobile and tested on the road surface. Our evaluation results demonstrate that our system measures accurate profile base on the MSE. Our proposed system can be used not only for evaluating the condition of roads but also for evaluating the impact of adjacent excavation.

노면측정은 노면 관리에서 노면의 평탄화된 정도 및 변위를 정량화하는 필수적인 과정이다. 보다 안전한 노면 관리 및 신속한 유지보수를 위해 이동체에서의 정밀한 노면 측정은 매우 중요하다. 본 논문에서는 이동체에서 측정가능한 정밀 노면측정 시스템을 제안한다. 제안 노면측정 시스템은 고성능의 선레이저 센서를 사용하여 노면 표면의 정밀한 측정을 지원한다. 또한 RTK로 부터 획득한 위치 데이터를 정합하여 종/횡방향 프로파일 측정이 가능하고 속도기반 적응적인 갱신 알고리즘을 통해 실시간적인 모니터링이 가능하다. 제안 시스템을 평가하기 위하여 Gocator 선레이저 센서, MRP 모듈, 및 NVIDIA Xavier 프로세서를 시험용 이동체에 탑재하여 노면에서 시험하였다. 시험 결과 MSE(mean square error) 기준 정확한 프로파일 측정이 가능함을 보인다. 제안 시스템은 도로의 상태 평가뿐 만 아니라 인접 지반의 영향도 평가에 활용될 수 있다.

Ⅰ. 서론

노면 상태 평가는 도로 유지를 위한 중요한 기능 중 하나이며 운전자뿐 아니라 도로 위 시민들의 보호와 안전을 위해서도 필수적이다.. 노면 모니터링 시스템을 통해 노면 정보를 받아 품질을 평가하며 노면의 파임, 균열, 튀어나온 부분 등 노면의 이상을 감지할 수 있다.[1] 노면 측정 시 노면의 평탄화된 정도 및 변위를 정량화하여 보다 안전하게 노면을 관리하고 신속하게 유지보수를 할 수 있어야 한다.

본 논문에서는 이동체에서 정밀한 노면측정 시스템을 제안하고 선레이저 기반 3차원 노면의 모니터링 방법을 설명한다. 고정밀 선레이저를 통해 바닥에 투영된 레이저로부터 노면의 깊이 정보를 측정할 수 있다. 또한, RTK 로부터 위치 데이터를 획득하고 노면 데이터와 정합하여 지정된 곳의 노면의 상태를 파악할 수 있다. 위치 데이터는 종/횡방향 변위 측정이 가능하며 속도에 따라 적응적인 갱신 알고리즘을 통해 실시간적인 모니터링이 가능하다.

제안 시스템을 평가하기 위해 Gocator 선레이저 센서, RTK 기반 MRP 모듈, 및 NVIDIA Xavier 프로세서를 이용한다. 이동체에 해당 센서들을 탑재하고 Gocator 선레이저 센서에서 측정한 노면 데이터와 MRP 모듈에서 측정한 위치 데이터를 Xavier 프로세서 에서 정합하여 모니터링을 제공한다. 제안 시스템은 측정 하는 센서 패키지를 사이트로 지정하고 사용자가 확인할 수 있는 모니터링 소프트웨어를 클라이언트로 구분한다. 클라이언트에서는 노면 데이터 및 위치 데이터를 정합하여 2D 이미지를 실시간으로 보여주거나 정합 데이터를 저장하여 3D 이미지로 확인할 수 있다. 제안 시스템을 시험용 이동체에 탑재하여 실험하여 평가한 결과 MSE(Mean Square Error) 기준 정확한 프로파일을 제공하고 노면의 실시간적인 측정이 가능함을 보인다.

본 논문의 구성은 다음과 같다. 2장에서는 노면 모니트링 관련 연구를 소개하고 3장에서 선레이저 기반이 동 체용 3차원 노면 모니터링 시스템을 제안한다. 4장에서는 제안 시스템을 이용한 실험 및 결과를 확인하고 5장에서 결론을 맺는다.

Ⅱ. 관련연구

대부분의 노면 모니터링 연구는 LiDAR(Light Detection And Ranging)[2,3], GPR(Ground Penetrating Radar)[4], 진동 및 가속도 센서[5-8]와 같이 다양한 유형의 센서를 이용하거나 영상 처리[9-13]방식, 레이저 스캔[14-15] 방식을 이용한 노면 측정 방법에 집중되어 있다.

LiDAR 기반 연구[2]에서는 자율주행 차량 내비게이션 서비스를 위해 LiDAR를 이용한 도로의 경계 및 장애물 감지기법을 제안하였다. 포장도로와 비포장도로 모두에서 사용되며 극좌표의 센서 원시데이터로부터 선분을 추출하고 기준에 따라 도로 경계 및 장애물 성분으로 분류하여 모니터링이 가능하다. 또 다른 LiDAR 연구[3]에서는 자연재해가 발생하였을 때 땅 밀림과 같이 위험도가 높은 지형의 발생 지점을 탐지하는 기법으로 LiDAR를 이용하였다. 항공 LiDAR를 이용하여 땅밀림 발생 지역의 지형적인 변화와 발생 규모를 분석하여 균열 등의 노면 변화 모니터링을 제공한다. 하지만 LiDAR 센서를 사용한 연구들에 경우 도로의 경계나 장애물 확인에 국한되거나, 또는 미리 연구된 수치지형자료와 함께 이용하여야 한다.

도로 균열측정 연구[4]에서는 포장도로에서 발생하는 균열을 확인하기 위해 GPR 측정기법을 제안한다. 전자기파의 전파와 반사의 성질을 이용하여 포장도로의 균열 및 장애물과의 거리를 측정한다. 하지만 GPR 방식은 주파수에 따라 투과 깊이나 물체감지 능력이 달라지기 때문에 충분한 분석이 필요하다.

진동 센서 기반 도로 포장 상태 측정 연구[5,6]에서는 센서를 이용하여 차량이 도로의 균열이나 노면의 바퀴 자국 등을 지나갈 때 발생하는 충격과 흔들림을 측정한다. 포장도로의 상태를 저장하고 분석하여 노면 상태를 확인할 수 있다. 또한, 가속도 센서 기반 노면 상태 측정 연구[7,8]에서는 스마트폰에 내장되어있는 가속도 센서를 이용하여 노면의 이상을 감지하는 방법을 제안한다. 차량이 노면의 포트홀을 지나갈 때 스마트폰의 가속도 센서에서 감지한 데이터를 분석하여 사용자에게 노면 상태를 제공한다. 하지만 이러한 충격이나 흔들림으로는 도로의 균열, 바퀴 자국, 포트홀 등을 구분하기 어렵고 작은 균열 등은 센서의 더 정밀한 성능을 요구한다.

그 외에 다양한 센서와 영상 처리 기반 연구[9-13]에서 는 영상을 이용하여 도로의 지표를 확인하거나 노면의 이상을 확인하는 시스템을 제안한다. 고해상도의 위성으로부터 전처리 과정 후 도로 영역을 식별하거나[9] 차량의 블랙박스를 이용하여 노면 영상을 수집하고 도로의 지표 영역을 검출할 수 있으며[10], 노면에서 포트홀의 특징점을 분석하여 영상 처리를 통해 포트홀의 위치를 탐지할 수 있다[11-13]. 하지만 영상 처리에 상당한 연산이 요구되며 날씨의 영향을 많이 받는 한계점이 있다.

도로 추출 및 분류 연구[14]에서는 레이저 스캐닝을 이용하여 도로의 연석과 경계 감지 기법을 제안하였다. 분류를 통해 도로 경계부분과 도로 표면을 추출하고 포인트 클라우드를 사용하여 도로를 표시한다. 도로 모니터링 관련 연구[15]에서는 시각을 보호할 수 있는 도로 모니터링을 제공하기 위해 레이저 삼각 측량을 사용한 기법을 제안한다. 저가의 카메라와 선레이저를 이용하여 노면을 비춘선까지의 거리를 측정하여 도로 상태를 확인할 수 있다. 하지만 기존 선레이저 방식은 단순히 도로의 지표만 확인하거나, 또는 노면 상태 모니터링이 가능하더라도 실시간으로 제공하기 어렵다.

Ⅲ. 3차원 노면 모니터링 시스템

1. 시스템 구조

노면 모니터링 시스템은 그림 1과 같이 사이트와 클라이언트로 구분하며 센서 패키지 탑재된 이동체를 사이트로 지정하여 Gocator 선레이저 센서와 MRP 모듈을 관리하고 각 센서의 데이터를 종합하여 송신한다. 사이트는 이더넷을 통해 Gocator 선레이저 센서로부터 전달받은 노면의 2차원 스캔 데이터와 시리얼을 통해 MRP 모듈로부터 전달받은 위치 데이터를 정합하고 미리 연결된 소켓을 통해 클라이언트에게 전달한다.

그림 1. 노면 모니터링 시스템 구조

Fig. 1. Structure of road surface monitoring system

클라이언트는 시각화 소프트웨어로 센서 패키지에서 수신받은 데이터 또는 저장된 데이터를 시각화하여 사용자에게 제공한다. 사이트를 통해 받은 노면 데이터, 혹은 저장된 노면 데이터를 데이터 포맷 매니저를 통해 시각화하기 위한 형태로 전환하고 시각화 모듈의 캔버스로 전달하여 시각화한다. 사이트로부터 전달받은 위치 데이터는 직전에 전달받은 위치 데이터와 비교하여 속도, 이동 거리를 계산하여 사용자 인터페이스에 위도, 경도와 함께 업데이트한다.

2. 노면 모니터링 과정

시각화된 노면의 가시성과 데이터 처리량을 감소하기 위해 이동체의 속도에 따른 적응적 갱신 알고리즘을 지원한다. 적응적 갱신 알고리즘은 사이트로부터 받아온 위치 데이터를 사용해 한 라인씩 전달되는 노면 스캔 데이터들의 간격을 속도에 따라 다르게 시각화한다.

적응적 갱신 알고리즘에서 그림 2와 같이 시각화에 적용된다. 사이트와 클라이언트의 연결이 성공하면 사이트에서는 클라이언트에게 노면 데이터와 위치 데이터를 전송하고 클라이언트에서는 데이터들의 시각화가 시작된다. 노면 데이터는 라인 단위로 수신하게 되며 i번째 위치 데이터 p_i을 받을 때까지의 노면 데이터 라인의 수는 m으로 표현한다. 이때 i번째 위치 데이터 p와 그 이전의 위치 데이터 p_i-1 사이의 길이는 하버사인 공식[16]에 의해 다음과 같이 D로 표현한다.

\(\begin{array}{l} D\left(\rho_{i-1}, \rho_{i}\right)=2^{*} r^{*} \arcsin \left(\sqrt{\operatorname{hav}\left(\rho_{i)}\right.}\right) \\ \rho_{i}=\left(\phi_{i}, \lambda_{i}\right) \end{array}\)       (1)

p_i와 p_i-1 에 존재하는 라인 단위의 노면 데이터 길이는 d로 표현하며 갱신 기준 u_mean와 D의 관계에 따라 d_m은 다음과 같이 변화할 수 있다.

\(d_{m}=\left\{\begin{array}{ll} \frac{D}{u_{\text {mean }}} & D \geq u_{\text {mean }} \\ \frac{u_{\text {mean }}}{D} & D<u_{\text {mean }} \end{array}\right.\)       (2)

p_i와 p_i-1 의 길이 D가 u_mean보다 큰 경우는 속도가 빠른 상태이며 d_m은 D/u_maen의 길이로 시각화를 진행하고 반대의 경우에는 u_mean/D의 길이로 시각화를 진행 한다.

클라이언트에서는 최종적으로 V_n 의 길이 만큼의 데이터를 시각화하여 보여주고 이때 시각화된 노면 데이터의 총 라인 수는 n^*d_m으로 표현할 수 있다.

\(V_{n}=\sum_{i=1}^{n}\left(D\left(\rho_{i-1}, \rho_{i}\right)\right)\)       (3)

3. 시스템 구현

사이트는 그림 3과 같이 Gocator 선레이저 센서, MRP 모듈과 해당 장치들을 통합하여 관리하고 클라이언트와 통신하기 위한 NVIDIA Xavier 프로세서로 구성되어 있으며 상세사양은 표 1과 같다.

 

그림 3. 센서패키지 구성요소

Fig. 3. Component of sensor package

표 1. 센서패키지 사양

Table 1. Specification of sensor packag

Gocator 선레이저 센서의 측정범위는 650mm에서 1350mm이며, 이더넷 통신을 통해 데이터를 전송할 수 있다. MRP 모듈은 초당 최대 8Hz의 속도로 RTK 기반위도 및 경도를 수신하며 사이트로 시리얼 통신을 통해 위도와 경도를 전송해준다. 마지막으로 프로세서는 8코어 CPU를 가지고 있는 NVIDIA의 Jetson Xavier 보드를 사용했다.

클라이언트 소프트웨어는 Windows OS에서 Python 3.6을 이용하였으며 PyQt5 라이브러리로 GUI를 구현하고 이더넷을 통해 사이트와 통신한다. 클라이언트는 특성에 따라 실시간으로 노면 스캔 데이터와 위치 데이터를 사용자에게 제공하는 라이브 모드와 저장된 노면 데이터를 불러와 3D로 시각화해주는 3D 뷰어 모드로 구성되어 있다. 라이브 모드는 그림 4와 같이 사이트로부터 전달받은 노면 스캔 데이터를 별도의 데이터 중첩 없이 2차원의 그래프로 그려 보여주며 뷰어 모드는 그림 5와 같이 노면 데이터의 모든 점 데이터를 이어 하나의 면으로 시 각화해준다.

그림 4. 2D 라이브 모드

Fig. 4. 2D live mode

그림 5. 3D 뷰어 모드

Fig. 5. 3D view mode​​​​​​​

Ⅳ. 성능 평가

1. 실험 환경

적응적 업데이트 알고리즘에 대해 실험하기 위하여 정확한 크기의 물체를 준비하여 이동 속도에 따라 저속, 중속, 고속으로 구분하여 10번씩 반복 실험하였다. 저속은 약 29.2mm/s, 중속은 약 41.8mm/s이며 고속은 약 63.9mm/s의 속력이다. 측정부분의 길이에 따라 그림 6 과 같이 A, B, C, D로 타겟을 구분하였고 적응적 업데이트 알고리즘을 적용하였다. 진행 방향에 따라 타겟 A, B 는 종방향 측정, C는 횡방향 측정, D는 깊이 측정으로 지정하였으며 각 타겟에 대하여 실제 길이와 알고리즘을 적용한 실험 데이터를 비교하여 정확도를 측정하였다.

그림 6. 실험 타겟

Fig. 6. Measurement target​​​​​​​

2. 실험 결과

각 실험 결과는 정답과 추정값의 에러를 구하는 MSE(Mean Squared Error)를 통해 정확도를 측정하였다. 그림 7은 저속으로 이동하였을 때의 MSE 결과를 보여준다. 물체를 이동하며 측정한 결과 타겟 A, B, C, D 모두 1mm 내외의 오차가 발생하였지만 다른 타겟들에 비해 측정 길이가 8mm로 짧은 타겟 B의 경우에는 1mm의 오차도 크게 발생하였다. 그림 8은 속도에 따른 타겟 A부터 D까지의 MSE 비교 결과를 보여준다. 저, 중, 고속에 따라 물체를 측정한 결과 이동 속도의 영향을 받지 않는 횡방향 측정인 타겟 C와 깊이 측정인 타겟 D의 오차가 속도와 상관없이 가장 적은 것을 볼 수 있다.

그림 7. 저속에서 MSE 실험 결과

Fig. 7. MSE result at low speed​​​​​​​

그림 8. 속도에 따른 MSE 비교

Fig. 8. MSE comparison according to speed​​​​​​​

Ⅴ. 결론

본 논문에서는 이동체에서 측정 가능한 3차원 노면 모니터링 시스템을 제안하였다. 고성능의 선레이저 기반 Gocator 센서를 이용하여 노면 표면의 정밀한 측정을 지원한다. RTK 기반의 MRP 모듈을 이용하여 종/횡 방 향 변위를 측정할 수 있고 노면 및 위치 데이터를 정합하여 실시간적인 모니터링을 제공한다. 제안 시스템은 야외에서 실험을 진행하였으며 실험 타겟의 측정 방향에 따라 종/횡방향, 깊이를 측정하였다. MSE 기준으로 종방향에 경우 속도의 영향을 많이 받았으며 횡방향 측정과 깊이 측정에 경우 속도와 상관없이 적은 오차를 보였다. 제안 시스템은 도로의 상태 평가 모니터링을 제공하며 인접 지반의 영향에 대한 평가에 활용되어 지반함몰 연구에 기여할 수 있다.