Development of Left Turn Response System Based on LiDAR for Traffic Signal Control

Abstract

In this paper, we use a LiDAR sensor and an image camera to detect a left-turning waiting vehicle in two ways, unlike the existing image-type or loop-type left-turn detection system, and a left-turn traffic signal corresponding to the waiting length of the left-turning lane. A system that can efficiently assign a system is introduced. For the LiDAR signal transmitted and received by the LiDAR sensor, the left-turn waiting vehicle is detected in real time, and the image by the video camera is analyzed in real time or at regular intervals, thereby reducing unnecessary computational processing and enabling real-time sensitive processing. As a result of performing a performance test for 5 hours every day for one week with an intersection simulation using an actual signal processor, a detection rate of 99.9%, which was improved by 3% to 5% compared to the existing method, was recorded. The advantage is that 99.9% of vehicles waiting to turn left are detected by the LiDAR sensor, and even if an intentional omission of detection occurs, an immediate response is possible through self-correction using the video, so the excessive waiting time of vehicles waiting to turn left is controlled by all lanes in the intersection. was able to guide the flow of traffic smoothly. In addition, when applied to an intersection in the outskirts of which left-turning vehicles are rare, service reliability and efficiency can be improved by reducing unnecessary signal costs.

이 논문에서 우리는 기존의 영상식 또는 루프식 좌회전 감응 시스템과는 달리 라이다(LiDAR)센서 및 영상 카메라를 이용하여, 좌회전 대기 차량을 2중으로 검지하고 좌회전 차선의 대기 길이에 대응하는 좌회전 교통신호체계를 효율적으로 부여할 수 있는 시스템을 소개하였다. LiDAR 센서에 의해 송수신된 LiDAR 신호에 대해서는 실시간으로 좌회전 대기 차량을 검지하고, 영상 카메라에 의한 영상에 대해서는 실시간 또는 일정한 주기별로 분석하도록 구성함으로써 불필요한 연산 처리를 절감시켜 실시간 감응 처리가 가능하도록 하였다. 실제 신호처리기를 이용한 교차로 시뮬레이션으로 1주일 동안 매일 5시간 성능 테스트를 해 본 결과 기존 방식에 비해 3%~5% 향상된 99.9%의 검지율을 기록하였다. 장점으로는 LiDAR 센서로 99.9% 좌회전 대기 차량이 검지되었으며 의도적인 검지 누락을 발생시키더라도, 영상에 의한 자체 보정을 통해 즉각적인 대응이 가능하여 좌회전 대기 차량의 과도한 대기시간을 조절시켜 교차로 내 모든 차선의 교통흐름을 원활하게 유도할 수 있었다. 또한 좌회전 차량이 뜸한 외곽의 교차로에 적용 시 불필요한 신호 비용을 줄이는 등 서비스 신뢰도 및 효율성을 높일 수 있다.

I. Introduction

최근 들어 차량 보급률이 증가하고 도심이 확장됨에 따라 교통 혼잡이 일상화되어 많은 사회적ㆍ경제적 손실이 유발되고 있고, 이에 따라 교통 혼잡을 해결하기 위하여 도로를 신설하거나 확장하는 등의 다양한 노력이 이루어지고 있으나, 이러한 방식은 막대한 재원이 소요될 뿐만 아니라 단기적으로 해결하기 어려운 한계를 갖는다[1].

따라서 최근에는 이러한 문제를 해결하기 위해 교차로들의 신호체계를 최적화하여 차량 대기시간을 절감시키기 위한 다양한 연구가 진행되고 있다.

종래의 대표적인 교차로 신호체계의 방식과 분류를 살펴보면, 차량 검지수단에 의해 검출된 누적 데이터들을 활용하여 TOD(Time Of Day)에 따라 고정된 신호주기 및 현시 시간을 출력하는 정주기식 신호 운영방식[2]과 수집된 교통정보를 이용하여 교통상황에 따라 신호를 제어하는 능동형 신호 운영방식[3]으로 분류된다.

이 중에서도 능동형 신호 운영방식은 현재 교통상황에 따라 유동적으로 대응하여 차량 정체현상을 효과적으로 절감시킬 수 있는 장점으로 인해 이에 대한 다양한 연구가 이루어지고 있다.

이러한 능동형 신호 운영방식 중 기존에 가장 대표적인 방식으로는 바닥에 매설된 루프나 센서로 검지하여 좌회전 대기차량에 따라 교통신호를 제어하는 방식이다. 즉, 루프 검지기, 레이저센서, 레이더센서, 카메라, 열화상카메라 등과 같은 감지 수단[4]이 필수적으로 설치되고, 이 장치로 좌회전차량을 검지하였다.

그러나 능동형 좌회전 감응신호 제어시스템의 감지수단으로 사용되는 각 검지기들은 다양한 교통상황과 날씨, 조도, 부속부품문제 등의 다양한 변수로 인해 좌회전 대기차량을 감지하지 못하는 경우를 발생시켜, 오히려 좌회전 대기 차랑에게 좌회전 신호가 적절한 시기에 제공되지 않고 기본 제공시간으로 제공되는 상황이 발생하여 좌회전 감지관련 장비들이 차량수와 관계없이 본연의 기능을 수행하지 못하거나 좌회전 대기 차량의 대기시간을 증가시키는 등의 문제점을 안고 있었다[5].

한편, 카메라 기술이 고도화되고 영상분석 기술이 발달함에 따라 각종 교차로에는 각 차선, 횡단보도 보행자, 횡단보도 대기자 등의 특정 객체를 감지하기 위한 CCTV 카메라들이 설치되고 있고, 딥-러닝을 통해 영상을 분석하여 특정 객체를 검출하고 있는 추세이다.

일반적으로 딥-러닝을 활용한 영상분석에는 복잡한 연산처리 및 영상처리가 이루어 져야 하기 때문에 최근에는 별도의 GPU(Graphic Processing Unit)를 구비하여 GPU를 이용한 인공지능 기반의 영상분석 및 처리를 수행하고 있다[6].

이 논문에서 이러한 문제를 해결하기 위해 본 시스템 개발에서 도입한 주요 기술로는 첫째, 32CH(채널) 라이다(LiDAR, Light Detection And Ranging) 센서 및 영상 카메라를 포함하여 좌회전 대기 차량을 2중으로 감지하되, 좌회전 대기 차량 감지 시 좌회전 차선의 대기 길이에 대응하는 좌회전 교통신호체계를 수립하도록 구성함으로써 교차로 내 모든 차선의 교통 흐름을 원활하게 유도할 수 있도록 한다.

둘째, 딥러닝 알고리즘으로 합성곱 신경망(CNN, Convolution Neural Network) 기반의 YOLO 모델[7][8]을 적용한다. 이는 예측 불가한 도로 상황에 따라 좌회전 대기 차량의 감지 누락 현상이 일부 발생하더라도, 딥러닝 기술을 이용한 자체 보정을 통해 즉각적인 대응이 가능하다. 이 기술로 좌회전 대기 차량의 과도한 대기시간을 절감시켜 서비스 신뢰도 및 효율성을 높일 수 있는 LiDAR 기반 좌회전 감응 신호를 이용한 교통신호 제어시스템을 제공할 수 있다.

시스템의 모든 데이터는 실시간으로 처리되며 컨트롤러가 LiDAR 센서에 의해 송 수신된 LiDAR 신호를 실시간으로 분석하여 좌회전 대기 차량을 감지하되, 서브 카메라에 의한 영상에 대해서는 실시간 또는 주기별로 분석하도록 구성됨으로써 불필요한 연산 처리를 절감시킬 수 있다.

이 컨트롤러는 다수의 GPU(Graphic Processing Unit)들을 이용하여 영상을 분석함으로써 영상 카메라들의 촬영에 의해 획득된 고용량의 영상들을 실시간 처리 및 분석할 수 있는 LiDAR 기반 좌회전 감응 신호를 이용한 교통 신호 제어시스템을 제공하기 위한 것이다.

시스템을 실제 현장에 적용할 때는 좌회전 차선과 인접한 위치에 별도의 표시장치를 설치하여 표시장치가 좌회전 대기 차량의 감지 여부를 외부로 표출함으로써 좌회전 대기 차량 운전자가 표시장치를 통해 좌회전 대기 차량이 감지되었는지 아닌지를 육안으로 확인하여, 감지 누락에 대한 운전자의 불안감을 절감시켜, 서비스 신뢰도를 획기적으로 높일 수 있다.

본 논문의 구성은 다음과 같다. 1장의 서론에 이어 2장에서는 본 논문에서 제안하는 관련 연구로써 자동차 검지를 위한 LiDAR 센싱 기술, 좌회전 대기 중인 자동차 인식을 위한 딥러닝 알고리즘 기술에 대한 소개 등 관련 연구를 살펴본다. 3장에서는 시스템 구현으로써 LiDAR 센서를 통한 차량 검지 체계, 검지 된 후 실시간으로 차량을 인식하는 딥러닝 체계와 이 두 가지 기능의 연동에 대해 소개한다. 4장에서는 교차로 동영상 기반 시뮬레이션으로 1주일 동안 매일 5시간 차량 검지 및 인식 기능을 테스트하고 검지 인식 부문에서 기존 시스템과의 성능 비교를 한다. 마지막 5장에서 결론을 도출하고 향후 발전 방향 및 글을 맺는다.

II. Related Works

1. LiDAR Sensing Technology for Vehicle Detection

좌회전 차량 검지 시스템 관리의 핵심은 좌회전 차선에 대기하는 차량의 정확한 대수와 대기열의 길이를 알 수 있어야 한다. 기계적인 특성상 약간의 오차가 있다고 하더라도 대국민에게 정확한 좌회전 신호 체계를 전달함에 있어서 3% ∼ 5%만 오차가 발생하더라도 좌회전 신호 체계 자체의 신뢰성에 문제가 생기게 된다.

차량이 거의 없는 한적한 외곽의 교차로에 불필요하게 매번 좌회전 신호를 부여하여 타 차선의 대기 시간만 길어진다면 여간 불편한 일이 아니다. 또한, 어떤 차량 들은 좌회전을 하려다가 우측으로 차선을 변경하여 직진으로 다시 빠져나간다든지 좌회전을 하려다가 안 하고 대기하거나, 불법 직진, 불법 유턴을 한다 든지 하는 경우가 비일비재하다. 이러한 경우 현재의 대기열 상의 차량 대수와 상관없이 신호 길이 및 신호체계가 틀어지기 시작한다. 즉, 좌회전 신호의 예외상황으로써 대기열에 따른 신호체계를 정확하게 맞추는 것이 불가능하게 된다.

직진, 유턴 등의 예외 상황을 포함하여 좌회전 차선의 대기열 상태를 정확하게 검지하기 위해서는 기존의 카메라 인식 시스템의 한계를 극복할 수 있는 새로운 장비가 필요하다. 본 논문에서는 LiDAR 센서를 이용하여 이를 해결하고자 한다.

LiDAR 스캐너를 살펴보면 LiDAR 스캐너는 해당 교차로 좌회전 신호등에 설치되며, 좌회전 차선을 향하여 LiDAR 신호를 송출한 후, 반사되는 신호를 수신받는다. 이때 LiDAR 스캐너는 각 면을 형성하는 폴리건 미러와 폴리건 미러를 회전시키는 구동부, 회전하는 폴리건 미러를 향하여 LiDAR 신호를 출사한 후 반사되는 신호를 수신받는 LiDAR 센서로 구성됨으로써 32CH에 대한 LiDAR 신호에 대한 분석이 가능하여 다양한 수집데이터를 기반으로 차량 및 기타 객체 감지를 효과적으로 수행할 수 있게 하는 장치이다.

한편, LiDAR 신호는 Fig. 1과 같이 외부 대상체로 광신호를 조사한 후, 수신되는 광신호의 시간차 또는 위상차를 검출하여 거리를 측정하며, 레이더와 비교하여 공간 분해능 및 해상도가 우수한 장점으로 인해 종래에 항공 및 위성 분야 등 특수 분야에 한정 사용되었으나, 최근에는 감시정찰 등의 민수 및 국방 분야 로봇, 무인 수상함, 드론 등의 항공기, 산업용 보안 및 안전 분야 등 다양한 분야로 확대 적용되고 있다[9][10].

Fig. 1. LiDAR system basic configuration and operation principle

이러한 LiDAR 신호는 x, y, z의 3차원 점군(Point Cloud)을 활용하여 실시간으로 입체 영상을 모델링 할 수 있기 때문에 감지된 객체의 궤적을 추적 및 검출하기 위한 용도로 널리 사용되고 있다[11].

이와 같이 구성되는 LiDAR 스캐너는 송수신된 LiDAR 신호 정보를 스캐너 제어기로 출력한다. 스캐너 제어기는 LiDAR 스캐너에 의해 송수신된 32CH들 각각의 LiDAR 신호를 분석하여 차량을 감지함과 동시에 좌회전 차선의 차량 유무를 산출한다. 즉, 본 시스템의 LiDAR 제어기는 32개 CH의 LiDAR 신호를 통해 객체 감지가 이루어지기 때문에 프로파일 수집량이 증가하여 차량 객체 감지 및 기타 객체(보행자 등) 필터링의 정확성을 높일 수 있게 된다.

Fig. 2는 실제로 LiDAR 센서를 통해 검지 된 객체를 시각적으로 표현한 결과이다. 중앙에 층 구조로 된 부분이 32CH로 조사된 그림이며, 그림의 아래쪽은 조사된 피사체를 측면에서 바라본 결과이다. 조사된 객체들은 실시간으로 움직임을 관찰할 수 있다.

Fig. 2. Signals detected by the LiDAR sensor

LiDAR를 이용한 연구는 주로 자율주행자동차, 자율주행로봇, 부유체측정, 항공기, 위성, 지구환경측정 등 분야에서 많이 활용되고 있다. 이 기술들은 전부 상당히 고정밀의 정확도를 요하는 분야들로써 특수목적용으로 활용되고 있다. 본 논문에서는 이 정밀 기술을 이용하여 좌회전 대기상태와 신호체계에 활용함으로써 보다 정확하고 정밀하게 운영하여 보편적 기술로 활용하고자 한다[12].

2. Comparison of Performance of Conventional Detectors and LiDAR Detectors

좌회전 감응 분야 최근 기술은 일정시간 경과에 의한 주기적 좌회전 신호 점등이 아닌 좌회전 차로에 대기하고 있는 차량 대수나 상태에 의해 좌회전 신호가 발생 되는 체계이다.

좌회전 감응에 LiDAR 검지기를 이용하여 기존 시스템(영상식, 열감지, 루프식, 레이더)의 불확실한 검지, 노면의 설치 등을 감안하여 보다 정확하고 설치가 용이하도록 개발한다. 주요 기술로는 LiDAR 센서를 이용한 차량 이동 트래킹이 가능하고 영상식 딥러닝 기술을 결합하여 대기 차량의 외형정보(대수, 대기 길이)를 파악할 수 있다. 설치는 기존 신호등 구조물을 이용하여 설치되기 때문에 현 좌회전 체계를 쉽게 변경할 수 있다. Fig. 3은 이와 같은 과정 즉, LiDAR에서부터 좌회전 응답 신호체계 변경에 이르기까지의 과정을 보여주고 있다.

Fig. 3. Left turn response process

본 논문에서 구현한 시스템은 좌회전 대기열 30미터 자동 감응 후 좌회전 신호 변경체계를 따르며, LiDAR를 이용한 검지 정확도를 99.9% 이상으로 검지가 가능하다. 대부분의 자율주행차량의 주요 검지기로 활용 중인 LiDAR 검지 기술을 교차로에 도입ㆍ응용하고 좌회전 검지율 99.9%가 가능하도록 개발하여 신호제어기와 연계하는 것을 목표로 한다.

본 논문을 통해서 구축하게 되는 LiDAR 센서 기반 검지기와 기존 검지기의 주요 특징 및 문제점, 성능을 비교하면 Table 1과 같다[13].

Table 1. Comparison of major detection technologies for system development

Table 1을 간단히 요약하면 루프식의 경우 바닥에 루프를 매설하는 방식으로써 차량의 유무는 판단이 되나 대기 길이를 판단할 수가 없다. 영상식의 경우 날씨 및 환경적 요인에 상당히 민감하여 영상의 왜곡 현상이 심하게 나타날 수 있다. 열영상카메라 방식의 경우 차량에서 발열이 많지 않은 차량 종류(스마트차량, 전기차, 2륜차 등)의 경우 검지 오류가 많으며 레이더 방식은 저속 및 정지상태 차량의 경우 검지 오류가 많다.

3. Deep Learning Algorithm for Car Number Recognition

최근의 영상식 카메라의 대부분은 딥러닝을 이용한 차량번호 인식 알고리즘을 이용하여 개발되어 있다. LiDAR에서 검지된 차량은 trigger를 발생시켜 영상식 카메라가 차량번호를 찍게 하고 이와 동시에 딥러닝 알고리즘이 작동하여보다 정확하게 차량번호를 추출한다.

딥러닝은 인간의 정보전달 방식과 유사한 방식으로 노드 상호관계를 정의하고 수많은 필터를 통해 특징들을 추출해서 분류한 다음 추론한 오차를 근거로 가중치를 변경하며 최적의 가중치를 가지는 모델을 생성하는 학습 방법 중 하나이다. 기존 영상에서 특징적인 물체의 노드 간 상호관계와 가중치를 딥러닝 모델로 저장하여 새로운 영상 분석에 활용한다.

CNN (Convolutional Neural Network)은 영상 인식에서 사용되는 대표적인 방법으로 촬영된 이미지를 매트릭스로 수치화 하여 데이터를 분석한다. Fig. 4에서 C1 ∼ C5까지는 데이터 처리를 위해 분할된 이미지 영역의 3차원 매트릭스를 분석하고, FC6, FC7에서는 이를 2차원으로 요약/정리하여 활용하며 이렇게 정리된 매트릭스는 딥러닝이나 영상분석에 사용된다[14].

Fig. 4. The structure of CNN

인공지능 모델에서 차량 인식 추출의 오류를 줄이기 위해서 특수 목적을 가진 데이터셋이 필요하며 이를 이용한 인공지능 모델 개선을 추가 학습하게 되는데 이를 미세조정 (Fine Tuning)이라 한다. 특수목적성 데이터셋을 사용한 예로 미국 알바니 대학교(University of Albany)에서 차량의 촬영 환경 (날씨, 시간 등)에 따라 미세 학습 시 다양한 환경에서의 차량 인식 정확도를 높인 사례를 찾아볼 수 있으며 이를 응용하여 본 논문에서는 YOLO(You Only Look Once) v4를 도입하여 구현하였다. Fig. 5에서 YOLO는 각 이미지를 S × S개의 그리드로 분할하고 그리드의 신뢰도를 계산하여 경계상자의 위치를 조정함으로써 객체 인식률이 뛰어날 뿐만 아니라 실시간 처리가 가능한 장점을 갖는다[15][16].

Fig. 5. Introduction of YOLO v4 for fine learning

4. Smart Left Turn Response Development Technology

우리 나라의 대부분의 교차로는 일정한 신호주기 및 현시 순서에 의해 운영되거나 신호제어기에 내장된 시간대별 신호 시간(TOD), 요일별 신호시간(DOW) 및 특별일 신호 시간 테이블(Holiday Plan Table)에 의해 운영되는 고정주기식 신호체계방식인 일반신호기로 운영되고 있다.

이러한 고정주기식 신호체계방식은 계절별, 요일별, 시간대별로 교통량의 변동이 큰 교통 특성을 잘 반영하지 못하기 때문에 신호시간의 낭비로 도로상에 불필요한 지체를 야기하고 있으므로 감응신호제어 신호운영방식은 고정 시간 시간 제어 운영에 비하여 수요변동이 심한 교차로에서의 지체를 크게 줄일 수 있다.

특히, 좌회전 감응신호제어는 좌회전 교통류 상태를 파악하여 좌회전 신호를 효율적으로 사용함으로써 다른 현시의 이동류가 남은 신호 시간을 이용하게 하여 연동제어와 동시에 신호 효율을 극대화할 수 있다.

이상의 관련 연구에서 살펴본 바와 같이 개발하고자 하는 좌회전 감응 시스템은 Table 2에서와 같이 LiDAR 검지를 기반으로 하여 차량을 검지하고, 검지한 후 즉시 딥러닝 기술을 이용하여 차량대수, 대기열 길이를 추출함으로써 검지율 99.9%를 구현한다. 좌회전 차량에 대해 정확한 검지를 기반으로 정보에 대한 신뢰성을 향상 시키고 신호 운영의 측면에서 차량이 뜸한 외곽 교차로의 불필요한 정기적 좌회전 신호 낭비, 불법유턴, 불법직진 등 신호체계를 개선함으로써 정확한 좌회전 차량 현황 정보를 제공하고자 한다.

Table 2. The excellence of the proposal system

III. System Development

1. System Design

제안하는 시스템은 교차로에서 서비스되는 신호등들의 동작을 제어하는 교통신호 제어시스템으로써 교차로의 좌회전 차선으로 LiDAR 신호를 송출한 후, 반사되는 신호를 수집하는 LiDAR 센서를 활용한다.

Fig. 6은 제안하는 시스템의 구성을 장비 단위로 보여주고 있으며, 좌회전 차선에 차가 없는 동안에는 좌회전 신호를 포함하지 않는 교통신호체계를 유지하되, 차량이 대기하기 시작한 후 시간이 경과하여 컨트롤러로부터 좌회전 감응신호를 전송받으면, 좌회전 신호를 출력하기 위한 교통신호체계로 변경된다.

Fig. 6. System Overview

2. Controller Design and Implementation

여기서 컨트롤러는 LiDAR 센서에 의해 송수신된 LiDAR 신호를 분석하는 LiDAR 신호 분석부와 이 LiDAR 신호 분석부에 의해 검출된 분석데이터를 참조하여, 좌회전 차선의 좌회전 대기 차량이 감지되는지를 검출하는 객체 감지부로 구성된다.

Fig. 7에 명시되어 있는 사용량 트래킹 부는 인공지능 기반 영상 분석모듈들 중 적어도 하나 이상이 동작할 때 실행 되며, 동작 중인 인공지능 기반 영상 분석모듈의 사용량(부하량)을 검출한 후, 검출된 사용량을 메모리나 스토리지에 저장한다.

Fig. 7. Controller Overview

데이터 수집 모듈은 기 설정된 제 1 주기(T) 마다 실행되는 영상분류테이블 생성/갱신부를 더 포함하고, 이 영상 분류테이블 생성/갱신부는 제 1 주기(T) 동안의 각 GPU별 사용량 데이터들을 수집한다.

각 GPU 평균사용량 산출모듈은 위 데이터 수집 모듈에 의해 수집된 각 GPU별 사용량 데이터들을 활용하여 각 GPU별 평균 사용량(\(\begin{aligned}\bar{X}_{1 \ldots \ldots M}\\\end{aligned}\))을 산출한다.

Fig. 8에서 정의한 상한설정값(TH) 비교 모듈은 위 각 GPU 평균사용량 산출모듈에 의해 산출된 각 GPU별 평균 사용량(\(\begin{aligned}\bar{X}_{1 \ldots \ldots M}\\\end{aligned}\))과, GPU에서 과부하로 판단할 수 있는 사용량 최소값을 의미하는 기 설정된 상한설정값(TH)을 비교한다.

Fig. 8. Image Classification Table Creation/Update Module

점검후보 결정모듈은 위 상한설정값(TH) 비교모듈에서, 상한설정값(TH) 미만의 평균사용량(\(\begin{aligned}\bar{X}\end{aligned}\))을 갖는 GPU는 점검후보에서 제거시키되, 상한설정값(TH) 이상의 평균사용량(\(\begin{aligned}\bar{X}\end{aligned}\))을 갖는 GPU가 검출되면, 해당 GPU를 점검후보로 결정한다.

변경대상 결정모듈은 위 점검후보 결정모듈에서 점검후보가 결정될 때 실행되며, 평균사용량(\(\begin{aligned}\bar{X}\end{aligned}\))이 가장 낮은 GPU를 변경대상으로 결정한다. 이 점검후보 결정모듈에서 점검후보로 결정된 GPU로 입력되는 복수개의 영상들 중 어느 하나가 상기 변경대상 결정모듈에서 변경대상으로 결정된 GPU로 입력되도록 결정한 후, 결정된 매칭정보가 반영되도록 영상분류테이블을 갱신하는 영상분류테이블 갱신모듈을 포함한다.

Fig. 9에서 영상입력모듈은 같이 설치되는 영상 카메라들로부터 전송받은 영상(카메라 식별정보 포함)을 입력받는다. 영상 카메라들의 수량인 카메라 수량(N)과, 상기 GPU들의 수량(M)을 비교하는 비교 및 판단모듈이 필요하다. 이 비교 및 판단모듈에서 카메라 수량(N)이 GPU 수량(M)의 이하(N ≤ M)일 때 실행되며, 입력된 영상들을 상기 GPU들 각각으로 일대일 방식으로 입력시키는 일대일 기반 분류모듈이 있다.

Fig. 9. Video Classification Module

영상분류테이블 기반 분류모듈은 상기 비교 및 판단모듈에서 카메라 수량(N)이 GPU 수량(M)을 초과(N > M)할 때 실행되며, 상기 메모리에 저장된 영상분류테이블에 따라 영상들을 분류시킨다.

3. System Development

좌회전 차로에 적당 댓수(약 30미터)의 차가 대기하는 경우 LiDAR 센서에 의해 Fig. 10에서와 같이 대기열의 길이를 자동으로 검지하여 좌회전으로 신호체계를 변경하도록 구현한다.

Fig. 10. Implementation and Application Plan

기존의 도로 매설식 등 접촉식에서 비접촉 센서 감응식으로 변경이 가능하고 도로 매설식의 한계(고장, 파손, 단절, 패임)를 극복하여 레이저 주파수 감응에 의한 객체 인식이 가능하도록 구현한다.

좌회전 차량 검지를 위해서는 자율주행의 핵심기술인 LiDAR 센서 기술 적용하였으며, 4차 산업혁명의 핵심기술인 IoT 센서 기술을 적용하였다.

Fig. 11은 32CH LiDAR 검지 시스템에서 차량이 특정 영역(Fig. 11 ①)에 진입하는 순간 LiDAR에 검지된 물체 정보를 상단에 표출하고 있음을 보여준다. LiDAR 검지는 사물이 ‘있다’ 혹은 ‘없다’에 대한 유무로 표시가 된다, 이 검지 결과에 영상 카메라를 결합하여 실제의 자동차 이미지를 매핑하고 시각적으로 표출할 수가 있다.

Fig. 11. LiDAR detection system

Fig. 11 ②의 흰색 물체 정보는 진/출입시 검지된 차량의 형상이며 이 동영상은 실제로는 Fig. 12의 움직임처럼 나타난다.

Fig. 12. Trigger decision point

이와 같이 본 개발 시스템은 교차로 신호등의 좌회전 차선 영역에 32CH의 LiDAR 스캐너를 설치하여 차량 감지 및 좌회전 진입 대수 및 대기 길이 카운팅이 이루어지도록 구성됨으로써 차량 감지의 정확성 및 정밀도를 높일 수 있고, 좌회전 차량의 부재 시에도 좌회전 신호의 주기적, 지속적 노출로 시간, 에너지 및 운영 효과성 낭비를 방지할 수 있고, 사람이 없는 외진 도로의 경우 규칙적인 좌회전 점등으로 에너지 자원 낭비를 방지할 수 있다.

IV. System Testing and Performance Evaluation

LiDAR 기반 좌회전 감응 시스템을 종합적으로 시험 및 성능 평가하기 위해 우선 시험환경을 구축해야 한다. 실제 운영중인 교차로에서의 테스트는 경찰청의 승인, 교통사고 유발, 시민의 불편함 등 여러 가지 심각한 문제가 있으므로 시험 환경은 시뮬레이션 Test-Bed 환경으로 구축한다.

1. Test Environment

Table 3.은 LiDAR 기반 좌회전 감응 시스템을 시험하기 위한 시험환경 전체를 포함한 표이다. 시험을 수행하기 위한 장소는 Lab Test-Bed 로 구성하였다.

Table 3. System test environment

시험에 필요한 자동차 시료는 랜덤으로 지속적으로 발생 되며 실제 야외 교차로에서 좌회전 차량이 진입 진출하면서 얻어진 동영상이다. 물론 여러 대의 차량을 이용한 입출력이므로 중복은 허용한다.

2. Performance Evaluation

시스템 성능 평가는 사실상 결과가 99.9%로 도출되었기 때문에 성능은 만족할 만한 수준으로 도출되었다. LiDAR 센서를 기반으로 동작이 되어야 하는 시스템이므로 LiDAR 센서가 아닌 경우의 검지율과 LiDAR 센서인 경우의 검지율을 비교해야 한다. 또한 차량 인식에 있어서도 딥러닝 기술을 적용하기 전후의 성능 개선의 변화를 평가할 수가 있다.

검지율에 있어서 LiDAR 유무에 따라 검지율의 차이가 많이 남을 알 수 있다. LiDAR 는 360°, 32CH로 초음파를 쏘기 때문에 사실상 물체를 인식 하지 못할 확률은 0에 가깝다 그 만큼 인식률에서 우수 하기 때문에 본 기술에도 도입하게 된 것이다.

인식율에 있어서도 딥러닝 알고리즘을 사용한 경우가 그러지 못한 경우에 비해 높은 결과를 도출하였다. Lab에서 테스트하였으므로 성능이 다소 높게 향상되었을 것으로 추정된다.

Fig. 13은 Table 4.에 따라 성능을 비교한 결과이다.

Table 4. The comparison of performance evaluation

Fig. 13. The result of performance evaluation comparison

V. Conclusion and Future Research

이 논문에서 우리는 교차로의 좌회전차선영역 신호등 구조물에 32CH의 LiDAR 스캐너를 설치하여 좌회전 대기 차량 인식과 동시에 딥러닝 알고리즘을 이용하여 대기차량 대수 및 대기열 길이를 계산하였다.

기 설정된 주기(T) 마다 LiDAR 스캐너의 감도를 최적화시키도록 구성함으로써 좌회전 차량의 검지 정확성 및 정밀도를 높일 수 있을 뿐만 아니라 차량이 뜸한 상태에서는 신호제어를 콘트롤하여 신호제어에 대한 판단의 신뢰도를 높였다. 기존의 차량의 유무만으로 신호체계를 변경하던 방식에서 LiDAR 기반 검지율을 99.9% 끌어올림으로써 우수한 좌회전 감응 시스템을 개발하였다.

구축 내용으로는 LiDAR 검지기, 딥러닝 기반 차량 인식기 등 프로그램 개발을 진행하였고 실제 현장에서 수집된 동영상을 이용하여 시험을 함으로써 신뢰도와 정확도를 높였다.

시험은 시험 시나리오 2개(검지율, 인식률)를 이용하였고 일주일동안 매일 5시간, 시료는 200 개 이상으로 적용하였다. 시뮬레이션 결과적으로 99.9% 성능을 도출하였다.

성능은 먼저, LiDAR를 사용한 경우와 사용하지 않은 경우의 검지율을 비교해본 기존의 약 95% ~ 97% 검지율 보다 5% 이상 검지율이 높게 도출되었으며, 두 번째로 차량 번호 인식률에 있어서도 기존의 약 97% ~ 98% 인식률 보다 3% 이상 인식률이 높게 도출되었다.

현재 우리나라는 좌회전 감응을 지자체에서 많이 서비스하고 있지만 약 오차율 5% 정도의 부정확한 정보와 차량이 없는 상태에서도 지속적인 신호 변경 등으로 운영됨으로써 실제 이용자에게 많은 혼란 불편함을 주어 교통행정의 신뢰도를 떨어뜨리고 있다. 특히 한적한 외곽에서의 신호 체계는 아직도 많은 운영 낭비가 초래되고 있다. 이러한 문제점들은 이 시스템을 통해 많이 개선될 것이며, 나아가 횡단보도 위 객체 검지율 및 인식률의 고성능화를 달성할 수 있을 것으로 기대된다.

이 시스템을 기반으로 향후 연구 방향을 제시하면, 기존 시스템 대비 전력 소모 및 LiDAR 반응 속도 등에 대한 비교가 추가적으로 필요하며, 자전거 등 물체 이동자, 유모차, 휠체어, 애완동물 동행자 등 사람 이외의 객체에 대한 안전 연구로 확대가 가능하다.