Development of a Multi-disciplinary Video Identification System for Autonomous Driving

자율주행을 위한 융복합 영상 식별 시스템 개발

Abstract

In recent years, image processing technology has played a critical role in the field of autonomous driving. Among them, image recognition technology is essential for the safety and performance of autonomous vehicles. Therefore, this paper aims to develop a hybrid image recognition system to enhance the safety and performance of autonomous vehicles. In this paper, various image recognition technologies are utilized to construct a system that recognizes and tracks objects in the vehicle's surroundings. Machine learning and deep learning algorithms are employed for this purpose, and objects are identified and classified in real-time through image processing and analysis. Furthermore, this study aims to fuse image processing technology with vehicle control systems to improve the safety and performance of autonomous vehicles. To achieve this, the identified object's information is transmitted to the vehicle control system to enable appropriate autonomous driving responses. The developed hybrid image recognition system in this paper is expected to significantly improve the safety and performance of autonomous vehicles. This is expected to accelerate the commercialization of autonomous vehicles.

최근 자율주행 분야에서는 영상 처리 기술이 중요한 역할을 하고 있다. 그 중에서도 영상 식별 기술은 자율주행 차량의 안전성과 성능에 매우 중요한 역할을 한다. 이에 따라 본 논문에서는 융복합 영상 식별 시스템을 개발하여 자율주행 차량의 안전성과 성능을 향상시키는 것을 목표로 한다. 본 연구에서는 다양한 영상 식별 기술을 활용하여 차량주변 환경의 객체를 인식하고 추적하는 시스템을 구축한다. 이를 위해 머신 러닝과 딥 러닝 알고리즘을 활용하며, 이미지처리 및 분석 기술을 통해 실시간으로 객체를 식별하고 분류한다. 또한, 본 연구에서는 영상 처리 기술과 차량 제어 시스템을 융합하여 자율주행 차량의 안전성과 성능을 높이는 것을 목표로 한다. 이를 위해, 식별된 객체의 정보를 차량 제어시스템에 전달하여 자율주행 차량이 적절하게 반응하도록 한다. 본 연구에서 개발된 융복합 영상 식별 시스템은 자율주행 차량의 안전성과 성능을 크게 향상시킬 것으로 기대된다. 이를 통해 자율주행 차량의 상용화가 더욱 가속화될 것으로 기대된다.

Ⅰ. 서론

최근 자율주행 기술은 빠르게 발전하고 있으며, 이는 영상 처리 기술의 중요성을 더욱 부각시키고 있습니다. 특히 영상 식별 기술은 자율주행 차량의 안전성과 성능에 매우 중요한 역할을 합니다. 이에 따라 본 논문에서는 융복합 영상 식별 시스템을 개발하여 자율주행 차량의 안전성과 성능을 향상시키는 것을 목표로 한다.

본 연구에서는 다양한 영상 식별 기술을 활용하여 차량 주변 환경의 객체를 인식하고 추적하는 시스템을 구축합니다. 이를 위해 머신러닝과 딥러닝 알고리즘을 활용하며, 이미지 처리 및 분석 기술을 통해 실시간으로 객체를 식별하고 분류한다. 또한, 본 연구에서는 영상 처리 기술과 차량 제어 시스템을 융합하여 자율주행 차량의 안전성과 성능을 높이는 것을 목표로 한다. 이를 위해, 식별된 객체의 정보를 차량 제어 시스템에 전달하여 자율주행 차량이 적절하게 반응하도록 한다.

본 연구에서 개발된 융복합 영상 식별 시스템은 자율 주행 차량의 안전성과 성능을 크게 향상시킬 것으로 기대됩니다. 이를 통해 자율주행 차량의 상용화가 더욱 가속화될 것으로 기대된다. 이에 대한 연구의 필요성과 본 연구의 목적과 기대 효과를 다루어볼 것이다.

Ⅱ. 관련 연구

자율주행을 위한 융복합 영상 식별 기술은 여러 가지 기술의 결합으로 이루어진 기술이다. 그 중에서도 주요 기술들은 다음과 같다. 컴퓨터 비전 (Computer Vision)은 카메라나 센서 등으로 입력받은 이미지나 영상에서 패턴이나 물체 등을 인식하고 추출하는 기술이다. 자율 주행을 위해서는 주행 환경을 실시간으로 인식해야 하기 때문에, 컴퓨터 비전 기술은 필수적인 기술 중 하나이다. 딥러닝 (Deep Learning)은 인공신경망을 기반으로 한 머신러닝 기술로, 대량의 데이터를 학습하여 패턴을 파악하고, 이를 기반으로 예측을 수행하는 기술이다. 딥러닝 기술을 활용하여 이미지나 영상에서 물체를 인식하거나, 주행 환경을 분석하는 등의 작업을 수행할 수 있다. 센서 퓨전 (Sensor Fusion)은 여러 종류의 센서를 활용하여 한 가지 작업을 수행하는 기술이다. 예를 들어, 자율주행을 위해서는 라이다 센서, 카메라, GPS 등의 여러 가지 센서를 사용해야 하며, 이들 센서가 제공하는 정보를 통합하여 실시간으로 주행 환경을 인식하고, 주행을 제어할 수 있다. 빅데이터 분석 (Big Data Analysis)은 대량의 데이터를 수집하고, 분석하여 특정 패턴이나 정보를 추출하는 기술이다. 자율주행을 위해서는 주행 환경에 대한 다양한 정보를 수집하고, 분석하여 주행 환경을 예측하고, 안전한 주행을 수행할 수 있다. 실시간 처리 (Real-time Processing)는 입력된 데이터를 실시간으로 처리하는 기술이다. 자율주행을 위해서는 실시간으로 주행 환경을 분석하고, 주행을 제어해야 하므로, 실시간 처리 기술이 필수적이다. 이러한 기술들을 융합하여 자율주행을 위한 영상 식별 기술을 구현할 수 있다.

자율 주행을 위한 융복합 영상 식별 시스템 개발을 위한 선행연구는 다음과 같다. "Real-time object detection for autonomous vehicles using deep learning"와 “Real-time object detection using LiDAR and camera fusion for autonomous driving”^[1,2] 이 논문은 자율주행 차량에서 실시간 객체 감지를 위해 딥러닝 알고리즘을 적용하는 방법에 대해 다루었다. 본 연구에서는 YOLOv2와 Faster R-CNN 알고리즘을 비교하여, Faster R-CNN이 객체 인식 정확도와 처리 속도에서 더 우수한 결과를 보였다. "Development of sensor data fusion for obstacle detection for electric mini tractor"와 “Multimodal Detection of Unknown Objects on Roads for Autonomous Driving”^[3,4] 이 연구는 자율주행 차량에서 센서 융합 시스템을 구축하여 장애물 감지 및 추적에 대한 성능을 향상시키는 것을 목적으로 한다. 레이다 및 카메라 센서를 활용하고, 영상 처리 기술을 적용하여 장애물을 식별하고 추적한다.

"Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review"와 “DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection”^[5,6] 이 연구는 센서 융합 및 딥러닝 기술을 활용하여 자율주행 차량에서 장애물 감지 및 추적 성능을 향상시키는 것을 목적으로 한다. 레이다, 카메라, LIDAR 등 다양한 센서를 활용하며, 딥 러닝 알고리즘을 적용하여 객체 인식 및 추적 성능을 개선하였다. "Deep Learning-Based Semantic Segmentation in Autonomous Driving"와 “Deep learning-based image recognition for autonomous driving”^[7,8] 이 연구는 딥 러닝을 활용한 객체 인식 및 시맨틱 세그멘테이션 기술에 대해 살펴보고, 자율주행 차량에서의 적용 가능성과 한계를 분석하였다. 이를 통해 자율주행 차량의 안전성 및 성능 향상을 위한 방안을 모색하였다.

Ⅲ. 본론

1. 자율주행을 위한 융복합 영상 식별 시스템 개발

본 논문에서 연구 개발하는 전체 시스템 블록 다이어그램은 다음 그림과 같다.

그림 1. 시스템 블록 다이어 그램

Fig. 1. System Block Diagram

가. 레이더 데이터 수집

설치된 레이더로부터 보행자/차량의 6종 객체(보행자, 이륜차, 승용차, 승합차, 버스, 트럭)에 대한 레이더 감지 영역을 지정하여, 로우 데이터(=Raw Signal)를 수집한다.

그림 2. 레이더로 수집되는 로우 데이터 예시

Fig. 2. Examples of raw data collected by radar

나. 레이더 데이터 가공 및 정제

수집된 로우 데이터(신호 형태)를 데이터 가공 및 정제 과정을 거쳐 테이블 형태로 변환하는 전처리 기술이 필요하다. 레이더 기기내 파싱 모듈(Radar Parsing Module)을 통해 테이블 형태로 변환된 로우 데이터의 신호를 수신받을 수 있는 서버의 목적지 IP를 설정하고 프로토콜을 이용하여 전송한다.

다. 레이더 데이터 추출

레이더 데이터 가공 및 정제가 완료되어 전달된 데이터에서 레이더 객체 감지 표출에 활용할 수 있는 데이터를 추출한다.

표 1. 추출된 레이더 데이터 예시

Table 1. Example of extracted radar data

추출된 데이터의 속성은 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y, RCS로 구성된다.

ID : 객체의 고유 순번

Time : 객체가 탐지되었을 때 측정된 날짜와 시간

Lane : 객체가 탐지된 도로의 차선 번호

Point x : 레이더 기기 기준 2차원 형태의 좌표에서 객체가 탐지된 X 좌표 위치값

Point y : 레이더 기기 기준 2차원 형태의 좌표에서 객체가 탐지된 Y 좌표 위치값

Velocity x : 레이더 기기 기준 2차원 형태의 좌표에서 객체의 X 좌표 속도값

Velocity y : 레이더 기기 기준 2차원 형태의 좌표에서 객체의 Y 좌표 속도값

RCS(Radar Cross Section): 레이더 반사 면적으로 감지된 객체가 레이더에 반사되어 측정되는 크기의 척도

라. 레이더 데이터 객체 감지 및 표출

감지된 객체의 시간을 기준으로 도로의 차선에 추출된 레이더 데이터의 속성인 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y를 통해 객체의 크기에 따라 감지할 수 있는 객체의 종류인 6종(보행자(pedestrian), 이륜차(two-wheeled vehicle), 승용차(car), 승합차(suv), 버스(bus), 트럭(truck))에 대해서 RCS 값인 레이더 반사 면적을 이용하여 표출한다.

그림 3. 레이더 데이터 객체 표출

Fig 3. Radar data object display

마. 카메라 영상 데이터 수집

도로의 돌발 상황 카메라 영상 데이터를 수집할 수 있는 곳을 사전 조사 후 도로의 표지판, 가로등, 신호등과 같은 다양한 장소에 카메라 기기를 설치한다.

높은 탐지율과 정확도를 위해 최소 10 만건 이상의 카메라 영상 데이터를 수집하며 딥러닝 기반 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공한다.

바. 프레임 단위 이미지 추출

딥러닝에 활용할 수 있도록 획득한 영상 데이터에서 학습에 필요한 동적, 정적객체의 이미지를 추출하기 위한 방법으로 Python 프로그래밍 언어 기반 영상 처리 라이브러리 중 OpenCV를 활용하여 수집된 영상 데이터에서 프레임(Default: 30fps) 단위로 이미지를 추출한다.

그림 4. 이미지 추출 예시

Fig. 4. Image extraction example

사. 이미지 라벨링 및 어노테이션

이미지 라벨링 및 어노테이션 과정은 이미지의 의미를 확장하고, 메타데이터를 구성하여 고품질의 학습 데이터를 확보하고 라벨링 및 어노테이션에서 경계 상자(Bounding Box)로 그려지는 객체 종류는 6종으로 보행자, 이륜차, 승용차, 승합차, 버스, 트럭으로 구성한다.

Yolo 신경망 모델 학습을 위해 이미지에서 객체의 경계 상자를 표시하기 위한 오픈소스 기반 프로그램을 이용하고 추출한 이미지를 대상으로 JPG 형태로 변환 후 이미지를 불러와 탐지할 객체 별로 ObJectID를 지정하는 손수 작업을 통해 객체의 영역을 지정하여 데이터를 라벨링할 수 있다.

그림 5. Yolo_Mark를 이용한 이미지 라벨링 마킹 예시

Fig. 5. Example of image labeling marking using Yolo_Mark

유명한 이미지 라벨링 도구로 Object Detection 학습을 위해 영상에서 Bounding Box를 지정하여 라벨링을 수행하고, Bounding Box 정보들을 XML 형태의 포맷으로 저장한다.

아. XML 형태의 어노테이션 구조 및 예시

어노테이션 파일 저장 방식은 Object Detection Dataset 중 하나인 PASCAL VOC 포맷을 사용한다.

XML 파일 안에는 수많은 태그(Tag)들이 존재하지만, Object Detection 모델을 학습하기 위해 사용되는 태그들은 정해져 있으며, XML 파일들 구조의 예시는 아래 표와 같다.

표 2. XML 파일 예시 (Bounding Box Annotation)

Table 2. XML file example (Bounding Box Annotation)

자. Yolo 신경망 모델 구축

Yolo 신경망 모델은 Pretrained Network와 Training Network로 구성하여 구축한다.

그림 6. Yolo 신경망 모델 레이어 설정

Fig. 6. Yolo Neural Network Model Layer Settings

주황색 테두리로 표현한 부분인 Pretrained Network는 GoogLeNet Layer를 이용하여 ImageNet 1000-class Dataset을 사전에 학습한 결과를 저장하고 있는 Layer이고 파란색 테두리로 표현한 부분인 Training Network는 Pretrained Network에서 학습한 특징을 이용하여 클래스 확률(Class probability)와 경계 상자(Bounding box)를 학습하고 예측하는 Layer이다.

Yolo 신경망 모델을 최적화하기 위한 하이퍼 파라미터 설정한다. Yolo 신경망 모델의 하이퍼 파라미터로 설정할 수 있는 값들은 객체를 감지할 클래스 개수, 학습률(Learning Rate), 손실 함수(Cost Function), 활성화 함수(Activation Function)를 설정한다.

클래스 개수 : 신경망 모델을 통해 탐지할 객체의 개수

학습률 : 신경망 모델이 확률적 경사 하강법(SGD : Stochastic Gradient Descent)을 이용하여 오차를 줄여나갈 때 필요한 학습 비율

활성화 함수 : 레이어에 구성되어있는 노드에서 다음 레이어의 노드로 이동할 때 사용하며, 클래스로 분류될 확률에 필요한 연산의 오차를 줄이는 비선형 함수

신경망 모델을 학습하고, 검증 데이터 셋을 이용하여 학습 모델을 검증하고 정확도를 평가하고, 낮은 수치가 측정되면 히든 레이어의 개수 및 하이퍼 파라미터를 조정하여 최적화하는 과정이 필요하다.

차. 레이더, 영상 매칭 알고리즘

레이더, 영상 매칭을 하는 알고리즘은 3단계로 구성된다.

1단계: 카메라 영상 위치 보정

카메라에서 추출된 이미지는 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선한다.

2단계: 레이더 객체 대상 감지

레이더로 측정한 데이터는 6종에 해당하는 객체와 이외 노이즈(Noise) 데이터로 구분하여 타겟 대상을 설정한다.

3단계: 레이더와 카메라 객체 매칭

카메라의 좌표를 레이더와 일치시키는 과정으로 카메라와 레이더 데이터의 동일한 표적에 대한 정보를 매칭한다. 그리고 레이더, 카메라의 좌표축을 일치시킨 후 점 일치 및 하향식 방법을 사용하여 값의 오차를 줄이기 위한 보정 수행

그림 7. 레이더, 카메라 매칭 알고리즘 예시

Fig. 7. Example of radar and camera matching algorithm

2. 제어기와 AI영상식별기 간의 통신 프로토콜

본 논문에서 사용하는 제어기와 AI영상식별기 간의 통신 프로토콜을 정의한다. 통신은 TCP/IP 방식의 패킷 통신 방식을 따르며 현장제어기는 Server모드, AI영상식별기는 Client모드로 동작한다.

제어기: 레이다에서 검출된 객체의 정보(검출시간)전송

Passive AI영상식별기: 영상에서 객체 위치 중심에서 식별된 정보를 전송

Scheduling AI영상식별기: 자체 카메라 위치 순환 중 검출된 객체의 정보전송

디바이스ID: 0..255(할당 IP 하위 숫자를 사용)

가. 전체 흐름도

그림 8. 흐름도

Fig. 8. Flow chart

나. 프로토콜 패킷 구성

전송되는 메시지 프레임은 고정길이를 가지는 헤더부와 헤더내의 명령어 코드에 따라 가변길이를 가지는 데이터부, 고정길이를 가지는 종료부로 구성된다.

 

또한, 모든 패킷에 걸쳐 바이트 정렬은(Network Ordering: Little-Endian)을 따라야 한다. 패킷을 구성하는 각 필드들에 대한 데이터 형과 그 길이를 표시함에 따른 표기법은 다음과 같이 정하며, 본 문서는 이러한 표기법에 따라 작성되어 있다.

표 3. 필드 타입 종류

Table 3. field type type

정수형 숫자로 표시되는 것이 일반적이며, 가변길이를 표현할 경우에는 다음과 같이 표현한다.

 

다. 프레임 구조

표 4. 프레임 구조

Table 4. frame structure

라. OPCode 및 응답코드(Result Code)

표 5. OPCode와 응답코드

Table 5. OPCode and Result code

마. 명령 코드별 DATA 필드 패킷 구성

제어기 시스템 정보 전송 및 시간 동기화를 요청한다. 제어기와 AI영상식별기의 시간을 동기화 하고 시스템 설정 정보를 송/수신 하는 명령어이다. connect 후 첫 번째로 송/수신한다.(임의의 시점에서도 가능)

수신된 ID들을 가지고 송/수신에 활용하며 전송된 제어기의 현재시각 정보로 AI영상식별기의 시간를 갱신하고 결과를 응답한다.

(1) 제어기→AI식별기 (OP:0x01) data field

 

(2) 제어기 ← AI식별기 (OP:0x01) data field

 

바. 객체 식별 정보 요청 및 응답

레이다에서 객체가 검출되면 제어기가 PTZ 명령을 전송한다. 그리고 PTZ 이동시간 영상 안정화 시간 후 객체 식별 정보 요청한다.

제어기는 객체의 검출시간, 레이더 번호, 카메라 번호, AI식별기 번호를 전송하고 AI영상식별기에서 수신된 정보를 검사하여 해당 영상의 식별 결과를 응답한다.

(1) 제어기 → AI영상식별기 (OP:0xA0) data field

(2) 제어기 ← AI식별기 (OP:0xA0) data field

사. 객체 식별 정보 전송 및 수신응답

스케줄링 카메라에서 영상 객체 검출 시 AI영상식별기에서 제어기로 검출 시점에 전송한다. 레이더 검출실패이므로 RadarID=0, 제어기는 정상 수신 되었음을 응답한다.

(1) 제어기 ← AI식별기 (OP:0xA1) 전송 data field

(2) 제어기 → AI영상식별기 (OP:0xA1) 응답 data field

 

아. PTZ제어시작 전송 및 응답

관제용 schedule AI식별기(client)에 카메라 이동 시작을 알림한다. 그리고 응답 메시지를 전송하고 10초 간격으로 preset 위치를 이동한다.

수신후 영상식별 시작하며 식별 결과를 0xA1 명령어로 제어기에 1번만 전송한다. 그리고 실영상, 열영상카메라에 각각 전송한다.

(1) 제어기 → AI영상식별기 (OP:0xB1) 전송 data field

 

(2) AI영상식별기 → 제어기 (OP:0xB1) 응답 data field

자. 통신 연결 유효성검사 전송 및 응답

AI식별기(client)가 제어기(server) 측으로 통신 연결 세션 상태가 정상인지 여부를 확인한다. 10초 간격으로 서버에 통신 연결 세션 유효성 확인 요청을 수행하고 송신시 에러가 나거나 수신이 없으면 연결 무효화 한다.

(1) AI영상식별기 → 제어기 (OP:0xF0) 전송 data field

 

(2) 제어기 → AI영상식별기 (OP:0xF0) 응답 data field

Ⅳ. 결론

본 연구에서는 융복합 영상 식별 시스템을 개발하여 자율주행 차량의 안전성과 성능을 향상시키는 것을 목표로 하였다. 이를 위해 다양한 영상 식별 기술을 활용하였고, 머신 러닝과 딥 러닝 알고리즘을 이용하여 객체를 인식하고 추적하는 시스템을 구축하였다. 또한, 영상 처리 기술과 차량 제어 시스템을 융합하여 자율주행 차량의 안전성과 성능을 높이는 것을 목표로 하였다.

결과적으로, 개발된 융복합 영상 식별 시스템은 자율 주행 차량의 안전성과 성능을 크게 향상시킬 것으로 기대되며 이를 통해 자율주행 차량의 상용화가 더욱 가속화될 것으로 예상된다. 또한, 본 연구에서는 영상 처리 기술과 차량 제어 시스템을 융합하는 방법을 제시하였으며, 이는 자율주행 분야에서 융합 기술의 중요성을 강조하는데 기여할 것이다.