Improved Parameter Inference for Low-Cost 3D LiDAR-Based Object Detection on Clustering Algorithms

클러스터링 알고리즘에서 저비용 3D LiDAR 기반 객체 감지를 위한 향상된 파라미터 추론

Abstract

This paper proposes an algorithm for 3D object detection by processing point cloud data of 3D LiDAR. Unlike 2D LiDAR, 3D LiDAR-based data was too vast and difficult to process in three dimensions. This paper introduces various studies based on 3D LiDAR and describes 3D LiDAR data processing. In this study, we propose a method of processing data of 3D LiDAR using clustering techniques for object detection and design an algorithm that fuses with cameras for clear and accurate 3D object detection. In addition, we study models for clustering 3D LiDAR-based data and study hyperparameter values according to models. When clustering 3D LiDAR-based data, the DBSCAN algorithm showed the most accurate results, and the hyperparameter values of DBSCAN were compared and analyzed. This study will be helpful for object detection research using 3D LiDAR in the future.

본 논문은 3D LiDAR의 포인트 클라우드 데이터를 가공하여 3D 객체탐지를 위한 알고리즘을 제안했다. 기존에 2D LiDAR와 달리 3D LiDAR 기반의 데이터는 너무 방대하며 3차원으로 가공이 힘들었다. 본 논문은 3D LiDAR 기반의 다양한 연구들을 소개하고 3D LiDAR 데이터 처리에 관해 서술하였다. 본 연구에서는 객체탐지를 위해 클러스터링 기법을 활용한 3D LiDAR의 데이터를 가공하는 방법을 제안하며 명확하고 정확한 3D 객체탐지를 위해 카메라와 융합하는 알고리즘 설계하였다. 또한, 3D LiDAR 기반 데이터를 클러스터링하기 위한 모델을 연구하였으며 모델에 따른 하이퍼 파라미터값을 연구하였다. 3D LiDAR 기반 데이터를 클러스터링할 때, DBSCAN 알고리즘이 가장 정확한 결과를 보였으며 DBSCAN의 하이퍼 파라미터값을 비교 분석하였다. 본 연구가 추후 3D LiDAR를 활용한 객체탐지 연구에 도움이 될 것이다.

1. 서론

LiDAR는 레이저 펄스를 쏘아 물체, 벽 혹은 임의의 공간에 맞아 반사되어 돌아오는 시간을 측정하여, 반사체의 위치 좌표를 측정하는 센서이다. LiDAR에는 1D, 2D, 3D LiDAR가 일반적으로 사용된다. 1D LiDAR는 초음파 센서와 유사하게 일직선으로 선 레이저 펄스를 쏘아 가장 가까운 물체까지의 거리를 측정한다. 2D LiDAR는 1D LiDAR 센서가 회전하면서 한 점이 아닌 X, Y의 2차원 평면에 존재하는 물체의 거리를 측정하고 평면을 감지한다. 3D LiDAR는 X, Y에 높이 축인 Z축이 추가된 3차원 평면에 대해 공간을 감지하고 해당 공간의 물체를 측정한다. 1D, 2D, 3D LiDAR뿐 아니라 3D LiDAR 정보에 각 포인트의 속도에 대한 정보를 추가한 4D LiDAR가 개발 [1] 중이다. 또한, 기존 3D LiDAR의 포인트 벡터값과 4D LiDAR의 속도 값에 해당 물체의 재료를 판단하기 위한 반사율 정보를 추가한 5D LiDAR와 관련된 연구도 진행 중이다. 현재 LiDAR는 산업용, 풍력 관측용, 지형 측정용 등 다양한 산업 전반에서 활용되고 있다.

전 세계 LiDAR 시장 규모는 2018년도에는 8억 1,910만 달러에서 연평균 성장률은 17.2%로 증가하였으며 2023년에는 18억 950만 달러에 이를 것으로 추정된다 [2]. 최근에는 자율주행 자동차, 자율주행 로봇 분야에서 LiDAR를 활용한 연구를 진행하고 있다. 이때, 3D LiDAR의 경우 사물의 3D 형태의 모습을 알 수 있지만, 초기 제품의 단가가 너무 높아 양산이 힘들었다. 자율주행 자동차는 실외에서 사용하며 각 물체 간의 거리가 멀고 공간의 크기가 정해져 있지 않아 고가의 장거리 LiDAR가 필요하다. 하지만 자율주행 로봇의 경우 실내에서 활용되며 공간의 크기가 일정하여, 장거리가 아닌 중, 단거리 LiDAR도 충분히 활용 가능하다. 로봇 청소기는 단거리 LiDAR를 실내에서 활용한 대표적인 예시이다. 유진 로봇의 아이클레보 G10은 LiDAR 기술을 활용한 Laser Distance Sensor (LDS)을 탑재하여 실내를 공간을 감지한다 [3]. LDS 센서는 2D LiDAR 스캐너로 현재 로봇 주변의 환경을 360도 감지한다.

2D LiDAR는 공간의 평면 정보만을 얻을 수 있으므로 공간상의 정확한 객체 정보는 알기 힘들다. 자율주행 로봇은 사람 객체를 인식하고 안내, 서빙 등 정해진 작업을 수행 해야 한다. 따라서 자율주행 로봇은 3D LiDAR를 활용하여 정확하게 객체를 판단하는 작업이 필요하다. 하지만, 자율주행 로봇에 3D LiDAR를 활용하는 것은 아직 연구 개발 단계이다. 이때, 3D LiDAR를 통해 얻는 3차원 벡터 포인트 데이터는 너무 방대하며 가공하기 힘들기 때문이다. 본 연구는 실내용 유진 로봇 사의 3D LiDAR [4]를 이용하여 공간의 객체 정보를 정확하게 탐지하기 위해 카메라와 3D LiDAR를 융합한 알고리즘을 제안한다. 알고리즘은 카메라의 객체탐지 알고리즘을 통해 실시간으로 객체를 탐지하고 해당 포지션에 대한 포인트 클라우드를 클러스터링한다. 클러스터링이란 객체들을 분류하기 위해 기존에 주어진 라벨 등이 없는 상태에서 데이터의 특징값만을 이용해 속성값이 유사한 객체끼리 그룹화하는 것이다. 이때, 본 연구는 3D LiDAR를 이용한 객체별 포인트 데이터 클러스터링한 뒤 객체 분류 결과를 제시하며 클러스터링 결과를 비교하여 적합한 클러스터링 모델과 하이퍼 파라미터값을 연구했다.

본 논문은 2장에서 3D LiDAR를 활용한 관련 연구들과 자율주행 로봇 연구들을 소개한다. 3장에서는 카메라와 3D LiDAR를 융합한 알고리즘에 관해 서술하며 3D LiDAR의 클러스터링을 설명한다. 4장에서는 3D LiDAR를 이용하여 객체를 분류한 실험의 결과를 나타내고, 마지막 5장에서 본 연구의 결론 및 추후 연구에 관해 서술했다.

2. 관련 연구

3D LiDAR를 이용하여 현재 객체가 있는 공간을 파악하고 인식하기 위한 연구가 진행 중이다. 자율주행 자동차의 경우 3D LiDAR를 이용하여 도로 위 다른 자동차와 도로 주변 사람, 나무 등의 물체를 탐지하며 LiDAR가 부착된 도로 노면을 파악할 때 사용한다 [5]. 자율주행 로봇의 경우 3D LiDAR를 이용하여 건물 내부의 설치된 물체 및 사람들을 탐지하고 건물 내부를 파악할 수 있는 전체 지도를 작성하게 된다 [6]. 이때, 3D LiDAR 활용한 객체탐지는 단순한 객체의 유무뿐 아니라 객체의 형태와 원근감까지 인식할 수 있다. 3D LiDAR의 값을 통해 객체를 탐지하는 다양한 연구 [7-11]들이 있다. 자율주행 차량 기반의 3D LiDAR의 데이터로 객체를 탐지하기 위해 단일 프레임만 사용하는 것이 아닌 연속되는 프레임을 사용하는 방법을 제안한 연구 [7]가 있다. 해당 연구는 시간에 대한 공간적 관계를 모델링하기 위해 인코더와 디코더로 이루어진 Temporal Channel Transformer (TCTR)를 설계 및 개발했다. 이때, 인코더에서는 여러 프레임의 시간 정보를 인코딩하고 디코더에서는 현재 프레임의 공간 정보를 디코딩하여 각 특징의 상관관계를 이용하여 모델링을 하게 된다. 다른 연구 [8]는 Convolutional Neural Networks (CNN) 을 활용하여 3D LiDAR의 포인트 클라우드 데이터 기반 다중 클래스를 탐지하기 위한 LMNet을 제안했다. 이때, 제안하는 네트워크는 CPU에서 자율주행 차량 데이터에서 객체를 탐지하는데 실시간에 가까운 성능을 가진다. CNN이 아닌 LSTM 네트워크를 사용하여 3D LiDAR 기반 다중 프레임에서 도로 위 다른 차량 객체를 탐지하는 연구 [9]도 있다. 이 연구에서는 각 프레임에서 독립적으로 객체를 탐지하는 것이 아닌 다중 프레임에서 연속되는 객체를 탐지하여 객체의 시간에 대한 정보를 활용한다. 또 다른 연구 [10]는 3D LiDAR와 카메라를 융합하여 카메라를 통해 객체의 Regions of interest (ROI) 를 구하고 이미지가 있는 구역의 포인트 클라우드로 자율주행 차가 아닌 도로 위 다른 차량과 사람 등의 객체를 인식한다. 자율주행 차량의 객체가 아닌 열차가 지나다닐 수 있는 건널목 등에서 3D LiDAR를 활용한 연구 [11]가 있다. 해당 연구는 열차 플랫폼에서 차량과의 충돌을 피하고자 철도와 인도를 인식하고 차량 또는 사람을 탐지한다.

로봇의 경우 기존 제조, 생산 분야에서만 로봇 팔 형태로 고정되어 사용됐지만, 현재는 서비스업 분야에서 스스로 움직이며 정해진 작업을 하는 자율주행 로봇의 사용이 확장되었다. 자율주행 로봇은 식당에서 서빙을 하는 서빙 로봇과 건물 내부를 안내하는 안내 로봇, 건물의 출입을 관리하는 경비 로봇, 전염병 상황에서 건물 내부를 스스로 소독하는 방역 로봇 등이 있다 [12]. 배달의 민족에서 개발한 서빙 로봇 달리 [13]는 테이블 번호를 입력하면 천장에 부착된 센서를 통해 해당 테이블로 맞게 이동한다. 다른 자율주행 로봇 중 LG에서 개발한 클로이 [14]는 호텔, 병원 등 다양한 건물 내부에서 안내, 배송, 소독 등 다양한 용도로 사용된다. 호텔에서 안내를 위해 사용되는 클로이 게스트 봇의 경우 고객의 목적지까지 동행하며 경로를 안내하게 된다. 원하는 자율주행 로봇이 원하는 목적지에 도달하기 위해서는 내비게이션 기능이 탑재되어 있다. 하지만 단순히 기존 지도상에 지정된 목표 지점에 도달할 뿐 아니라 물체를 인식한다면 사람에게 직접 음식을 전달하고 길을 잃은 미아 아동 등을 발견하는 등 더욱 다양한 작업을 할 수 있다. 물체를 인식하기 위한 3D LiDAR 연구는 대부분 실외환경의 자율주행 자동차에서 연구되었다. 이때, 자율주행 자동차에 사용되는 3D LiDAR는 150m 이상의 탐지가 가능해야 하며 이에 따라 가격이 1천 만 원 이상의 고가이다. 하지만 실내 환경에서는 100m까지의 탐지 반경은 필요하지 않고 단거리 LiDAR로 충분하지만 여러 대의 로봇을 필요로 해 저렴한 LiDAR가 개발되어야 했다. 현재 150만 원 이하의 단거리 3D LiDAR가 개발됨에 따라 실내에서 3D LiDAR를 활용하는 연구들이 진행되고 있다. 우리는 실외가 아닌 실내에서 3D LiDAR 기반 객체탐지를 제안한다. 본 연구는 3D LiDAR와 카메라를 융합한 알고리즘을 제안하고 있다. 기존 우리는 연구를 통해 2D LiDAR와 카메라로 탐지된 사람을 융합하는 연구 [15]를 진행했다. 2D LiDAR와 카메라를 같은 방향을 향하게 위치시켜 2D LiDAR로 탐지된 point cloud 값과 카메라로 탐지된 bounding box를 매칭시켰다. 본 연구에서는 2D LiDAR가 아닌 3D LiDAR를 통해 이를 진행하며 수집된 3D point cloud 값을 클러스터링 하여 카메라와 매칭 시킨다. 이때, 카메라의 객체탐지 알고리즘을 통해 실시간으로 객체를 탐지하고 해당 위치에 대한 포인트 클라우드를 클러스터링하여 더욱 정확하게 객체탐지가 가능하다.

3. 제안하는 알고리즘

본 연구는 객체탐지를 위해 3D LiDAR와 카메라를 융합한 알고리즘을 제안한다. 그림 1은 제안하는 연구의 전체 구성도를 간단히 나타낸 것이다. 이때, 모바일 로봇에 카메라와 3D LiDAR를 같은 방향으로 향하게 하여 수직선 상에 설치한다.

(그림 1) 제안하는 연구 구성도

(Figure 1) Propose research architecture

카메라와 3D LiDAR를 통해 얻은 데이터는 클라우드 서버에 전송된다. 서버에서는 카메라를 통해 얻은 영상 데이터로 객체를 탐지하여 객체탐지 결과의 boundary box와 라벨값을 얻을 수 있다. 이때, boundary box의 크기가 영상 전체 크기의 70% 이상을 차지하는 경우 우리는 눈앞에 해당 물체가 바로 존재한다고 판단할 수 있다. 이때의 70%는 기존의 2D LiDAR와 카메라를 융합하는 연구를 통해 반복 실험하여 얻어냈다. 그때의 같은 방향에서 인식되고 있는 3D LiDAR의 포인트 클라우드 데이터를 수집한다. 수집된 데이터는 클라우드 서버에서 클러스터링 하게 된다. 그때, 클러스터링 된 분류의 중심 값을 찾아 중심 값이 로봇과 거리가 더 가까운 그룹을 선택한다. 객체가 바로 앞에 있다는 것은 영상을 통해 얻었기 때문에 뒤쪽에서 군집화 된 것이 아닌 앞쪽의 군집화 결과를 객체로 판단한다. 이를 통해 우리는 객체의 라벨과 정확한 위치 현재 로봇에서 객체까지의 거리 객체의 크기, 형태의 객체에 대한 정보를 얻을 수 있다. 그림 2는 제안하는 알고리즘의 흐름도를 나타낸 것이다. 3D LiDAR는 내부 센서가 1회전 할 때, 그림 3과 같은 데이터가 수집된다.

(그림 2) 제안하는 알고리즘 흐름도

(Figure 2) Propose algorithm flow chart

(그림 3) 3D LiDAR의 1회전 시 수집되는 데이터 모습

(Figure 3) Data collected at 1 turn of the 3D LiDAR

데이터는 x, y, z 총 3차원의 벡터값을 가지는 클라우드 포인트 값이 수집된다. 이때, 1회전 시의 수집되는 데이터는 누적되지 않아 형태 및 의미하는 바를 알기 힘들다. 각 회전 시의 데이터를 누적한 것은 그림 4와 같다. 그림 4의 데이터 수집 시 상황은 뒤쪽이 막힌 벽 앞에 사람이 서 있는 모습이다. 그림 4는 XY 평면, XZ 평면, YZ 평면의 모습을 나타낸 것이다. 사물, 사람, 벽 등의 형태를 확실하게 파악하기 위해서는 기존 1회전의 데이터를 활용하는 것이 아닌 3D LiDAR를 실행되면 데이터를 누적 수집해야 한다. 하지만 단거리 저가 3D LiDAR는 객체의 명확한 형태 파악이 힘들다. 따라서 우리는 객체의 형태를 더욱 선명하고 명확하게 파악할 수 있는 카메라와 융합한 알고리즘을 제안한다. 카메라는 물체의 명확한 형태를 파악하지만, 공간 내 물체의 정확한 위치는 알 수 없다.

(그림 4) 3D LiDAR 실행 모습

(Figure 4) Example of running 3D LiDAR

따라서 본 연구에서 제안하는 알고리즘은 3D LiDAR와 카메라가 같은 방향을 향하게 위치시켜 카메라를 통해 물체의 위치를 파악한다. 그 뒤 boundary box를 통해 영상의 물체 위치를 파악하고 3D LiDAR로 수집된 포인트 클라우드 값을 클러스터링하여 공간상 물체의 위치를 정확하게 파악하게 된다. 3D LiDAR는 물체 등에 레이저 펄스를 쏘아 반사되어 돌아오는 시간을 측정한 것으로 실행함에 따라 수집된 포인트 클라우드 값은 그림 5와 같다.

(그림 5) 3D LiDAR 포인트 클라우드 데이터

(Figure 5) 3D LiDAR point cloud data

수집된 값의 초반 데이터는 LiDAR 센서를 실행시켰을 때 발생하는 센서 딜레이로 인해 이상치가 수집되어 해당 값들은 제외했다. 이때, 그림 5는 데이터값은 데이터 전처리를 통해 이상치를 제외한 뒤 데이터값을 보여준 모습이다. 그림 6은 X, Y, Z 총 3가지의 포인트 벡터값 일부를 python의 matplot 라이브러리로 3차원 시각화한 것이다. 본 연구에서는 Mean Shift [16], DBSCAN [17] 2가지 클러스터링 기법을 적용하여 비교 분석하였다. Mean Shift 기법은 개별 데이터들이 밀집된 지역을 찾기 위해 각 군집의 도심 점을 계속하여 업데이트하는 것이다. 이때, Mean Shift는 현재 도심 점의 주변에서 가장 데이터가 밀집된 방향으로 이동하게 된다. DBSCAN 기법은 밀도기반 클러스터링으로 군집 간의 거리를 이용한 K-mean 클러스터링과 다르다. DBSCAN은 어느 정도의 거리 안에 몇 개의 포인트가 있을지 하이퍼 파라미터를 이용하여 지정한 뒤, 클러스터링하게 된다. 본 논문에서는 각 클러스터링 기법의 하이퍼 파라미터를 찾기 위해 다양한 값을 입력하여 비교 분석했다.

(그림 6) 수집된 3D LiDAR 데이터 시각화

(Figure 6) Visualize collected 3D LiDAR data

4. 실험 및 결과

실험에 사용된 실내 3D LiDAR는 유진로봇 사에서 개발한 YRL3-10 모델로 그림 7과 같다.

(그림 7) 유진 로봇 3D LiDAR YRL3-10

(Figure 7) Yujin Robot 3D LiDAR YRL3-10

방 안에서 3D LiDAR를 실행시켜 3D LiDAR를 통해 수집된 3D 포인트 클라우드 값을 X, Y, Z 좌푯값으로 변환하여 총 524,713개의 포인트 좌표 데이터를 수집하였다. 수집한 데이터를 앞서 설명한 전처리 한 뒤, 이를 나타낸 모습은 그림 8과 같다.

(그림 8) 수집한 데이터를 전처리한 뒤 시각화한 결과

(Figure 8) Results of visualizing preprocessed data

이때, 빨간색 네모로 표시한 부분은 사람 객체이며 나머지 부분은 모두 벽과 천장 부분이다. 그림 9는 수집한 데이터를 클러스터링한 결과이며 이때, a는 Mean Shift 클러스터링 결과이며 b는 DBSCAN 클러스터링 결과이다. 두 가지의 클러스터링 중 벽과 물체를 더욱 세밀하게 분류한 것은 DBSCAN이다. Mean Shift 클러스터링의 하이퍼 파라미터인 bandwidthsms 1.2로 설정하였다. DBSCAN의 경우 하이퍼 파라미터인 epsilon 값을 0.4로 설정하였다. Mean Shift의 bandwidth는 크기에 따라 군집의 개수를 정하게 된다. 이때, bandwidth 값이 너무 작으면 군집의 개수가 많아지게 되며 지나치게 세분화된 분류 결과를 가지게 되고 반대로, bandwidth 값이 크면 너무 광범위한 분류 결과를 가진다. DBSCAN의 epsilon 값은 선택된 기준점으로부터 거리를 나타내며 군집의 크기에 영향을 미친다. epsilon 값이 작으면 군집은 세분화 되며 epsilon 값이 크면 군집은 커지게 된다. 최적의 하이퍼 파라미터 epsilon 값을 찾기 위해 우리는 1부터 0.01까지의 값을 순차적으로 삽입하여 나온 결과를 바탕을 최적의 값을 구했다. 실험을 통해 분석한 각 클러스터링 모델별 하이퍼 파라미터값과 그때의 클러스터링 군집의 개수는 표 1과 같다.

(그림 9) 클러스터링 결과, a는 Mean Shift clustering 결과, b는 DBSCNA clustering 결과

(Figure 9) Clustering results, a is the Mean Shift clustering result, and b is the DBSCNA clustering result

(표 1) 클러스터링 기법에 따른 하이퍼 파라미터값과 경우별 군집 개수

(Table 1) Hyperparameter values according to clustering techniques and the number of clusters per case

본 논문은 실험을 통해 3D LiDAR 기반 데이터를 이용한 클러스터링 시 DBSCAN이 Mean Shift보다 더 적합하다고 확인했다. 또한, 이때의 DBSCAN의 하이퍼 파라미터값인 epsilon의 값은 0.4일 때 가장 좋은 결과를 낸다는 것을 확인했다. 3D LiDAR의 원점과 같은 방향으로 설치된 카메라를 통해 클러스터링 된 3D LiDAR의 point 군집 결과와 카메라를 통한 객체탐지의 bounding box를 융합하여 객체의 명확한 위치 및 크기를 파악할 수 있다.

5. 결론

본 연구에서는 3D LiDAR 기반 객체탐지를 위해 카메라와 융합한 알고리즘을 제안한다. 기존의 3D LiDAR의 포인트 클라우드는 방대한 데이터로 인해 데이터를 다루는 데 어려움이 있었다. 본 연구는 카메라로 탐지된 객체에 대해 3D LiDAR 데이터의 클러스터링 기법으로는 DBSCAN을 연구했으며 DBSCAN의 하이퍼 파라미터값을 연구했다. 이때, 본 연구에서 현재 카메라와 3D LiDAR를 융합하는 알고리즘을 제안하며, 이를 통해 더욱 정확하게 객체를 탐지할 수 있다. 추후 융합 알고리즘을 개발하여 카메라만 사용한 경우, 3D LiDAR만 사용한 경우와의 비교를 통해 융합 알고리즘의 성능을 증명해낼 예정이다.