Effective Road Distance Estimation Using a Vehicle-attached Black Box Camera

차량 장착 블랙박스 카메라를 이용한 효과적인 도로의 거리 예측방법

Abstract

Recently, lots of research works have been actively focused on the self-driving car. In order to implement the self-driving car, lots of fusion techniques should be merged and, specially, it is noted that a vehicle-attached camera can provide several useful functionalities such as traffic lights recognition, pedestrian detection, stop-line recognition including simple driving records. Accordingly, as one of the efficient tools for the self-driving car implementation, this paper proposes a mathematical model for estimating effectively the road distance with a vehicle-attached black box camera. The proposed model can be effectively used for estimating the road distance by using the height of black box camera or the widths of the referenced road line and the observed road line. Through several simulations, it is shown that the proposed model is effective in estimating the road distance.

최근에 자율주행자동차에 대해 매우 활발한 연구와 개발이 진행되고 있다. 자율주행자동차를 구현하기 위해서는 매우 많은 기술들이 융복합적으로 해결되어야 한다. 이를 위해 차량에 장착된 블랙박스는 단순히 녹화기능 뿐만 아니라 신호등인식, 보행자검출, 정지선인식 등과 같이 자율주행차량을 구현하기 위한 핵심적인 기능을 제공할 수 있어 많은 연구 대상이 되고 있다. 따라서 자율주행차량을 구현하기 위한 한 가지 접근방법으로서 본 논문에서는 차량에 장착된 블랙박스 카메라를 이용하여 도로상에 위치한 거리를 효과적으로 예측할 수 있는 수식적인 모델을 제시한다. 제안한 모델은 도로의 기준선과 관찰선의 폭 또는 블랙박스 장착 높이 정보만을 이용함으로써 실제 도로상의 거리를 예측하는데 효과적으로 활용할 수 있음을 보인다. 다양한 실험을 통하여 본 논문에서 제안한 도로상의 거리 예측 모델이 타당함을 보인다.

Ⅰ. 서 론

무인자동차는 운전자의 조작 없이 자동차 스스로 주행환경을 인식하여 목표지점까지 자동적으로 운행할 수 있는 자동차라고 할 수 있다. 스스로 위치를 파악하고, 주변 장애물을 인식할 수 있는 감지시스템, 그리고 가속, 감속, 조향 등의 명령을 내리는 중앙제어 장치, 명령에 따라 여러 가지의 필요한 작동을 수행할 수 있는 액추에이터 등으로 구성된다. 이와 같은 자율주행을 위해서는 전자제어, 정밀 센서, 반도체, 컴퓨터 및 로봇공학, GPS 등의 다양한 첨단 기술이 융복합적으로 구현되어야 실현될 수 있다. 세계적으로 무인자동차와 관련하여 CyCab, CyberCab, MobiVIP, CityMobi 등 다양한 프로젝트가 진행되고 있다. 특히, 구글은 무인자동차 개발에 가장 앞서가고 있으며, 국내에서는 대형자동차 제조회사를 중심으로 학계와 연계하여 다양한 프로젝트가 진행되고 있다[1].

한편 자율주행기술 중에서도 비전 및 센서를 이용한 시각정보의 입력 및 처리장치는 무인화 운행을 위한 자율주행의 기본 기술이다. 즉, 주행 중에 영상정보를 받아들이고, 받아들인 영상 중에서 필요한 정보를 추출해서 복합적으로 융합한 후, 분석 및 처리하여 장애물 회피와 돌발 상황에 대처하는 것은 매우 중요한 요소기술이다. 특히 신호등 색깔 인식, 교통 표지판 인식, 보행자 인식, 장애물 인식, 이륜차 인식, 차선 및 정지선 인식 등은 자동차에 장착된 블랙박스의 지능화를 통해 꼭 구현되어야 할 필수 기술이다[2,3]. 신호등 인식을 위해 주로 색깔 성분을 이용하여 교통신호등을 검출하고 인식하려는 연구가 다수 이루어졌으며, 가장 많은 연구가 진행되어 왔다. 그러나 야간 또는 빛의 간섭과 같은 현상에서는 오인식 문제점이 있어 이를 극복하기 위해 위치 인식과 같은 기법이 도입되기도 하였다. 자율주행자동차를 위해 각종 교통표지판 인식을 위해 교통표지판의 특징점을 추출하고, 인식하는 알고리즘이 다수 개발되었으나, 매우 많은 종류와 유사 표지판 인식에 의해 아직 인식률이 높지 않은 단계에 있다. 보행자 인식은 움직이는 객체를 탐지하고 이를 검출하여 인식하는 다양한 방식이 단일 시점 방식과 양안 시점으로 각각 시도되고 있다. 또한 차량에 장착되는 블랙박스의 영상정보와 차량의 OBD 정보 등을 이용하여 다양한 부가 기능을 구현하려는 노력이 진행되고 있다[4,5].

본 논문에서는 차량에 필수적으로 장착되고 있는 블랙박스의 영상정보를 활용하여 전방 보행자 인식, 정지선 인식, 신호등 인식 등에 꼭 필요한 정보인 거리를 예측하는 수식적 모델을 제안한다. 이를 위해 블랙박스에 장착된 카메라는 지면으로부터 일정한 높이에서 지면과 평행한 전방의 영상정보를 획득하고, 또한 전방의 기준선에 대한 폭의 정보를 활용함으로써 도로상의 거리를 예측하게 된다.

본 논문의 구성은 다음과 같다. II장에서 블랙박스 카메라를 이용한 도로의 거리 예측을 위한 실험 조건 및 환경을 제시하고, III장에서는 블랙박스 카메라에 의한 다양한 실험에 따른 파라미터 특성을 분석하고 거리예측 모델링을 수행한다. 또한 모델링 결과에 따른 예측오차 특성을 통해 제안 모델의 타당성을 검토한다. 끝으로 IV장에서는 결론을 맺는다.

 

Ⅱ. 블랙박스 카메라에 의한 실험환경 및 조건

본 논문에서는 차량에 장착되는 블랙박스 카메라는 지면으로부터 수직이고, 전방 도로를 평행하게 촬영한다고 가정한다. 이때 지면으로부터 카메라가 설치되는 높이에 따라 도로는 그림 1과 같이 다른 형태로 2차원 평면에 표현된다. 즉, (a)는 지면으로부터 높은 위치에서 (b)는 낮은 위치에서 촬영된 영상으로서 시각적 표현에 있어 차이가 있다. 따라서 실제 카메라가 설치되는 높이와 도로 폭이 2차원 평면에 표현되는 형태를 결정하고 소실점(vanishing point)의 위치가 다르게 표현된다[1,2]. 이러한 특성으로 본 논문에서는 그림 2와 같이 3차원 실험 및 촬영 환경을 2차원으로 근사화하는 과정을 도입한다. (a)는 인간의 시각적 인지 구조로 표현되는 3차원 도로와 소실점 형태이고, (b)는 입력영상의 2차원 도로와 소실점 형태를 각각 나타내고 있다. 본 논문에서는 블랙박스 카메라에서 전방으로 일정한 거리까지 떨어져 있는 관찰선의 거리를 예측하기 위해 그림 2에 주어진 파라미터를 이용한다. 3차원 파라미터는 블랙박스 카메라가 장착되어 있는 지면 높이(H), 도로 폭(W) 그리고 기준선으로부터 관찰선까지의 거리(D)이다. 블랙박스 카메라에 의해 2차원 영상으로 표현되고 획득되는 기준선의 폭(w1), 관찰선의 폭(w2), 깊이(d), 소실각(α)정보를 파라미터로 사용한다.

그림 1.블랙박스 카메라에 의한 도로 영상 (a) 높은 위치 (b) 낮은 위치 Fig. 1 Road images captured from a black-box camera (a) high view (b) low view

그림 2.도로의 3차원 및 2차원 표현과 파라미터 (a) 차원 표현 (b) 2차원 표현 Fig. 2 3D/2D representation and model parameters (a) 3D representation (b) 2D representation

 

Ⅲ. 실험 결과에 따른 파라미터 특성

3.1. 실험방식과 파라미터 추출 절차

블랙박스 카메라에 의해 도로 전방을 측정하기 위해 실제 자동차 도로와 비슷한 종류로 하여, 3가지 종류의 도로 즉, 산책로(폭 244.7cm), 차도(폭 276cm), 복도(폭 307cm)를 실험 장소로 선택하였다. 블랙박스의 카메라 장착 높이(H)는 25cm, 50cm, 75cm, 100cm, 125cm, 150cm, 175cm로 하여 일반적으로 블랙박스 카메라 장착 위치와 비슷한 범위로 하였다. 그리고 도로의 거리 예측을 위해 먼저 전방으로 기준선을 설정하고, 기준선으로 부터의 거리를 2.5미터 씩 증가하면서 관찰선을 설정하였다.

본 논문에서 실험을 위해 그림 2(b)에 나타낸 2차원 영상에서의 파라미터를 추출하기 위해 5단계의 과정을 통해 파라미터를 획득하였다. 먼저 영상을 입력받은 후에 가장 먼저 에지검출을 수행한다. 에지검출을 위해서 캐니 에지 알고리즘을 적용하여 전방 방향성과 기울기 값에 제한을 두고 이에 마스킹을 둠으로써 선을 검출한다. 그리고 허프변환에 의해 직선성분의 기울기 값과 절편값을 획득하고 동시에 소실점을 얻는다[6]. 이때 얻어진 파라미터 값은 화소 개수 단위로 폭(w), 깊이(d)이고 또한 수평방향과 직선의 교점을 이용하여 소실각(α)의 값을 획득하였다.

3.2. 모의실험 결과에 따른 파라미터 특성

먼저 그림 3은 산책로, 차도, 복도에 대해 각 카메라 높이에 따른 소실각(α)을 측정한 결과이다. 그림 1에서도 확인할 수 있듯이, 지면으로부터 카메라의 높이가 높아질수록 소실점은 멀어지고, 이에 따라 소실각이 증가하게 된다. 실험에서 복도의 폭이 307cm로서 가장 넓고, 차도(276cm), 산책로(244.7cm)순으로서 넓을수록 소실각은 감소한다. 그림 3(a)에서는 카메라의 위치가 높이 25cm씩 높게 위치함에 따라 소실각은 약 6.2도씩 증가하는 특성을 보인다. 즉, cm당 0.25도씩 증가할수록 소실각은 작게 된다. 그림 3(b)는 동일 높이에서의 소실각의 특성을 보여준다. 제일 왼쪽의 값들로 부터 감쇠하는 특성을 보이는데, 초기에 시작하는 값(절편)은 측정하는 도로 폭에 의존한다. 이때 도로 폭(W)의 값이 넓은 산책로 좌표들이고, 가운데는 차도, 우측은 복도의 특성을 나타낸 것으로서 같은 높이에서도 폭이 넓을수록 소실각은 작다. 이때 기울기는 폭 cm당 0.08도씩 감소하는 특성이 관찰된다.

그림 3.높이, 도로 폭에 따른 소실각의 특성 (a) 높이(H)에 따른 소실각(α)의 크기 변화 (b) 동일 높이에서의 소실각(α)의 차이 Fig. 3 Characteristics of vanishing angles for height, road width (a) Characteristics of vanishing angle for height (b) Difference of vanishing angle for identical height

다음은 높이(H)에 따른 소실점 깊이(d)를 화소 개수 단위로 측정하였다. 사용한 영상의 세로해상도는 888라인이다. 깊이는 그림 4에 주어진 영상에서 기준선(제일 앞에 놓인 파란색 선)을 설정하고 이 기준선에 대한 상대적인 깊이로 측정하였다. 그림 4에서 확인할 수 있듯이, 미세한 차이는 있으나, 높이가 cm당 1.15 화소만큼 증가하는 특성을 보인다. 여기서 주목할 점은 영상 내에 기준선이 주어지면, 도로 폭과 무관하게 소실점 깊이는 결정되는 특성을 갖는다는 점이다. 따라서 블랙박스 카메라 내에 일정한 기준선만 설정하면 소실점 깊이 정보는 선형 관계식에 의해 선형적 특성에 의해 예측될 수 있다.

그림 4.높이(H)에 따른 소실점 깊이(d)의 크기 변화 Fig. 4 Vanishing point depth(d) for height(H)

그림 5는 카메라의 높이를 100cm와 150cm로 고정한 경우에 대해 영상으로부터 획득한 깊이(d) 값에 따른 실제 거리와의 관계를 조사한 것이다. 이 결과에서 알 수 있듯이 기준선에서부터 관찰선까지의 거리 관계는 도로 폭(W)과는 거의 관계가 없음을 알 수 있다. (a)에서는 산책로와 복도는 거의 동일하게 측정되었으며, 차도는 미세한 차이가 있는데, 이 결과는 모의실험에서 얻은 측정 오차에 기인한 것으로 보인다. (b)에서 도로 폭과 거의 무관하게 세 가지 모두 유사한 방향으로 증가하는 특성을 보였으며, 이 그림에서 차이도 모의실험에 의한 누적오차에 기인한 것으로 보인다. 그러나 (a)와 (b)의 비교에서 알 수 있듯이 블랙박스 카메라의 장착 높이가 변화함에 따라 유사한 깊이에서도 실제 거리의 예측이 달라지는 것을 확인할 수 있으므로 실제거리를 예측하기 위해서는 깊이 값(d)과 더불어 카메라 높이(H)에 의해 결정될 수 있는 것이 필요하다.

그림 5.깊이(d)에 따른 실제 거리(D)의 변화 (a) 높이 100cm (b) 높이 150cm Fig. 5 Real distance(D) for depth(d) (a) 100cm high (b) 150cm high

그림 6은 영상에서 측정되는 폭의 크기에 따른 실제 도로상에 떨어진 거리 사이의 상관관계를 나타낸 것이다. 차도와 산책로 모두 카메라의 높이와 무관하게 폭에 따른 실제 거리는 일정하게 지수적으로 감소하는 특성을 보인다. 따라서 블랙박스 카메라를 통해 얻어지는 기준선에서 관찰선까지 떨어진 거리는 영상에서 관찰되는 폭(w2)와 실제의 도로 폭(W)에 의해 결정될 수 있음을 보인다.

그림 6.폭과 실제 거리와의 관계 (a) 차도 (b) 산책로 Fig. 6 Relations between width and real distance (a) Roadway (b) Walking road

한편, 그림 5에서 영상 내에서 결정되는 폭(w2)은 블랙박스 카메라의 높이와 무관하게 일정한 특성을 보인다. 즉 이러한 특성은 측정하려는 관찰선과 기준선에 대한 폭의 비율을 통해 실제거리를 추측하는 것이 가능함을 확인할 수 있다. 이에 따라, 그림 7은 영상에서 측정하는 관찰선 폭(w2)에 대한 기준선의 폭(w1) 비율에 따라 실제거리를 모든 높이에 대해 평균화해서 나타내었다. 관찰선 폭에 대한 기준선 폭의 비율에 대해 실제거리는 선형적인 특성을 나타남을 볼 수 있다.

그림 7.기준선과 관찰선 폭 비율에 따른 실제거리 Fig. 7 Real distance for the ratio of reference line and observation line

세 종류의 도로에 상관없이, 그리고 높이에 거의 무관한 특성을 갖는다. 따라서 관찰선 폭(w2)에 대한 기준선 폭(w1)의 비율을 이용함으로써 실제거리를 예측하는 것이 가능하다.

 

Ⅳ. 거리 예측 모델링 및 성능 비교

그림 3부터 7까지의 특성을 그대로 수식적인 모델링을 도출하였다.

4.1. 소실각의 예측 모델링과 성능

그림 3의 실험결과에서 확인하였듯이, 소실각은 도로의 폭(W)과 카메라 높이(H)에 의해 직접적으로 영향을 받는다. 따라서 cm단위로 측정되는 W와 H를 이용하여 다음과 같이 소실각 값 예측을 위한 수식적인 모델링은 다음과 같다.

이 수식적인 모델링에 기초하여 소실각의 예측결과는 표 1과 같다. 카메라의 높이가 50cm에서 150cm로 변화함에 따라 증가되는 소실각을 비슷한 값 수준으로 예측함을 확인할 수 있다. 즉 산책로, 차도, 복도 등의 도로 폭의 크기와 상관없이 대략 ±2도의 범위 이내에서 예측됨을 확인 할 수 있다.

표 1.높이에 따른 소실각 예측결과 비교 Table. 1 Vanishing angles for heights

4.2. 높이에 따른 소실점 깊이의 예측 모델링과 성능

그림 4의 결과에 따라 높이(H)에 따라 기준선에 대한 소실점의 깊이를 예측하기 위한 수식적인 모델 과 실제 소실점 깊이(d)를 알고 있는 경우에 실제 카메라의 높이를 예측하기 위한 수식적인 모델 Ĥ(d)은 각각 다음과 같이 수식적인 모델링을 수행한다.

여기서, ε은 세로해상도를 반영하는 상수로서, 본 논문에서는 (세로해상도 화소개수)/888이다. 표 2에 나타낸 깊이 값은 영상에서 측정한 화소 개수이며, 같은 높이에서 다른 깊이값은 측정오차에 기인한다. 예측오차는 ±5개의 화소 범위 이내에서 결정됨을 관찰할 수 있다. 표 3은 식(3)에 의해 소실점의 깊이를 측정 가능한 경우에 실제 카메라가 장착된 높이를 예측한 결과이다. 이 결과에서는 ±5cm 범위 이내에서 높이를 예측할 수 있음이 확인된다.

표 2.높이(H)에 따른 소실점의 깊이 값 예측결과 Table. 2 Vanishing points depth for heights

표 3.소실점의 깊이(d) 값에 따른 높이 예측결과 Table. 3 Estimating results of heights for depth

4.3. 거리 예측 모델링 및 성능 비교

이상에서 관찰한 모의실험 결과를 바탕으로 본 논문에서는 기준선으로부터 관찰선까지의 거리 예측을 위해 세 가지의 모델링 방법을 수행한다. 첫 번째는 그림 5에 나타난 결과에 의해 카메라의 높이 별로 관찰선 깊이(d)에 따른 실제거리를 예측하는 방법을 사용한다. 이 방법은 모의실험 결과에 따라 다음 표와 같이 실제 거리 예측 모델을 정의한다.

표 4.관찰선의 깊이 값(d)에 따른 거리 예측모델 (깊이모델) Table. 4 Road distance estimation models for the depth of observation lines

깊이에 따른 실제거리를 예측하는 모델은 높이 별로 다른 모델을 사용해야 하는 단점을 안고 있다. 개별적인 높이에 따른 모델 파라미터를 저장해야 하는 문제점을 극복하는 것이 필요하다.

두 번째는 그림 6에 나타낸 결과에 의해 폭(w2)의 크기에 따른 실제거리를 예측하는 방법을 사용한다. 그림 6의 결과에서 관찰선이 갖는 폭에 대해 지수적으로 일정하게 감소하는 특성을 반영하는 방법으로 모델링된다. 즉, 이 방법은 모의실험 결과에 따라 표 5와 같이 실제 거리 예측 모델을 정의한다.

표 5.도로의 종류에 따른 거리 예측모델(폭모델) Table. 5 Road distance estimation models for the different roads

이 모델도 도로 종류에 따라 다른 모델이 필요하여 폭이 필요할 수 있다. 그러나 실제 도로 폭(W)은 가상적으로 설정이 가능하기 때문에 단점이 아니지만, 첫번째 모델과 두 번째 모델은 모두 영상의 세로 해상도에 의존적인 계산이 이루어진다.

세 번째는 그림 8에 나타낸 결과에 의해 관찰선 폭(w2)에 대한 기준선 폭(w1)의 비율(x)에 의해 실제 거리를 예측하는 수식적인 모델(폭비율모델)을 다음과 같이 정의한다.

그림 8.세 가지 거리 예측 모델의 오차 비교 Fig. 8 Comparison of estimating error for three models

이 모델은 카메라의 높이(H)나 영상의 세로해상도, 그리고 도로의 폭(W)의 크기가 수식에 표현되어 있지 않으나 식(2)와 (3) 조건 아래에서 수행되는 모델이다.

이상에서 제시한 3가지 모델에 대한 거리 별 예측오차를 그림 6에 나타내고 있다. 깊이모델과 폭모델은 각각 12.5m 이내의 근거리에서는 거리를 다소 과대 예측하는 반면에 15m 이상의 거리 예측에서는 과소 예측하는 특성을 보인다. 이 두 모델은 대략 1.5m ~ 3m까지의 최대 오차가 발생되었다. 반면에서 폭비율 모델은 실제거리와 무관하게 매우 정확한 결과를 도출하였고, 오차도 ±0.5m 정도의 오차만 발생시켰다. 이러한 결과를 통해 도로상의 거리를 예측하는데 있어 카메라의 높이와 기준선의 폭이 정상적으로 설정되어 있는 경우에 대해 본 논문에서 제시한 모델을 통하여 도로상의 거리를 적절히 예측할 수 있음을 확인하였다. 특히, 영상에서 관찰되는 폭 비율만을 사용하는 모델이 가장 연산량이 작고 간단히 계산될 수 있으며, 정확도가 높음을 확인할 수 있었다.

따라서 이상의 실험을 통하여 실제 기준선 거리를 더해주면 실제의 거리와 유사한 값을 효과적으로 예측할 수 있음을 검증하였다.

 

Ⅴ. 결 론

본 논문에서는 자율주행자동차를 구현하기 위한 기본기술의 한 가지 방법으로서 블랙박스 카메라를 이용하여 도로의 거리를 예측하는 방식을 다루었다. 블랙박스 카메라가 설치된 지상으로 부터의 높이와 전방 기준선의 폭을 설정하여 얻어지는 다양한 파라미터 값이 갖는 통계특성을 조사하고 분석하였다. 이를 바탕으로 전방 도로의 근거리를 적정하게 예측할 수 있는 세 가지 모델을 제시하고 분석하였다. 모의실험을 통하여 관찰선 폭에 대한 기준선 폭의 비율로 결정되는 거리 예측모델이 가장 간단하고 또한 쉽게 구현될 수 있으며, 정확도가 가장 우수한 것으로 확인되었다. 따라서 이러한 모의실험을 통하여 차량에 장착된 블랙박스 카메라를 이용하여 전방도로의 거리 예측이 가능함을 검증하였고, 실제 상업화하여 실현가능하다는 측면에서 의미를 둘 수 있다.

한편, 본 논문에서는 거리 예측을 위해 30m 이내 범위로 제한을 두었으며, 더 확장된 거리 예측을 위해서는 더 높은 고해상도 카메라의 사용을 필요로 한다. 또한, 영상을 획득하기 위해 수행한 실험에서는 널리 보급된 한 종류의 블랙박스 카메라의 영상을 사용하였지만, 실제 카메라마다 렌즈왜곡 등 원하지 않는 왜곡 현상이 다양하게 발생할 수 있으며, 이것이 본 논문에서 사용한 파라미터와 제안한 모델에 어떠한 영향을 주는지에 대한 분석 등이 추가적으로 진행될 필요가 있다. 또한 곡선도로나 지하차도와 같은 다양한 도로에 대해 검증하여 거리예측 모델의 타당성에 대해 확인할 필요가 있다.

앞으로 본 논문에서 제안한 도로상의 전방 거리 예측방식은 정지선 인식, 보행자 인식, 교통신호등 인식 등에 활용 방안에 대해 연구를 수행될 필요가 있으며, 이를 통해 자율주행자동차 구현에 있어 보조적인 역할을 담당할 수 있을 것으로 기대된다.