Crosswalk Detection Model for Visually impaired Using Deep Learning

딥러닝을 이용한 시각장애인용 횡단보도 탐지 모델 연구

Abstract

Crosswalks play an important role for the safe movement of pedestrians in a complex urban environment. However, for the visually impaired, crosswalks can be a big risk factor. Although assistive tools such as braille blocks and acoustic traffic lights exist for safe walking, poor management can sometimes act as a hindrance to safety. This paper proposes a method to improve accuracy in a deep learning-based real-time crosswalk detection model that can be used in applications for pedestrian assistance for the disabled at the beginning. The image was binarized by utilizing the characteristic that the white line of the crosswalk image contrasts with the road surface, and through this, the crosswalk could be better recognized and the location of the crosswalk could be more accurately identified by using two models that learned the whole and the middle part of the crosswalk, respectively. In addition, it was intended to increase accuracy by creating a boundary box that recognizes crosswalks in two stages: whole and part. Through this method, additional frames that the detection model did not detect in RGB image learning from the crosswalk image could be detected.

복잡한 도시 환경에서 횡단보도는 보행자의 안전한 이동을 위해 중요한 역할을 한다. 하지만 시각 장애인에게는 횡단보도가 큰 위험 요소가 될 수 있다. 안전한 보행을 위한 점자 블록이나 음향 신호등과 같은 보조 시설들이 존재하지만, 부실한 관리로 인하여 때로는 오히려 안전을 저해하는 요소로 작용할 수 있다. 본 논문에서는 시각 장애인의 보행 보조를 위한 애플리케이션에 활용할 수 있는 딥러닝 기반 실시간 횡단보도 탐지 모델에 정확도 향상을 위한 방법을 제안한다. 횡단보도 이미지의 흰색 줄이 도로 표면과 대조를 이루는 특성을 활용하여 이미지를 이진화하고, 이를 통해 횡단보도를 더 잘 인식할 수 있게 하고 횡단보도 전체와 중간 부분을 각각 학습한 두 가지 모델을 활용하여 횡단보도의 위치를 더 정확하게 파악할 수 있도록 하였다. 또한 횡단보도를 인식하는 경계 상자를 전체와 부분의 두 단계로 생성하여 정확도를 높이고자 하였다. 이러한 방법을 통해 횡단보도 횡단 영상에서 RGB 이미지 학습에서 탐지 모델이 탐지하지 못한 프레임들을 추가로 탐지할 수 있었다.

1. 서론

1.1 연구 배경

도시 환경은 다양한 건물, 도로, 공원, 광장 등의 구조물과 시설로 구성되어 있다. 그중에서도 횡단보도는 특히 중요한 역할을 한다. 이는 보행자들이 차량이 다니는 도로를 안전하게 건널 수 있도록 해주는 설비이기 때문이다.

횡단보도는 차량과 보행자의 움직임을 체계적으로 분리하여, 보행자들이 차량의 이동 경로와 충돌하지 않도록 하여 보행자의 안전을 보장한다[1]. 그러나 이러한 횡단보도는 시각 장애인에게는 큰 위험 요소로 작용할 수 있다. 횡단보도를 통과하는 과정에서 보행 신호등의 색상 변화는 차량의 통행 여부를 알려주고, 도로 표시는 보행자의 안전한 이동 경로를 지시하는데, 이러한 시각적 정보를 이해하고 판단하는 것이 중요하지만 이러한 정보를 인식하기 어려운 시각 장애인에게는 횡단보도 이용이 어렵다 [2].

시각 장애인의 횡단보도 이용을 돕기 위해 점자 블록이나 음향 신호등과 같은 다양한 보조 시설들이 설치되어 있다. 하지만, 미관상의 이유로 점자 블록이 사라지거나 잘못 설치되거나 관리가 미흡한 경우, 점자 블록은 오히려 시각장애인에게 보행의 안전성을 저해하는 요소로 변하게 된다[3]. 또한, 시각 장애인들에게 유용하 음성으로 신호를 알려주는 음향 신호기의 경우, 보급률이 낮아 여전히 시각장애인들이 횡단보도를 안전하게 이용하는 환경이 조성되어 있지 않다. 이에 따라 시각 장애인의 이동과 독립적인 생활이 제한되며, 불편함과 위험성이 증가한다[4,5].

이 문제를 해결하기 위해, 이 논문에서는 실시간 객체 탐지 모델을 활용한 횡단보도 실시간 탐지 모델을 제안한다. 이 모델은 시각장애인용 애플리케이션에 적용하여 횡단보도를 탐지하고 이를 오디오나 텍스트 메시지 형식과 같은 시각적 정보가 아닌 다른 형태의 정보로 장애인에게 전달 할 수 있게 한다. 이를 통해 시각 장애인이 횡단보도를 더 쉽게 이해하고 안전하게 통과할 수 있도록 도와 시각 장애인의 독립적이고 안전한 이동을 지원하며, 도시의 보행 환경을 개선하고 접근성을 향상하는 데 이바지할 것이라고 예상한다.

본 논문에서는 횡단보도 전체를 탐지하는 모델과 횡단보도 패턴을 파악하는 모델 두 가지를 활용하여 횡단보도의 탐지 신뢰도를 높이고 각 모델을 이진화한 이미지를 학습한 다른 모델을 이용하여 횡단보도 탐지의 정확성을 향상하는 후처리를 제안한다[6].

1.2 모델 소개

제안하는 객체 탐지 모델은 가장 최근에 발표된 객체 탐지 모델인 YOLO(You Only Look Once)를 이용한다. YOLO는 실시간 객체 감지 및 이미지 분석을 위한 state-of-the-art 모델로, 간단한 디자인으로 다른 기기로의 이식성이 높다. 특히 YOLO는 객체 탐지 속도를 중점으로 개발된 모델로 오픈소스화되어있어 다양한 버전으로 개발되고 있는 모델이다. 하나의 네트워크만을 이용하여 객체의 위치와 클래스를 분류한다. v8의 경우 v5를 개발한 Ultralytics에서 v5를 개선하여 나온 버전으로 v5에서 불필요한 레이어를 삭제하고 커널의 크기를 줄여 정확성은 유지하면 더 빠른 모델로 개선하였다 [7].

2. 학습 과정

2.1 학습 데이터의 구성

첫 번째 데이터세트의 경우 횡단보도의 중간 부분을 탐지하기 위해 횡단보도의 중간 부분을 라벨링 한 데이터세트를 준비하였다. 데이터세트는 셀렉트 스타에서 제공하는 교차로 및 횡단보도 데이터세트에서 제공하는 공공데이터를 사용하였다. 해당 데이터세트는 총 36,000장의 이미지로 구성되어 있으면 횡단보도의 중간 부분을 라벨링하고 있다. 제공되는 데이터의 라벨링 형식이 JSON 형식을 되어있어 YOLO가 학습하기 부적합하여 YOLO 모델의 적합한 txt 파일로 변환하여 학습을 진행하였다.

두 번째, 학습 데이터를 횡단보도 전체를 라벨링 한 데이터를 얻기 위해서 Roboflow에서 제공하는 여러 횡단보도 이미지를 합쳐 약 12,000의 데이터세트를 준비하고, 부족한 데이터를 보완하기 위하여 데이터 증강 기법을 이용하여 약 21,000장으로 학습 데이터를 사용하여 학습을 진행하였다.

2.2 횡단보도 탐지 방법

횡단보도의 경우 일반적으로 검은 도로 표면과 대조적인 흰색을 사용하여 보행자나 운전자가 구분하기 쉽게 한다.

이러한 횡단보도의 특징을 이용하여 그림 1 과 같이 횡단보도가 강조되도록 이진화된 이미지를 학습한 모델과 RGB 이미지를 학습한 횡단보도 탐지 모델을 함께 구축하여 정확성을 향상시키고자 한다[8]. 횡단보도의 경우 흰 줄이 일정한 간격을 가지고 연속적으로 나타나는 형태임으로 다양한 길이의 횡단보도는 횡단보도의 전체를 인식하기는 어렵다고 판단하여 횡단보도 전체를 라벨링 한 데이터를 모델에 학습하고 횡단보도 중간의 3개에서 4개의 흰 줄만 라벨링 한 이미지를 이용하여 횡단보도의 중간을 학습한 다른 모델을 만든다.

그림 1 RGB 이미지와 이진화된 이미지

Fig. 1. RGB image and binary image

횡단보도 탐지 과정의 전체 구성은 그림 2과 같다. 입력된 영상이 단계(2-1)과 단계(2-2)에서 RGB 이미지와 이진화 이미지를 횡단보도 전체와 부분에 대해 각각 학습한 모델을 활용하여 각각의 경계 상자를 생성한다. 횡단보도 전체를 학습한 모델은 횡단보도의 전체적인 모습을 인식하고 이를 바탕으로 경계 상자를 형성하여 횡단보도의 전반적인 위치에 대한 정보를 얻는다. 횡단보도의 부분을 학습한 모델은 횡단보도의 패턴을 파악하고, 이를 통해 전체를 학습한 모델보다 정확하게 횡단보도의 부분을 파악하는 것을 중점으로 한다. 그리고 단계(3)에서 RGB 이미지와 이진화 이미지에서 횡단보도 전체와 부분에 대한 모델들 생성한 경계 상자들을 통합하여 횡단보도 전체의 후보 경계 상자와 횡단보도 부분의 후보 경계 상자를 만든다. 그런 다음 단계(4)에서 신뢰도가 85% 이상인 경계 상자만 남기고 나머지 경계 상자는 제거한다. 단계(5)에서 남은 경계 상자 중 횡단보도의 전체 표시하는 경계 상자와 횡단보도의 중간을 표시하는 경계 상자가 겹치는 영역의 비율을 계산한다. 단계(6)에서 두 경계 상자가 겹치는 영역이 95% 이상이라면, 단계(6-2)에서 전체 횡단보도 경계 상자를 기준으로 횡단보도가 탐지한다. 만약, RGB 이미지와 이진화 이미지에서 모두 전체를 탐지하지 못했을 경우 RGB 이미지에서 부분 탐지의 정확성이 95% 이상인 영역이 존재하면 그 영역만 횡단보도 인식한다[9]. 그 외의 경우 단계(6-1)에서 제거된다. 위와 같은 방법을 사용함으로써 횡단보드의 전체만 학습한 하나의 모델에서 부족한 정확도를 단순한 패턴을 가진 횡단보도 부분을 빠른 속도와 높은 정확성으로 탐지하여 보완하여야 한다.

그림 2. 횡단보도 탐지 순서도

Fig. 2. Crosswalk detection flow chart

3. 실험

횡단보도 탐지를 위한 모델은 실시간 처리 능력이 필수적이며, 이를 위해 빠른 계산이 요구된다. 더불어, 휴대성을 고려할 때, 기기의 크기는 작아져야 하며, 이에 따라 제한된 메모리와 프로세싱 파워를 가진 장치에서도 효과적으로 작동할 수 있어야 하며 에너지 효율성 또한 고려되어야 한다.

이러한 요구사항들을 충족하기 위해, 횡단보도 탐지 모델의 개발에 있어서 파라미터의 수가 작은 모델이 더욱 적합하다고 판단하여 본 논문에서는 YOLO에서 제공하는 파라미터가 작은 두 가지 모델인 nano 모델과 small 모델로 실험을 진행하였다.

모든 실험에서 50 에포크 동안 큰 변화가 없으면 학습을 종료하게 설정하여 최대한 많은 학습이 이루어지도록 하였다. 그리고 학습 중 생성된 가중치중 가장 성능이 좋은 가중치를 선택하였다. 성능은 mAP(Mea n Average Precision)와 추론 시간을 비교하고 평가한다. 모델의 학습 결과는 모델이 횡단보도라고 예측한 결과 중 실제 횡단보도인 비율인 정밀도(precision)와 실제 횡단보도중 모델이 횡단보도로 예측한 비율을 나타내는 재현율(recall) 그래프를 이용하여 나타낸다.

3.1 nano 모델 학습 결과

3.1.1 RGB 이미지 학습 결과

횡단보도 전체를 라벨링한 RGB 이미지를 이용하여 nano 모델을 학습하였을 경우 그림 3과 같은 학습 결과를 보여주었다.

그림 3. nano 모델을 활용한 횡단보도 전체 탐지 모델 학습 그래프

Fig. 3. Crosswalk full detection model training graph using nano model

그림 3의 정밀도 그래프에서 최종적으로 정확도는 0.92, 그림 3의 재현율 그래프에서 재현율은 0.89로 학습을 종료하였다.

횡단보도의 중간을 라벨링한 RGB 이미지를 이용하여 nano 모델을 학습하였을 경우 그림 4과 같은 학습 결과를 보여주었다.

그림 4. nano 모델을 활용한 횡단보도 중간 탐지 모델 학습 그래프

Fig. 4. Crosswalk Intermediate Detection Model training graph with nano Model

총 380번의 학습을 진행하였으며 최종적으로 정확도 0.93에 재현율은 0.92로 학습을 종료하였다. 횡단보도 전체를 학습한 모델보다 조금 더 나은 성능을 보여주었다.

3.1.2 이진화 이미지 학습 결과

횡단보도 전체를 라벨링한 이미지를 임곗값 200으로 하여 이진화한 이미지를 이용하여 nano 모델을 학습하였을 때 그림 5과 같은 학습 결과를 보여주었다.

그림 5. nano 모델을 활용한 이진화 횡단보도 전체 탐지 모델 학습 그래프

Fig. 5. Binaryized Crosswalk Full Detection Model training graph with nano Model

총 395번 학습을 진행하였으면 최종 정확도는 0.88, 재현율은 0.6으로 종료되었다. 이진화로 학습 이미지가 단순하여 거짓 양성(False Positive)이 많아져 정확도와 재현율이 낮게 나온 것으로 판단한다.

횡단보도의 중간을 라벨링 한 이진화 이미지를 이용하여 학습한 nano 모델을 학습하였을 경우 그림 6과 같은 학습 결과를 보여주었다. 총 123번 학습하여 최종 정확도 0.6, 재현율 0.43으로 학습을 종료하였다. 재현율이 낮게 나온 이유는 이미지 증강 기법 중 이미지의 밝기를 변경하는 기법을 적용하면서 이미지의 밝기가 변경되면서 임곗값이 적절하지 않았기 때문이라고 생각한다.

그림 6. nano 모델을 활용한 이진화 횡단보도 중간 탐지 모델 학습 그래프

Fig. 6. Binaryized Crosswalk Intermediate Detection Model training graph with nano Model

3.2 small 모델 학습 결과

3.2.1 RGB 이미지 학습 결과

횡단보도 전체를 라벨링 한 RGB 이미지를 이용하여 small 모델을 학습하였을 경우 그림 7과 같은 학습 결과를 보여주었다. 총 538번 학습하여 정확도 0.93과 재현율 0.91로 학습을 마무리하였다. nano 모델과 비교하면 정확도에서 큰 변화는 없지만, 재현율이 약간 상승하였다.

그림 7. small 모델을 이용한 횡단보도 전체 탐지 모델 학습 결과

Fig. 7. Crosswalk full detection model learning graph using small model

횡단보도의 중간을 라벨링 한 RGB 이미지를 이용하여 학습한 small 모델을 학습하였을 경우 그림 8과 같은 학습 결과를 보여주었다.

그림 8. small 모델을 이용한 횡단보도 부분 탐지 모델 학습 결과

Fig. 8. Crosswalk Intermediate Detection Model training graph with small Model

총 183번의 학습을 진행하였으며 nano 모델보다도 학습의 수는 적으면서 단 보도의 전체를 라벨링 한 이진화 이미지를 이용하여 nano 모델에서 학습했을 때보다 정확도가 0.01 증가하여 0.94를 나타내었고 재현율은 0.04가 증가하여 재현율 0.93으로 학습을 종료하였다.

3.1.2 이진화 이미지 학습 결과

횡단보도 전체를 라벨링 한 이진화 이미지를 이용하여 nano 모델을 학습하였을 때 그림 9과 같은 학습 결과를 보여주었다. 총 282번 학습을 진행하여 정확도는 0.83으로 nano 모델과 비교하면 0.03 감소 하였고, 재현율은 0.67로 0.07 증가하였다. 횡단보도의 중간을 라벨링 한 이진화 이미지를 이용하여 학습한 nano 모델을 학습하였을 경우 그림 10과 같은 학습 결과를 보여 주었다.

그림 9. small 모델을 이용한 이진화 횡단보도 전체 탐지 모델 학습 결과

Fig. 9. Binaryized Crosswalk Full Detection Model training graph with small Model

그림 10. small 모델을 이용한 이진화 횡단보도 중간 탐지 모델 학습 결과

Fig. 10. Binaryized Crosswalk Intermediate Detection Model training graph with nano Model

총 136번 학습을 진행하여 최종적으로 정확도 0.76으로 nano 모델보다 0.16 증가하였지만, 재현율 0.36으로 0.07 감소 하였다. 그림 10의 그래프와 같이 학습을 진행할수록 성능이 낮아지는 현상을 보였다. 이는 이미지가 단순하여 과대 적합이 발생한 것으로 판단되어, 정확도와 재현율이 적절하게 높은 96번째까지 학습한 가중치를 사용하였다.

객체 탐지 모델의 성능을 표현하는 대표적인 수치인 경계 상자의 평균 정확도인 mAP는 표 1과 같다. 성능은 횡단보도 전체를 학습한 모델을 제외하고 모두 nano 모델보다 파라미터의 수가 많은 small 모델에서 약간의 향상한 성능을 보여 주었다.

표 1. 학습 모델별 성능 표

Table 1. Performance Table by Learning Model

4. 학습 모델 검증

모델의 실제 영상에서 적절하게 동작하는지 확인하기 위하여 삼성 갤럭시 노트 10에 내장된 카메라를 사용하여 지면에서 150cm 정도 위에서 도시의 서로 다른 4개의 횡단보도를 건너며 촬영한 영상을 사용하여 검증하였다. 각 영상에서 모델의 평균 추론 시간은 표 2과 같다.

표 2. 학습 모델별 추론 시간 표

Table 2. Inference Time table by Learning Model

AI 모델의 크기는 그 모델의 파라미터 개수를 결정하는 중요한 요소이다. 이를 통해 모델이 처리할 수 있는 정보의 양과 복잡성이 늘어난다. 따라서 small 모델이 nano 모델보다 더 많은 파라미터를 가지고 있어서 같은 영상에서 추론하는데 대략 두 배의 시간이 더 소요될 것으로 판단된다.

그림 11와 같이 AI 모델의 크기가 크다고 해서 항상 성능이 우수한 것은 아닌 것으로 확인되었다. small 모델과 nano 모델 간에는 각각의 장단점이 존재하며, 특정 상황에서는 nano 모델이 small 모델보다 정확하게 탐지하기도 한다.

그림 11. 이진화 이미지와 RGB 이미지의 횡단보도 탐지 결과 (a) 원본 사진 (b) nano 모델을 이용한 RGB 이미지에서 횡단보도 탐지 (c) nano 모델을 이용한 이진화 이미지에서 횡단보도 탐색 (d) small 모델을 이용한 RGB 이미지에서 횡단보도 탐지 (e) small 모델을 이용한 이진화 이미지에서 횡단보도 탐색

Fig. 11. Crosswalk detection results for evolutionary and RGB images (a) original photographs (b) Crosswalk detection in RGB images with nano models (c) Crosswalk detection in binary images with nano models (d) Crosswalk detection in RGB images with small models (e) Crosswalk detection in binary images with small models

예를 들어, 표 2의 video 1에서 횡단보도 전체를 학습한 모델의 경우, small 모델은 횡단보가 있는 832 프레임 중 494프레임에서 횡단보도를 탐지하였고 nano 모델은 452프레임에서 횡단보도를 탐지하였다. 그중 53번의 프레임에서 nano 모델은 탐지하지 못한 횡단보도를 small 모델은 탐지에 성공하였다. 반대로, nano 모델이 횡단보도를 탐지한 11번의 프레임에서 small 모델은 횡단보도를 탐지하지 못하였다. 이진화 이미지에서도 비슷한 결과가 나타났다. nano 모델이 탐지하지 못한 14번의 프레임에서 small 모델은 횡단보도를 탐지하였다.

부분 탐지에서도 RGB 이미지에서 small 모델은 15번의 프레임에서 nano 모델이 탐지하지 못한 횡단보도를 탐지하는 데 성공하였다. 이진화 이미지에서는 small 모델이 8번의 프레임 더 많은 횡단보도를 탐지하였다. 횡단보도 전체의 경우 패턴이 다양하므로 small이 nano 모델 더 높은 정확성을 보여주었지만, 횡단보도의 부분의 경우 패턴이 단순하여서 small 모델과 nano 모델은 유사한 탐지 성능을 보여주었다.

횡단보도 전체의 경우 RGB 이미지를 학습한 모델과 이진화 이미지를 학습한 모델이 탐지한 횡단보도는 568프레임으로 RGB 이미지를 학습한 모델만 사용하였을 때 보다 74번의 프레임에 더 많은 횡단보드를 탐지하였다. 횡단보도의 부분의 경우 두 모델을 동시 사용하였을 때 23번의 프레임에서 더 많은 횡단보드를 탐지하였다.

횡단보도 전체를 학습한 모델만 사용하였을 경우 횡단보도가 있는 832프레임에서 489프레임에서 횡단보도를 탐지하였지만, 논문에서 제시한 방법을 사용하면 598프레임에서 횡단보도를 탐지하여 전체의 70%에서 횡단보도를 탐지하였다.

5. 결론

본 논문에서는 YOLO v8을 활용하여 시각 장애인의 횡단보도 이용에 도움을 줄 수 있는 횡단보도 탐지 모델을 제안하였다. 기존 모델은 단순히 YOLO에 횡단보도의 전체 이미지를 학습하여 이용하였다. 횡단보도의 경우 단순한 패턴의 연속으로 이루어지면 길이에 따라 패턴이 변화하기 때문에 정확성이 떨어지는 문제가 발생한다. 이러한 문제를 해결하기 위해 파라미터가 작은 모델을 사용하면서 이진화된 이미지를 학습한 모델을 이용하여 낮은 정확성을 보완하는 방식을 고안하였다.

실험을 위해 YOLO에서 지원하는 파라미터가 가장 작은 모델 두 개를 같은 데이터를 이용하여 각각 훈련을 진행한 후 실제 영상을 이용하여 성능을 비교하였다. nano 모델과 small 모델의 mAP(0.5)와 mAP(0.5:0.95) 비교할 때 횡단보도의 전체를 탐지하면 RGB 이미지의 mAP(0.5)는 1% 성능 향상되었고 이진화 영상에서는 3%의 성능이 향상되었지만, mAP(0.5:0.95)의 경우 성능 향상이 미미하였다. 횡단보도 부분을 탐지하는 경우 RGB 이미지에서 mAP(0.5)는 1% 미만의 성능 향상을 보여주었지만, mAP(0.5:0.95)가 10%의 큰 성능이 향상을 보여주었다. 실제 영상에서는 횡단보도 전체를 탐지할 때는 nano 모델보다 small 모델이 횡단보도 탐지에 대해 큰 정확성을 보여주었지만, 이진화 영상에서는 큰 정확성 향상을 보여주지 않았다.

실험을 통해 small 모델을 이용하면 횡단보도 전체 탐지에서는 RGB 이미지가 낮은 신뢰도를 보이는 구간을 이진화 이미지의 신뢰도를 이용하면 이를 보완할 수 있음을 확인했다. 그리고 횡단보도의 부분을 탐지하는 경우 nano 모델과 small 모델의 차이가 적은 것을 확인하였다. 따라서 횡단보도 전체 탐지에서는 small 모델을 사용하고 횡단보도 부분 탐지에는 nano 모델을 사용하여 연산량을 줄이는 것이 최적임을 확인하였다. 향우 연구에서는 다른 앙상블 모델을 적용하여 정확성을 더 증가시키는 방법을 찾으려고 한다.