Automatic Walking Guide for Visually Impaired People Utilizing an Object Recognition Technology

객체 인식 기술을 활용한 시각장애인 자동 보행 안내

Abstract

As city environments have recently become crowded, there are many obstacles that interfere with the walking of the visually impaired on pedestrian roads. Typical examples include ballads, parking breakers and standing signs, which usually do not get in the way, but blind people may be injured by collisions. To solve such a problem, many solutions have been proposed, but they are limited in applied in practical environments due to the several restrictions such as outside use only, inaccurate obstacle sensing and requirement of special devices. In this paper, we propose a new method to automatically detect obstacles while walking on the pedestrian roads and warn the collision risk in advance by using only sensors embedded in typical mobile phones. The proposed method supports the walking of the visually impaired by notifying the type of obstacles appearing in front of them as well as the distance remaining from the obstacles. To accomplish this goal, we utilized an object recognition technology applying the latest deep learning algorithms in order to identify the obstacles appeared in real-time videos. In addition, we also calculate the distance to the obstacles using the number of steps and the pedestrian's stride. Compared to the existing walking support technologies for the visually impaired, our proposed method ensures efficient and safe walking with only simple devices regardless of the places.

도시가 복잡해짐에 따라 보행도로에는 시각장애인들의 보행을 방해하는 다양한 장애물들이 점차 많아지고 있다. 대표적으로 볼라드, 주차차단기, 입간판 등을 예로 들 수 있는데, 이들은 일반적으로 보행에 심각한 방해가 되지 않지만, 시각장애인들에게는 오히려 충돌로 인한 부상의 위험을 발생시킬 수 있다. 이를 해결하기 위해 GPS를 비롯한 다양한 장치를 이용한 방법들이 제안되었으나, 장소의 제약, 장애물 감지의 부정확성, 특수한 장치에 대한 요구 등의 문제로 인해 대중적으로 사용하기에는 한계를 지니고 있다. 본 논문에서는 최신 스마트폰에 기본적으로 장착된 간단한 장치만을 활용하여 보행 중에 출현하는 각종 장애물을 자동인식하고 충돌의 위험을 사전에 알려주는 방법을 제안한다. 제안된 방법은 전방을 촬영한 동영상에서 장애물의 종류뿐만 아니라 거리를 파악하여 보행인에게 실시간으로 안내해줌으로써 장애물과의 충돌을 방지하도록 지원한다. 이를 위해 최신 딥러닝 알고리즘을 이용한 객체 인식 기술을 활용하여 장애물 출현 여부와 장애물의 종류를 인식하였다. 또한, 보행자의 보폭을 이용한 이동 거리를 계산하는 방법을 응용하여 장애물과의 거리를 측정하였다. 제안된 방법은 기존의 시각장애인을 위한 보행 안내 기술과 비교하여 실내외 장소에 구애받지 않으면서 간단한 장치만으로도 정확한 보행 안내가 가능하다는 장점을 갖는다.

Ⅰ. 서론

현대사회에서 교통이 점차 복잡해지고 체계화되면서 각종 도로에는 신호등, 표지판 등의 교통안내장치부터 다양한 홍보 조형물로 더욱 혼잡해지고 있다. 이러한 장치들은 일반인에게는 다양한 정보를 제공해주는 긍정적인 효과가 있지만, 시각장애인으로 대표되는 비롯한 사회적 교통약자에게는 오히려 심각한 장애물이 되고 있다. 이러한 문제를 해결하기 위해 점자블록 등의 장치들이 시각장애인의 보행을 지원하고 있지만, 오히려 최근에는 미관상의 이유로 점자블록도 점차 없애려는 움직임도 있다. 전통적으로 시각장애인의 보행은 안내견의 도움을 받는 것이 일반적으로 알려져 있다. 하지만 이 방법은 안내견의 분양에서부터 사전교육, 사육 환경, 비용 등 여러 가지 문제로 보편화되지 못하고 있는 실정이다. 따라서 이러한 한계를 극복하기 위해 최신의 IT 기술을 활용하여 시각장애인의 보행을 지원하기 위한 다양한 기술들이 개발되고 있다.

시각장애인의 보행을 지원하기 위한 가장 대표적인 방법이 보행자 내비게이션 기술이다. 보행자 내비게이션은 차량 내비게이션과 동일한 개념으로 목적지를 입력하면 GPS와 보행도로 지도를 이용하여 보행자를 위한 경로를 자동으로 안내해준다. 최근에 지하철과 같은 지하나 실내까지 안내가 확대되는 수준에 이르고 있다. 그러나 이 기술은 시각장애인 전용이 아니라 모든 보행자를 대상으로 서비스되고 있고, 실제 시각장애인에게 특화된 서비스는 제공하지 못하고 있다. 시각장애인이 보행 중에 가장 불편을 호소하는 사항이 바로 보행 장애물이다. 보행 중의 장애물은 고정(fixed)과 비고정(non-fixed)으로 분류할 수 있는데, 고정 장애물은 볼라드, 전봇대, 가로수 등과 같이 고정된 장소에 위치한 장애물이며, 비고정 장애물은 입식 광고판, 물웅덩이, 주차된 자전거와 같이 수시로 위치가 변하는 장애물들이다. 따라서 보행 중에 나타나는 이러한 장애물들을 사전에 인식하고 실시간으로 안내해 줄 수 있다면 보행 중에 발생할 수 있는 충돌 사고를 사전에 예방할 수 있다. 이 기술은 안내견의 역할을 대신할 수 있어 시각장애인에게 보행 중의 안전을 보장한다.

기술이 개발되어 왔다^{[1][2][3][4][5]}. 하지만 아직까지 실용적으로 사용 가능한 수준까지는 도달하지 못한 상태이다. 본 논문에서는 이러한 한계를 극복하기 위해 최신 딥러 닝(deep learning)을 활용한 객체인식(object recognition) 기술^[6]을 이용하여 보행 중에 출현하는 장애물을 실시간으로 자동인식하고, 장애물의 종류와 거리를 안내해주는 방법을 제안하다. 이를 실현하기 위해서 우선 장애물의 종류를 분류하고 각 장애물을 인식하기 위한 학습 데이터를 생성하였다. 수집된 학습 데이터는 이미지 형태로 제공되며, 객체인식 프레임워크에서 보행 중에 촬영되는 동영상으로부터 학습된 장애물을 자동으로 인식할 수 있도록 학습하였다. 또한, 장애물의 출현 여부뿐만 아니라 보행자와 장애물 간의 거리를 실시간으로 계산하여 안내함으로써 장애물 충돌사고를 사전에 예방할 수 있도록 지원하였다.

기존에 보행자와 장애물 간의 거리를 계산하는 방법으로 GPS나 다중 카메라(multiple cameras) 등을 활용하는 기술들이 제안되었다^[1][2][5]. 하지만 GPS는 장애물의 위치가 사전에 파악되어야 하고 비고정 장애물에는 적용하기 불가능하며 실내에서 사용하지 못한다는 문제들이 있다. 또한, 다중 카메라를 이용한 방법은 특수한 장치가 부가적으로 필요하다는 점에서 활용성이 떨어지는 단점이 있다. 본 논문에서는 이러한 한계를 극복하기 위해 사용자의 보폭을 사전에 측정한 후에 걸음 수를 측정하여 보행자의 이동거리를 계산하고, 이동 전후의 각 위치에서의 장애물에 대한 상대적 영상 크기를 비교하여 장애물과의 거리를 측정하였다. 이를 통해 장소에 구애받지 않으면서 보편적인 스마트폰 등에서 제공하는 단순한 장치만으로도 시각장애인의 안전한 보행을 지원하는 체계를 구축할 수 있었다.

본 논문의 구성은 다음과 같다. 2장에서는 기존의 시각장애인 보행을 지원하는 기술들에 대해 살펴보고 3장에서는 본 논문이 제안하는 보행 안내 절차를 소개한다. 4장에서는 보행안내를 위한 시스템의 전반적인 구조와 각 컴포넌트들을 구현하기 위한 세부 기술들을 소개한다. 마지막으로 5장에서는 결론을 맺는다.

Ⅱ. 관련연구

현재까지 시각장애인의 보행을 보조하기 위한 많은 기술이 제안되어 왔다. 우선 GPS를 이용한 기술^[1][2]은 정확한 위치를 파악할 수 있다는 장점이 있으나, GPS의 특성상 실외에서만 사용이 가능하며, 지하철과 같은 실내에서는 사용할 수 없다는 단점을 갖고 있다. 또한, 모든 장애물에 대해서 POI(Point Of Interest) 정보가 사전에 구축되어야만 서비스가 가능하다. 따라서 고정 장애물의 경우에는 장애물의 위치정보가 사전에 구축되어 있다면 비교적 정확한 서비스가 가능하나, 비고정 장애물의 경우 잘못된 정보가 제공될 가능성이 크다는 문제를 안고 있다. 다중센서를 이용한 장애물 탐지 방법^[2][3]은 실내외 에 관계없이 사용 가능하나 특수한 장치가 별도로 필요하며, 특히 지팡이에 센서를 부착하는 방식^[3]은 불규칙 규격/형태의 장애물을 잡아내기 힘들다는 한계가 있다. 이 외에도 비콘통신을 이용하여 장애물의 위치를 특정하는 연구^[4]도 있었지만 모든 장애물에 비콘과 같은 부착물을 설치하기 어려울 뿐만 아니라 설치기준에 맞지 않는 장애물 등에는 적용하기 힘들어 현실적으로 활용 가능성은 매우 낮은 것으로 평가된다. 추가로 객체 추적 (object tracking) 시스템과 같이 영상분석을 통해 거리를 측정하는 방법^[5]도 있으나, 이 경우 카메라 모듈이 최소 3대 이상 각기 다른 위치에서 촬영해야 하므로 시각 장애인 보행보조로 사용하기에 부적합하다.

지금까지 살펴본 바와 같이 기존의 연구들은 GPS나 기타 특수한 장치를 사용함으로써 현실적으로 활용하기에는 한계를 갖고 있다. 본 논문에서는 이러한 문제를 극복하기 위해서 보편적인 스마트폰에 내장된 간단한 장치들만으로 정확한 장애물 자동 인식과 안내가 가능한 시각장애인용 보행안내시스템의 개발 결과를 제시한다.

Ⅲ. 보행 장애물 안내방법

최근의 스마트폰에는 다양한 하드웨어 장치와 센서들이 내장되어 있어 이를 활용한 많은 앱이 개발되고 있다. 본 논문의 시각장애인용 보행 안내 기술도 일반적인 스마트폰에 내장된 장치를 활용하여 보행 중 전방에 출현하는 각종 장애물을 인식하고 안내할 수 있도록 개발하였다. 본 시스템에서는 보행자가 스마트폰이나 기타 영상촬영 장치를 부착하고 실시간으로 전방을 촬영하면서 보행하는 상황을 가정한다. 스마트폰으로 상시 전방을 촬영하기 위해서는 다양한 방법이 사용될 수 있는데, 예를 들어 의류, 가방 등에 부착하거나 바디캠^[8] 등을 활용 수도 있다.

본 논문에서 개발한 보행 중 장애물 인식 및 안내를 위한 기본적인 아이디어와 절차는 그림 1과 같다. 우선 보행자의 보폭을 측정한 데이터가 없는 경우에는 보폭측정 절차를 수행한다. 보폭은 보행자의 이동거리를 계산하기 위한 수단으로 사용되는데 자세한 내용은 다음 장에서 설명한다.

그림 1. 보행 중 장애물 인식 및 안내 절차

Fig. 1. Process of Recognizing and Guiding Obstacles While Walking

다음 단계로 실시간으로 촬영된 동영상으로부터 장애물을 인식하고 크기를 계산한다. 최근에 딥러닝을 활용하여 동영상으로부터 사전에 학습된 객체를 자동으로 탐지하는 기술이 많이 발전하고 있다 ^[6][9][10]. 이 기술을 활용하면 보행 중에 촬영되고 있는 전방의 동영상으로부터 실시간으로 장애물을 자동 탐지하고 영상에서의 장애물 크기를 계산할 수 있다.

최초 장애물을 인식한 후에 일정 거리를 이동하고 장애물을 재탐색한다. 만약 동일한 장애물이 여전히 탐색되면 장애물의 이전 크기와의 변화를 계산한다. 만약 크기가 커진다면 장애물과의 거리가 가까워지는 것을 의미하며, 반대로 작아지면 멀어지는 것을 의미한다. 또한, 객체가 탐지되지 않으면 보행자가 장애물을 회피하거나, 방향 전환을 한 경우 또는 비고정 장애물이 이동된 경우 등의 이유로 전방에 장애물이 더 이상 존재하지 않는다는 것을 의미한다. 따라서 장애물의 크기를 비교하여 거리가 이전보다 가까워졌다고 판단되면 장애물까지의 남은 거리를 계산한다. 보행자와 장애물과의 거리는 이전 장애물을 인식했을 때의 객체 크기와 현재의 객체 크기를 비교하고 그동안의 보행자 이동거리를 측정하면 계산이 가능하다.

일반적으로 두 지점 사이의 거리는 GPS나 가속도 센서(acceleration sensor) 등을 활용하여 추정할 수 있다. 그러나 두 방법 모두 본 논문에서 필요한 보행자의 이동거리를 계산하기에는 많은 제약이 있다. 본 논문에서 계산하고자 하는 이동거리는 장애인이 보행 중 전방에 출현한 장애물을 최초로 인식하고 비교적 짧은 거리를 이동한 후에 재인식하여 이동거리를 추정하는 데 필요하다. 따라서 측정이 필요한 이동거리는 비교적 짧은 수미터에서 10미터 전후 수준이다. 하지만 이 정도의 거리측정에 GPS나 가속도 센서를 이용하면 큰 오차가 발생하여 정확한 측정이 불가능하다. 또한 GPS는 실내에서 사용하지 못한다는 단점도 있다. 따라서 본 논문에서는 보행자의 보폭을 사전에 측정한 후에 보폭과 걸음 수를 이용하여 비교적 정확한 이동거리를 계산할 수 있었다. 구체적인 방법은 다음 장에서 설명한다.

마지막 단계로 보행자와 장애물과의 거리 변화에 따라 보행자에게 안내(경고)가 필요할 경우 음성으로 안내한다. 즉, 주기적으로 보행자와 장애물과의 거리를 측정하여 장애물과의 거리가 지속적으로 가까워지거나, 충돌위험거리 이내로 가까워질 경우에는 음성으로 안내해줌으로써 보행자가 장애물을 회피하도록 지원한다.

Ⅳ. 시스템 구성 및 활용기술

1. 시스템 아키텍처

시각장애인용 보행 안내 시스템의 전반적인 시스템 구성도는 그림 2와 같다. 이 시스템은 스마트폰 환경에서 사용할 수 있게 앱 형태로 개발되었는데, 그림 2에서 보는 바와 같이 객체인식기(Object Recognizer), 거리측 정기(Distance Calculator), 보폭측정기(Step Calculator) 등으로 구성된다. 객체인식기는 실시간으로 촬영된 동영상에서 장애물을 자동 탐지하고 크기를 계산하기 위한 모듈이며, 거리 측정기는 보행자가 이동한 거리를 계산하고 보행자와 장애물과의 거리를 측정하는 모듈이다. 마지막으로 보폭측정기는 보행자의 보폭을 사전에 측정하기 위한 모듈로 앞서 설명한 바와 같이 보행자의 이동거리를 측정하기 위한 보조수단으로 사용된다. 또한, 이 모듈들을 구현하기 위해 스마트폰의 다양한 하드웨어 장치들을 활용하였는데 주요 장치로는 카메라, 스피커를 비롯하여 가속도 센서와 걸음수 측정센서(step counter)가 있다.

그림 2. 보행안내 시스템 아키텍처

Fig. 2. Walking Guide System Architecture

2. 활용기술

본 절에서는 그림 2의 주요 구성요소에서 활용된 기술들에 대해 구체적으로 설명한다.

가. 객체인식기

객체인식기는 전방을 촬영한 동영상으로부터 사전에 학습된 장애물을 자동 인식하는 기능을 한다. 장애물 인식은 딥러닝 기술을 이용한 객체인식 프레임워크인 YOLO^[6]를 활용하였다. YOLO는 SSD^[9], Faster RCNN^[10]과 더불어 영상에서 실시간으로 객체를 탐색하는 모델로서, 자동 객체인식이 요구되는 많은 분야에서 활용되고 있다. 다만 YOLO 자체에서는 특정 장애물을 인식하는 모델이 없어 장애물 이미지를 수집하여 추가로 학습하였다. 수집된 각 이미지에 대해서 오픈소스 소프 트웨어인 labelImg^[7]를 이용하여 이미지 라벨링을 하여 학습에 활용하였다. 이렇게 구축된 학습 데이터를 이용하여 Tensorflow를 기반으로 학습하여 객체인식 모델을 생성하였으며, 생성된 모델은 그림 2의 객체인식기에 이식되어 적용되었다.

나. 보폭측정기

본 논문에서는 시각장애인의 이동거리를 계산하기 위해 개인별 보폭을 활용하였다. 각 사용자는 일정한 보폭을 유지하면서 보행하며, 보폭은 개인의 신체적 특징에 따라 제각각이다. 따라서 보폭측정은 본격적인 장애물 인식 기능을 수행하기 이전에 일회만 실행하여 그 값을 활용하면 된다. 측정은 사용자의 사전 조작 없이 자동으로 실행할 수도 있고, 시스템 사용 중에 사용자가 임의로 실행하여 그 값을 업데이트할 수도 있다. 보폭측정은 일정 시간 동안 걸음으로 이동한 후에 측정된 이동거리를 걸음 수로 나눈 값으로 계산한다. 이동 거리와 걸음 수는 최근의 스마트폰에 기본적으로 장착된 가속도 센서와 걸음 수 측정센서를 활용하였다. 가속도 센서는 이동한 거리를 측정하기 위해 사용되었고 걸음 수는 걸음 수 측정 센서 중에 type_step_counter를 활용하였다. 가속도 센서를 활용하여 이동거리를 정확히 측정하기 위해서는 충분한 시간 동안 측정된 데이터가 필요하다. 본 논문에서 실험한 바에 따르면 최소 3분 이상의 보행 데이터로 측정하면 대부분 정확한 보폭측정이 가능했다.

다. 거리측정기

거리 측정기는 보행자의 보폭과 걸음 수를 기반으로 이동 거리를 계산하고 객체인식기의 객체정보와 결합하여 최종적으로 보행자와 장애물의 거리를 계산하는 기능을 한다. 우선 객체인식기에서 인식된 장애물들에 대해서 그림 3(a)와 같이 장애물을 포함하는 최소의 4각 영역 (bounding box)을 추출한다. 만약 이 그림과 같이 한 개 이상의 장애물이 인식된다면 가장 큰 장애물을 지정하고 그 종류와 영역의 크기를 저장한다. 다음으로 일정 거리를 이동 후에 촬영된 영상에서 인식된 장애물들이 그림 3(b)와 같이 동일한 종류의 장애물이면 이전과 마찬가지로 가장 큰 장애물에 대한 영역의 크기를 저장한다.

그림 3. 위치에 따른 장애물 크기 변화

Fig. 3. obstacles size variation according to distance

보행자의 이동 전후에 촬영된 영상에서 장애물의 크기 변화와 보행자의 이동거리를 이용해서 보행자와 장애물과의 거리 계산이 가능한데, 그림 4는 이러한 상황에 대한 예를 보여준다. 그림 4(a)에서 A의 위치에 있는 보행자가 위치 C에 있는 장애물을 촬영했을 때, 영상에서 인식된 장애물의 영역 크기가 그림 4(b)의 R₁이라고 가정하자. 이때 보행자가 위치 B로 이동한다면 장애물에 더 가깝게 다가간 상황이므로 여기서 인식된 장애물은 그림 4(b)의 R₂와 같이 확대될 것이다. 그렇다면 그림 4(a)와 같이 보행자의 최초위치 A와 장애물과의 거리가 D₁이 고 이동한 위치인 B와 장애물과의 거리가 D₂라면, 보행 자 이동 거리는 md = D₁ - D₂가 된다. 또한, 촬영 위치에 따른 영상에서의 객체 크기는 다음과 같은 관계를 갖는다.

그림 4. 장애물 크기와 이동거리를 이용한 거리 측정 방법

Fig. 4. Distance measurement using obstacle size and moving distance

\(D_{1}: D_{2}=\sqrt{R_{2}}: \sqrt{R_{1}}\)       (1)

따라서 최종적으로 계산하고자 하는 보행자와 장애물의 거리는 D₂이며, 이 값은 다음의 수식으로 계산할 수 있다.

\(D_{2}=m d \times \frac{\sqrt{R_{1}}}{\sqrt{R_{2}}-\sqrt{R_{1}}}\)       (2)

이러한 거리 측정 방식은 연속으로 촬영된 두 개의 영상에서 동일한 장애물에 대해 크기가 커지는 경우에만 유효하다. 만약 장애물의 크기가 동일하다면 보행자가 이동하지 않거나 거리가 일정하게 유지되는 상황으로 가정할 수 있다. 그리고 영상에서 장애물이 사라지거나 작아지면 방향 전환을 하거나 장애물로부터 멀어지는 상황으로 파악할 수 있다. 따라서 장애물과의 거리가 일정 거리 이내로 접근하는 상황에 대해서만 충돌 위험을 보행자에게 안내하면 된다. 장애물에 얼마나 가깝게 접근했을 때 충돌 위험을 안내하고, 얼마나 자주 안내해야 하는지 등의 구체적 방법에 대해서는 실제 상황에 따른 다양한 실험을 거쳐 결정해야 할 것으로 판단된다.

Ⅴ. 결론

본 논문에서는 시각장애인의 보행 중에 충돌 위험이 있는 장애물에 접근했을 때 장애물의 종류와 거리를 음성으로 자동 안내 해주는 시각장애인 보행 안내방법을 제안하였다. 제안된 방법은 일반적인 스마트폰에 장착된 장치만을 활용하여 장소에 구애받지 않으면서 정확한 안내가 가능하도록 개발되었다. 이를 실현하기 위해 최신의 딥러닝을 이용한 객체 인식 기술을 활용하였으며, 정확한 이동거리 계산을 위해 보행자의 보폭과 걸음 수를 이용하였다. 본 논문이 제안한 방법은 인공지능 학습을 통해 장애물의 종류를 자동 인식할 수 있도록 개발되어 고정/비고정 등의 장애물 종류와 관계없이 보행 중 충돌 위험 이 있는 모든 장애물에 대해서 적용할 수 있다. 제안된 방법을 실제 시각장애인의 보행에 활용하기 위해서는 스 마트폰이 보행 중에 전방을 항상 촬영하고 있어야 한다는 현실적인 문제가 존재한다. 최근에 신체나 각종 휴대 기구에 스마트폰을 부착하는 방법들이 개발되고 있고, 바디캠과 같은 촬영 장비들이 발전하고 있어 실생활에 적용하는 데에는 큰 문제가 없을 것으로 판단된다. 현재 개발된 시스템은 일부 장애물만을 인식하도록 학습되었으나 향후에는 다양한 장애물을 인식하도록 학습 대상을 확대할 예정이며, 실용화를 위해 어떠한 방법으로 휴대하는 것이 가장 이상적인지 또한 어떠한 안내방법이 가장 적절한지 다양한 실험을 통해 검증할 계획이다.