Development of Reinforcement Learning-based Obstacle Avoidance toward Autonomous Mobile Robots for an Industrial Environment

산업용 자율 주행 로봇에서의 격자 지도를 사용한 강화학습 기반 회피 경로 생성기 개발

Abstract

Autonomous locomotion has two essential functionalities: mapping builds and updates maps by uncertain position information and measured sensor inputs, and localization is to find the positional information with the inaccurate map and the sensor information. In addition, obstacle detection, avoidance, and path designs are necessarily required for autonomous locomotion by combining the probabilistic methods based on uncertain locations. The sensory inputs, which are measured by a metric-based scanner, have difficulties of distinguishing moving obstacles like humans from static objects like walls in given environments. This paper proposes the low resolution grid map combined with reinforcement learning, which is compared with the conventional recognition method for detecting static and moving objects to generate obstacle avoiding path. Finally, the proposed method is verified with experimental results.

자율 주행은 이동 로봇의 핵심적 기술로써, 측정된 센서 정보를 토대로 불확실한 위치 정보를 이용한 지도 작성 및 수정 기능과, 불확실한 지도 및 센서 정보를 이용한 로봇의 위치 인식 기능으로 구성된다. 자율주행은 이러한 주행 위치의 불확실성에 기반한 확률론적 방법론과 함께 주행 시 장애물의 감지 및 회피 경로의 생성, 반복적 주행 패턴에 따른 경로 관리 기능이 필수적 요소이다. 거리 기반의 스캐너를 통해 관측된 센서 입력은, 지도 구성에 사용된 벽과 같은 정적 물체와 주행 시의 사람처럼 움직이는 동적 물체와의 구별이 필요하기 ?문에 장애물 감지에 어려움이 있다. 본 논문에서는, 이러한 자율 주행 환경에서 기존의 정적, 동적 개체의 판별 방식과 비교하여, 장애물 회피를 위한 저해상도 격자 공간의 생성 및 강화학습을 이용한 경로 생성을 다루고자 한다. 최종적으로 실험을 통해 제안된 방법론의 실효성을 검증하고자 한다.

그림 1. 생성된 지도 데이터(상)와 주행 중의 로봇의 추정 위치를 토대로 복원된 거리 정보(하)의 관계. 원형 안에 동적 장애물인 사람이 이동 중이며, 진행 위치, 각도 오차에 따른 지도와 센서 정보간의 정렬 오차를 표현함.

그림 2. 장애물 감지 및 회피를 위한 저해상도 격자 공간의 생성 및 장애물 이동에 따른 확률 수정 과정

그림 3. 강화 학습 방식으로 구성된 장애물 회피 경로 생성(상) 및 장애물 감지에 따른 상태함수 분포 결과(하)

그림 4. 코너링에 의한 급격한 회전 시, 지도와 센서 값의 큰 정렬 오차 발생에 의한 장애물 판단 불가 예시

그림 5. 장애물 지도 및 강화학습을 연계한 회피 방식

그림 6. 저해상도의 장애물 감지용 지도 작성을 통해, 장애물 출몰지역에 대한 강화학습 결과 및 생성 회피 경로

그림 7. 실 환경에서 불특정 장애물을 회피하는 테스트 장면