Drone Obstacle Avoidance Algorithm using Camera-based Reinforcement Learning

카메라 기반 강화학습을 이용한 드론 장애물 회피 알고리즘

Among drone autonomous flight technologies, obstacle avoidance is a very important technology that can prevent damage to drones or surrounding environments and prevent danger. Although the LiDAR sensor-based obstacle avoidance method shows relatively high accuracy and is widely used in recent studies, it has disadvantages of high unit price and limited processing capacity for visual information. Therefore, this paper proposes an obstacle avoidance algorithm for drones using camera-based PPO(Proximal Policy Optimization) reinforcement learning, which is relatively inexpensive and highly scalable using visual information. Drone, obstacles, target points, etc. are randomly located in a learning environment in the three-dimensional space, stereo images are obtained using a Unity camera, and then YOLov4Tiny object detection is performed. Next, the distance between the drone and the detected object is measured through triangulation of the stereo camera. Based on this distance, the presence or absence of obstacles is determined. Penalties are set if they are obstacles and rewards are given if they are target points. The experimennt of this method shows that a camera-based obstacle avoidance algorithm can be a sufficiently similar level of accuracy and average target point arrival time compared to a LiDAR-based obstacle avoidance algorithm, so it is highly likely to be used.

드론 자율비행 기술 중 장애물 회피는 드론이나 주변 환경의 손상을 방지하고 위험을 예방할 수 있도록 하는 매우 중요한 기술이다. LiDAR 센서 기반 장애물 회피방식은 비교적 높은 정확도를 보여 최근 연구에서 많이 활용되고 있지만, 단가가 높고 시각 정보에 대한 처리 능력이 제한적인 단점이 있다. 따라서 본 논문은 단가가 상대적으로 저렴하고 시각 정보를 이용한 확장성이 높은 카메라 기반 PPO(Proximal Policy Optimization) 강화학습을 이용한 드론의 장애물 회피 알고리즘을 제안한다. 3차원 공간상의 학습환경에서 드론, 장애물, 목표지점 등을 무작위로 위치시키고, 가상 카메라를 이용하여 전면에 설치된 스테레오 카메라를 통해 스테레오 영상정보를 얻은 다음 YOLOv4Tiny 객체검출을 수행한다. 그리고 난 후 스테레오 카메라의 삼각측량법을 통해 드론과 검출된 객체간의 거리를 측정한다. 이 거리를 기반으로 장애물 유무를 판단하고, 만약 장애물이면 패널티를 책정하고 목표지점이면 보상을 부여한다. 본 방법을 실험한 결과 카메라 기반 장애물 회피 알고리즘은 LiDAR 기반 장애물 회피 알고리즘과 비교하여 충분히 비슷한 수준의 높은 정확도와 평균 목표지점 도달시간을 보여 활용 가능성이 높음을 알 수 있었다.