분산영상 매칭을 이용한 소형 쿼드콥터의 실내 비행 위치인식과 자율비행

Position Recognition and Indoor Autonomous Flight of a Small Quadcopter Using Distributed Image Matching

Abstract

We consider the problem of autonomously flying a quadcopter in indoor environments. Navigation in indoor settings poses two major issues. First, real time recognition of the marker captured by the camera. Second, The combination of the distributed images is used to determine the position and orientation of the quadcopter in an indoor environment. We autonomously fly a miniature RC quadcopter in small known environments using an on-board camera as the only sensor. We use an algorithm that combines data-driven image classification with image-combine techniques on the images captured by the camera to achieve real 3D localization and navigation.

1. 서론

최근 UAV (Unmanned Aerial Vehicle)의 소형화 및 센서의 고성능화가 진행되면서 물류 서비스, 재난 구호, 감시 임무, 엔터테인먼트 등과 같은 다양한 응용분야로 연구와 제품화가 진행되고 있다. 그리고 소형 쿼드콥터의 수직 이동 특성과 공중 정지 특성을 가지기 때문에 실내 비행이 가능하고 자율 비행이 가능하다는 점에서 사람의 출입이 어려운 위험 지역의 감시 등이 가능하게 되었다[1].

이러한 활동을 수행하기 위해서는 쿼드콥터의 환경 모니터링과 자세 제어를 위한 센서의 탑재를 중요한 과제로 도출되고 있다. 그 중에서도 소형 쿼드로터의 대부분은 시각센서를 이용한 피드백을 이용하고 있다. 육상 로봇과 달리 이동 바퀴의 오도메토리 정보를 바탕으로 자기위치추정을 할 수 없는 문제점을 극복하기 위한 방법으로 다양한 연구가 진행되었다[2].

본 연구에서는 영상기반의 영상획득을 기본으로 한 위치추정 기법에 관련 기초 연구를 수행하고자 한다. 영상센서를 UAV에 탑재하여 객체의 영상을 획득하고 그 획득한 영상을 기반으로 한 쿼드로터의 위치제어를 구현한 실험결과를 제시하고자 한다.

2. 자율 비행 제어 시스템

2.1 시스템 구성

본 연구에서 실험을 위한 쿼드콥터는 소형 카메라, 영상전송을 위한 무선 송신기, 수동 조작 컨트롤러, PC, DA / AD 변환기, 신호 변환 회로로 구성하였다(그림 1). 비행제어를 위한 1대의 쿼드콥터(quadcopter)와 기체에 탑재한 소형카메라 1대, 외부에서 비행 관측을 통한 모니터링 및 보정을 실현하기 위한 외부용 카메라 2대를 각각 사용한다.

Fig. 1 Structure of System

제어용 PC와 화상 처리 PC는 TCP 통신을 통해 상호정보를 교환 할 수 있다. 수동 조작 컨트롤러는 쿼드곱터 자세 상태를 보정하도록 하였고, 쿼드콥터의 하단에는 이미지 처리를 용이하게 하기 위해 사각형 격자 모양의 마커(400x40mm)을 이용하여 기체에 탑재된 소형 카메라로 인식하고 그림 1과 같이 마커의 중심 위치를 이미지 특징량으로 채택하도록 하였다.

2.2 마커 검출 알고리즘

마커 검출에 이용되는 매개 변수는 색상 정보 HSV 색상 모델를 이용하였다. 실험에서 사용한 HSV 색상 모델은 색상 (Hue : 색조), 채도 (Saturation : 채도), 명도 (Value : 밝기)의 3개의 기본 색상을 구성하는 수치 모델이다. 이 세 가지 색상을 기반으로 한 식별척도로 색상을 표현하면 그 색이 어떤 색인지 식별하기 쉽고 이미지 처리 색상에 따라 이미지의 영역을 분리 추출할 때 자주 사용된다[3][4].

마커 검출을 위한 알고리즘은 그림 2와 같이 나타내었다. 또한, 마커 검출을 위한 방법으로 향후 휴먼추적을 위한 서비스를 고려하여 사람을 대상으로 하는 이미지 변화 개략도를 그림 3에 나타내었다.

Fig. 2 Algorithm of marker recognition

Fig. 3 Image changes in detection of marker

① 채도에 의한 배경 차분 : 우선 취득 이미지와 배경 이미지를 HSV 표색계의 채도 정보에서 배경 차분계산을 실시한다.

② 색상에 의한 이진화 : 색상에 의한 이진화 과정을 수행하게 된다. 우선 채도를 이용한 배경 분리작업을 수행하고 정보가 유지되는 화소에 관해서 색상에 의한 이진화를 수행한다.

③ 노이즈 제거 : 마커로 인식된 픽셀을 흰색으로 처리하였기 때문에 약간 검은색 노이즈가 남아 있게 되는데, 이러한 노이즈를 제거하기 위해 클로징 노이즈 제거 방법을 사용하여 흰색 화소의 팽창과 검정색 노이즈 축소를 반복함으로써 노이즈를 제거할 수 있다.

④ 중심 계산 : 노이즈 제거를 거쳐 남은 흰색 픽셀이 마커로 인식하게 되고, 흰 화소 이미지 2차 모멘트를 계산하여 마커의 중심위치를 계산하게 된다.

3. 실험환경

실험에서 적용된 카메라는 USB 통신 기반의 M7 CCD 카메라를 사용하였다. 해상도 320x240 픽셀의 8bit 컬러 스케일 이미지를 최대 30fps 프레임의 처리속도가 가능한 CMOS 영상센서이다. RC-12는 수신기 Morse-type S (그림 4) 간에 무선 통신을 수행함으로써 이미지 데이터를 수신하게 된다. Morse-type S 비디오 입출력 등으로 이용되는 콤포지트 단자를 통해서 탑재된 카메라용 PC에 출력하게 된다. 제어용 PC와 TCP 통신으로 전송할 수 있도록 그림 4와 같은 형태로 구성하였다.

Fig. 4 Camera and environment configuration

3.2 탑재 카메라와 실 환경 매핑

본 실험에서 외부 카메라의 모니터링에 의해 매 시간별로 쿼드콥터의 3차원 위치 (x, y, z)와 자세 𝜃(yaw축)을 구하게 된다. x축의 양의 방향을 정면(𝜃=0)으로 했을 때, 중심위치 (x, y)로부터 음(-)의 y방향으로 10 [cm] 위치에 기체의 밑부분에 카메라를 장착하였다(그림 5). 따라서, 실제 환경에서 특정한 자세, 𝜃에 대한 카메라의 3차원 위치, (x₀, y₀, z₀)는 식(1)∼(3)과 같이 구할 수 있다. 쿼드콥터는 수평 안정화 장치에 의해 거의 수평으로 유지될 수 있도록 하였다. 따라서 장착 카메라에서 취득하는 이미지는 실제 환경에서 (x₀, y₀, z₀)을 중심으로 하여 투영되게 하였다.

x₀ = x - 0.1sin𝜃       (1)

y₀ = y - 0.1cos𝜃       (2)

z₀ = z       (3)

Fig. 5 Camera position of coordinate space

이때, 쿼드콥터의 비행 높이, z가 높아짐에 따라서 투영 이미지의 스케일은 비례적으로 작아지게 된다. 따라서 장착 카메라의 높이, z0을 알게 됨으로써 이미지의 스케일 PIX를 아래와 같이 결정할 수 있다.

PIX = 400z₀ + 680       (4)

이 식은 실험적으로 구한 값으로써 자세가 𝜃의 값일 때 이미지는 𝜃로 기울어져 있는것을 착안할 수 있으므로 이미지 내의 임의의 (X, Y) 위치로 표시되는 실제 환경상의 좌표 (X_w, Y_w)는 카메라의 3 차원 위치, (x₀, y₀)를 이용하여 (5)∼(6)과 같이 구할 수 있다[6].

X_w = ( X - 160 ) / PIX + x₀       (5)

Y_w = ( Y - 160 ) / PIX + y₀       (6)

4. 실험

4.1 결합 이미지 만들기

쿼드콥터에 탑재된 카메라로 촬영 한 해당 이미지가 실제 환경의 어느 부분을 찍고 있는지를 알 수 있는데, 이러한 정보를 이용하여 취득한 이미지를 연속적으로 결합함으로써 하나의 결합 이미지를 생성한다.

쿼드콥터의 초기위치, (x, y)의 좌표는 (-0.25, -0.25)로 설정하였고, 이륙 후 200 [cm]의 위치에서 호버링시켜 일정 고도를 유지하면서 (-0.25, -0.75) 지점과 (0.25, -0.75) 지점으로 비행한 후 (0.25, -0.75)에 도착할 수 있도록 유도 제어한다. 여기에서 쿼드콥터는 고도 200 [cm] 또는 자세 (yaw축 회전) 𝜃 = 0을 유지하면서 비행할 수 없게 되는데 다음과 같은 이미지 처리를 수행하였다.

기체에서 획득한 영상의 방향 및 스케일 처리 후 (x, y) 좌표를 바탕으로 붙여 맞추게 된다. 그림 6(a)∼(d)는 실제 이미지와 결합 이미지를 각각 보여주고 있다. 그림 6(a)는 실험을 위해 사용된 격자 모양의 40x40cm 마커이다. 그림 6(b)는 우측 반만 인식된 영상정보를 기반으로 결합된 이미지를 보여주고 있다. 그림 6(c)는 좌측 반, 좌측 하반부만 인식된 영상정보를 기반으로 결합된 이미지를 보여주고 있고 그림 6(d)는 우측 상반부만 인식된 영상정보를 기반으로 결합된 결과 이미지를 보여주고 있다.

Fig. 6 Comparison of combination images with actual images

4.2 비행 제어 실험

장착된 카메라의 각 화소에 대해 실제 환경 (300cmx300cm)의 좌표와 대응시킬 수 있고, 장착 카메라에서 획득한 이미지에 임의의 위치를 지정하면 그 위치를 실제 환경으로 변환할 수 있다.

본 실험에서는 호버링 중에 탑재 카메라가 목표물을 중심을 촬영하지 않을 때 목표물을 지정하면 그 지정된 위치를 중심으로 쿼드콥터를 유도하게 된다. 실험에서 마우스로 클릭하여 위치를 지정하고 지정된 위치의 실제 환경에서의 좌표를 구하게 되는 방법은 기 연구된 논문[7][8]의 결과를 적용하였다. 구한 좌표를 제어용 PC를 통해 그 좌표를 목표 위치로 하여 쿼드콥터를 유도 제어하였다.

초기 위치, (-50cm, -100cm)에서 출발하여 상공에서 호버링 모드로 정지시키고 장착 카메라의 끝 부분으로 인식할 수 있도록 하여 4곳(➀∼➃)에 설치한 목표물을 클릭하면 목표물의 중심까지 비행할 수 있도록 하였다. 외부에 장착된 비디오 카메라를 이용하여 검증한 비행위치 실험결과를 그림 7과 같이 나타내었다.

Fig. 7 Flight trajectory for guidance control.

5. 결론

본 연구에서는 쿼드콥터 형태의 멀티 로터 헬기 제어를 위한 소형 온보드 프로세서와 직경 1m 크기의 헥사로터 기체의 설계 및 제작에서 구현한 시스템의 개요와 지상 기계를 중심으로 한 원격통신으로 정해진 경로로 비행제어하기 위한 마커 인식 및 매칭에 따른 환경인식과 자율비행 실험을 수행하였다. 원격제어기반 비행중인 쿼드콥터에 탑재 한 소형 무선 카메라의 영상을 기반으로 지정 위치로 자율비행하기 위하여 부분 영상정보를 결합한 전체 환경정보를 획득하는 실험결과를 기반으로 유도 제어한 실험적 결과를 제시하였다.