Take-off and landing assistance system for efficient operation of compact drone CCTV in remote locations

원격지의 초소형 드론 CCTV의 효율적인 운영을 위한 이착륙 보조 시스템

Abstract

In the case of fixed CCTV, there is a problem in that a shadow area occurs, even if the visible range is maximized by utilizing the pan-tilt and zoom functions. The representative solution for that problem is that a plurality of fixed CCTVs are used. This requires a large amount of additional equipment (e.g., wires, facilities, monitors, etc.) proportional to the number of the CCTVs. Another solution is to use drones that are equipped with cameras and fly. However, Drone's operation time is much short. In order to extend the time, we can use multiple drones and can fly one by one. In this case, drones that need to recharge their batteries re-enter into a ready state at the drone port for next operation. In this paper, we propose a system for precised positioning and stable landing on the drone port by utilizing a small drone equipped with a fixed forward-facing monocular camera. For our conclusion, we implement our proposed system, operate, and finally verify our feasibility.

고정형 CCTV의 경우 팬-틸트(pan-tilt)와 줌(zoom) 기능을 활용하여 가시범위를 최대화하더라도 음영지역이 발생하는 문제가 있다. 이에 대한 대표적인 해결방안으로 다수의 고정형 CCTV를 운영하는 것이다. 이는 CCTV의 개수와 비례한 다량의 부가장비(예: 전선, 설비, 모니터 등)가 필요하다. 다른 해결방안으로 드론을 활용하는 것이다. 문제는 운영시간에 대하여 고정형 CCTV 대비 훨씬 짧다. 운영시간을 연장하기 위해 다수의 드론을 활용하여 한 대씩 임무를 교대하면서 수행하는 방식이 있다. 이 경우 배터리 충전이 필요한 드론은 드론 포트(drone port)에서 준비상태(재충전 완료)로 재진입하여 연속된 임무가 가능하게 하는 것이다. 본 논문은 고정된 전방을 향한 단안 카메라가 탑재된 초소형 드론을 활용하여 방범용 CCTV의 기능으로 활용될 때, 원격지에서 효율적인 운영과 후속 임무의 원활한 연속 수행을 위한 드론포트에 안정적인 착지를 위한 시스템을 제안하고 구현한다. 그리고 이에 대한 운영을 통해 활용 가능성을 입증한다.

Ⅰ. 서론

항공 기술과 ICT (Information & Communication Technology) 융합의 대표적인 결과물로 드론(drone)을 꼽을 수 있다. 그리고 MEMS (Micro Electro Mechanical Systems) 기술의 발전에 따른 센서 및 장비의 성능향상과 소형화로 인해 드론에 탑재되고 다양한 영역에서 활용이 되고 있다.

현재 시중에 유통되는 드론 대부분은 카메라와 RF(Radio Frequency)를 기본으로 탑재하고 있으며, 위치측정을 위해 GPS (Global Positioning System) 또는 이에 대한 오차범위를 최소화하기 위한 자세 등을 파악하기 위한 다량의 센서(예: Gyroscope, Ultrasonic, Infra-Red, Altimeter sensor)들을 보조적으로 장착하고 있다.

탑재된 카메라를 이용하여 기존 고정형 CCTV의 한계를 극복하기 위한 응용으로 이 드론의 활용이 많은 영역에서 적극 활용되고 있다[1][2]. 대표적으로 주변 모니터링을 통한 범죄 예방 및 단속이 있으며, 도로 법규 위반사항 적발, 교통 정보 수집, 산불 등 재난지역 탐색, 실종자 수색, 위험물 접근 등 다양한 영역에서 활용 중이다.

고정형 CCTV (Closed Circuit Television)의 경우 설치 장소에 대한 제약뿐 아니라, 설치된 위치에 따른 감시영역에 대한 또 다른 제약도 존재한다. 감시영역을 극대화하기 위해 팬-틸트(pan-tilt)와 줌(zoom) 기능이 제공되기도 한다. 그러나 이런 방식을 통해 가시범위를 넓히더라도 카메라의 고정된 위치 그리고 공간에 비치된 물체에 따른 감시가 불가한 지역(음영지역, shade area)이 존재하기 마련이다.

음영지역에 대한 대표적인 해결 방안으로 다수의 고정형 CCTV를 설치하고 운영하는 것이며, 현재 이런 방식이 많이들 활용되고 있다. 이를 위해서는 CCTV의 개수와 비례한 다량의 부가장비(예: 전선, 지지대 등)가 필요하다. CCTV의 증가는 결국 설치 및 운영 비용상승과 관련이 있으며, 수집되는 정보 또한 개수에 비례하므로 저장매체의 공간 및 개수 확장이 필요하다.

또 다른 방안으로 카메라가 탑재된 드론을 활용하여 음영 지역에 대한 가시성이 확보된 곳으로 이동 후 해당 지역을 감시하는 것이다. 아울러, 드론을 활용하면 다양한 위치 및 자세 변경이 가능하므로 특정 위치나 목표물에 대해 다양한 시점에서 정보수집이 가능한 장점이 있다.

다만, 문제는 드론의 비행을 위한 동력과 RF 송수신, 센서를 통한 정보 수집을 위한 전력소모로 인해 운영시간에 제약이 발생한다. 꾸준한 에너지 공급이 불가하여서 이를 위한 페이로드로 배터리 또는 화석연료(예: 수소, 휘발유, 경유 등)가 필요하다. 결국 이러한 문제로 운영시간에 대해서는 고정형 CCTV 대비 훨씬 짧다는 단점이 있다.

드론의 운영시간을 연장하려는 방안으로 대표적으로 다음과 같은 사항들이 있다[3].

⦁ 비행체 구조물에 헬륨 또는 수소 등의 낮은 밀도를 갖는 기체를 적용

⦁ 원거리 전력 공급(예: 태양열 또는 원거리 무선 전력 전송 기술 적용)

⦁ 다수의 드론을 활용한 교대방식의 임무 협업

이 중 다수의 드론을 활용한 교대방식의 임무 협업의 경우, 다음의 또 다른 임무 차례를 위한 대비를 위해 드론 포트(drone port)에서 준비상태(재충전 완료)로 재진입해야 한다. 이로써 드론 간 순환적인 운영을 통한 연속된 임무가 가능하게 하는 것이다. 이를 실현하기 위해서는 연료가 소모된 드론의 원활한 재충전을 위해 드론 포트에 정교히 착지할 필요가 있다.

지정한 위치로 착지를 위해 GPS가 내장된 많은 드론이 RTH (Return To Home) 기능을 지원한다. 이 기능은 드론에 전원이 인가된 후 최초 비행이 시작되는 위치를 기억한 뒤, 비행 임무를 수행하고 있다가 GCS(Ground Control System)로부터 RTH 명령을 수신하면 그 시작 위치에 착지(착륙)하는 기능이다. 그러나 이 기능은 GPS 등 위치 측위가 가능한 센서들의 드론내 탑재가 필수요소일 뿐만 아니라 자신의 위치 파악이 항상 되어있어야 가능하다. 따라서, GPS 신호가 없거나 여타 위치 판단을 할 수 없는 지역(예: 실내, 다리/교각 하단, 굴뚝/우물 내, 나무/빌딩 숲 등)에서는 이 RTH 기능에 대해서 사용이 불가하다. 이 경우에는 오직 카메라 영상을 통한 수동조작만이 가능하다.

본 논문은 위치 측위를 할 수 없고 고정된 전방을 향한 단안(single lens) 카메라가 탑재된 초소형 드론을 활용하여 방범용 CCTV의 기능으로 활용되고 인터넷을 통한 원격지 제어되는 드론이 운영될 때, 드론 포트에 안정적인 착지를 위한 시스템을 제안한다.

본 논문의 구성은 2장에서 드론과 관련한 사항을 소개한다. 그리고 3장에서는 본 제안을 설계하고 구현한다. 4장에서는 구현물에 대한 실험 환경을 먼저 소개하고 실행 후 결과를 얻는다. 마지막으로 5장에서는 제안한 사항에 대한 결과물을 통해 해당 응용 환경에 대한 적용 타당성을 입증하고 결론을 맺는다.

Ⅱ. 관련 기술

2-1 드론

드론(drone)은 사람이 탑승하지 않고 원격의 제어를 통해 움직이는 모든 이동 가능한 장치들이 해당되고, 무선 자동차(RC Car: Remote Controlled Car), 무선 선박, 무선 잠수함, 무선 비행기(UAV: Unmanned Aerial Vehicle, 무인 항공기)가 대표적 종류이다.

이중 UAV는 비행 형태에 따른 상황을 고려하여 크게 고정익과 회전익 구조로 나뉜다. 고정익의 경우 기류를 이용하여 양력을 형성하고 활공(gliding)할 수 있으며, 탑재된 추진체(예: 프로펠러, 터보팬, 제트엔진 등)를 이용하여 빠른 비행이 가능하다. 반면, 회전익 구조의 비행기의 경우 프로펠러가 날개의 역할을 함께 수행하여 양력과 추력을 동시에 지원한다. 따라서 고정익 방식대비 느린 비행속도를 갖지만, 정지비행이 가능하며 수직 이/착륙이 가능하기에 이를 위한 공간상의 제약이 비교적 약하다. 이러한 이착륙의 특징으로 흔히 이런 종류의 UAV를 VTOL(Vertical Take-Off and Landing, 수직이착륙) UAV라고 한다. 대표적으로 하나의 프로펠러만을 사용하는 헬리콥더 방식과 다수의 프로펠러를 사용하는 멀티콥터 방식으로 분류한다. 멀터콥터의 경우 현재 네 개의 수평방식의 프로펠러를 탑재한 쿼드콥터가 시중에 대표적으로 활용되고 있다.

드론 중 UAV의 경우 공간적인 면에서 가장 넓은 범위의 임무를 수행할 수 있으므로, UAV가 드론의 대표적인 수식어로 활용이 되고 있다.

드론은 탑승체(manned vehicle)와는 달리 성공적인 임무(mission) 수행을 위해서 반드시 GCS(Ground Control System)가 필요하다. 임무에는 UAV의 이륙, 비행, 착륙 그리고 최종적으로 수집데이터 분석이 포함된다. 아울러 비행 중 수행한 정보 수집(data acquisition) 및 기타 탑재물 제어(actuator control) 등도 모두 해당된다[5].

이를 위한 GCS는 다음의 사항들을 지원한다.

⦁ 비행 조종

⦁ 비행 상태 및 환경정보 수집

⦁ 탑재물 제어

⦁ 저장 정보 분석

비행 조종을 위한 대표적인 사용자용 인터페이스로 조이스틱(joystick)과 같은 조정 패드를 제공하는 것이다. 정보 수집에 대한 대표적인 사항으로 드론에 탑재된 카메라를 통한 영상 모니터링, 각종 위치 센서들을 통한 드론의 위치 확인, 온/습도 센서를 통한 환경 감지 등이 있다. 탑재물 제어의 경우 활용 용도에 따라 스피커를 통한 음향 송출, 배송물/무장 투하, 농약/비료 살포, 수하물 결합(docking 또는 hooking) 등이 이에 해당된다.

비행용 드론은 비행과 RF 송수신, 센서 및 엑츄에이터(actuator) 제어에 따른 많은 전력 소모로 인해 임무 시간에 제약이 있다. 따라서, 응용목적에 맞는 최소한의 탑재물를 적용하여 최대한의 비행시간을 지원할 수 있도록 설계되는 것이 중요하다.

CCTV의 기능을 수행하는 드론의 경우 영상정보 생성을 위한 카메라가 가장 핵심적인 탑재물이 될 것이며, 나머지는 임무 효율을 향상하기 위한 부수적인 용도가 될 것이다.

2-2 CCTV

MEMS (Micro Electro Mechanical Systems)와 ICT (Information & Communication Technology)의 발전으로 CCTV (Closed Circuit Television) 기술 또한 많은 발전이 이루어졌다. 이미지 센서의 발전으로 인해 높은 해상도를 지원하며, 렌즈 기술의 발전으로 원거리 촬영을 위한 줌(zoom) 기능 또한 향상되고 있다.

감시영역을 극대화하기 위해 PTZ(Pan-Tilt-Zoom) 기능 또한 탑재되고 있다. 다양한 카메라 업체에서 이를 위해 독자적인 프로토콜을 제공하기도 하지만, 오픈 건축으로 모두가 무료로 사용할 수 있도록 텍스트 기반의 XML 구조를 갖는 ONVIF (Open Network Video Interface forum) 프로토콜[6]이 현재 대표적으로 사용되고 있다. 그림 1은 ONVIF 프로토콜을 이용하여 수평 방향으로 0.5의 속도로 5초 동안 회전하라는 명령을 예로 보여준다.

그림 1. ONVIF 프로토콜 메시지 예

Fig. 1. An example message of ONVIF protocol.

아울러, 영상물에 대한 인코딩, 압축, 스트리밍, 암호화 기술 부분에 대해서도 함께 발전하고 있다.

그러나 이러한 다양한 기술이 적용되어도 고정형이라는 특징으로 인해 음영지역(shade area)이 발생하고, 이를 해결하려는 방안으로 다수의 CCTV 또는 드론과 같은 이동형 CCTV를 부수적으로 활용하는 것이 될 수 있다.

Ⅲ. 제안 설계 및 구현

드론의 CCTV 활용에 적용을 위해서는 운영시간의 연장 및 임무의 지속이 필수적이다. 이에 대한 해결방안으로 다수의 드론을 활용하여 한 대씩 교대하면서 영역에 대한 감시 임무를 수행하는 방식이 있다. 이 경우 배터리 충전이 필요한 드론은 드론포트(drone port)에서 준비상태(재충전 완료)로 재진입하여 연속된 임무가 가능하게 하는 것이다

본 연구의 목적은 다른 센서 없이 고정된 전방을 향한 단안(single lens) 카메라만 탑재된 초소형 드론을 활용하여 방범용 CCTV의 기능으로 활용할 수 있도록 하는 것이다. 그리고 동일 드론들을 다수 이용하여 GCS에서 동일한 프로토콜 기반의 명령구현과 제어 단순화를 통해 효율적 임무교대가 가능하도록 시스템을 설계 및 구현한다.

드론 CCTV 활용을 위한 운영 환경과 시나리오는 그림 2와 같다. 고정형 CCTV가 있으며, 이 CCTV는 PTZ의 기능을 지원한다. 그리고 CCTV가 설치된 곳 근처에 드론 이착륙이 가능한 드론 포트가 존재한다.

그림 2. 드론 CCTV를 위한 운영 시나리오

Fig. 2. An Operation Scenario for drone CCTV.

운영 시 그림 2의 A와 같이 특이점이 없는 한, 고정형 CCTV를 통해 주변을 감시한다. CCTV 관리자의 요구에 따라 드론을 통한 특정 지역의 세부 감시가 필요하면, 그림 2의 B단계를 위해 드론 포트에서 주기(on the ground)되어 준비상태(완충상태)인 한 개의 드론을 이륙시킨다. 이후 조이스틱 등의 비행 조정용 사용자 인터페이스 장치를 통해 그림 2의 C와 같이 드론을 음영지역으로 접근시켜 해당 지역을 살핀다. 운영 중 드론 배터리의 잔량이 부족함이 확인되면, 임무 중인 드론은 드론 포트에 복귀(예: 그림 2의 D2) 후 착륙시키고 새로운 대체 드론을 투입(예: 그림 2의 D1)하여 해당 임무가 연속되도록 조정한다. 그리고 드론 포트에 복귀한 드론은 그림 2의 E 절차로 다음 임무 비행을 위해 충전작업이 진행된다.

구현을 위해 사용된 드론은 DJI 사의 tello Edu 모델이며 98(전) x 92.5(폭) x 41(높이: mm) 크기이며 97g(배터리 포함)의 초소형 드론에 속한다. 그리고 네 개의 프로펠러와 전방에 고정형 카메라를 탑재하고 있으며 지상체(GCS)와 통신을 위한 모듈로 IEEE 802.11 규격의 무선 이더넷기반의 AP(Access Point) 모드로 운영한다. 다만, 그 외 고도 측위를 위한 Barometer와 RF(Range Finder) 등이 탑재하나 본 연구의 범위를 위해 비활성화하였다. 이 모델은 무선충전 등의 기능이 수행되지 않는다. 다만, 근거리 충전의 경우 수 센티미터(cm) 위치 오차의 범위는 허용하기에 10 cm 거리오차를 목표로 착륙하는 것을 설계하였다.

타 연구로 도킹 시스템이 오차 범위내에 도달하면 비스듬한 경사 또는 홈(hole / concave) 구조를 두어 자동으로 미끄러져 내려가 조금 더 정확한 위치에 고정되도록 하는 물리적인 후속 작업도 존재한다[4]. 그러나, 이 부분에 관해서는 본 연구의 범위를 벗어나기 때문에 본 설계 및 구현에서 배제하였다.

고정 CCTV와 드론 포트에 대한 기능을 위해 그림 3에서 보여주는 것 같이 PTZ를 지원하는 CCTV와 드론 착륙을 위한 패널을 고정하는 형태로 구성하였다. 다만, 고정형 CCTV의 경우 주변 상황에 대한 모니터링이 아닌 드론의 정밀 착륙을 위한 보조적 성격이 본 연구의 주목적이다 보니 널빤지에서 하늘을 향하도록 배치하여 비행 중인 드론의 배면을 모니터링할 수 있도록 고정하였다.

그림 3. 드론 포트용 프로토타입

Fig. 3. The prototype of Drone Port.

구현에 사용된 CCTV는 TCP/IP를 지원하고 HD(High Definition) 규격의 영상(해상도: 1280 x 720)을 H.264 인코딩 후 RTSP(Real-Time Streaming Protocol)로 송출한다.

CCTV의 DVR/NVR (Digital/Network Video Recorder)와 Monitor 기능을 위한 기능과 함께 원격 드론의 제어를 위한 GCS를 겸하는 프로그램을 그림 4와 같은 GUI 형태로 구현하였다. 두 개의 모니터링 창으로 구성되어 고정형 CCTV와 드론으로부터 송출된 영상을 재생할 수 있다. 그리고 GUI로 제공되는 비행 조정 패널 또는 조이스틱을 통해 드론의 비행을 조정할 수 있도록 구현하였다.

그림 4. 드론 CCTV 지상체 화면 예

Fig. 4. The GUI Example of Drone CCTV GCS.

드론 CCTV 지상체의 주요 기능은 닷넷(C# 언어 기반의 .NET) 4.8로 구현하였으며, 동영상 출력을 위한 부분은 OpenCV 라이브러리(버전: 4.7.0)[7]를 사용하였다.

Ⅳ. 실험 결과

그림 5는 구현된 드론 CCTV 지상체 소프트웨어의 동작 예이다. 지상의 고정된 CCTV는 Base Camera 영역에서 표시되고 드론을 통한 수신된 영상은 우측의 Drone Camera 영역에 도시된다. 소프트웨어 동작을 위한 컴퓨터의 운영 환경은 표 1과 같다.

그림 5. Drone CCTV의 드론 포트 복귀 실행 예

Fig. 5. An Experimental Example of Drone CCTV’s Returning to the Drone Port.

표 1. 드론 CCTV 지상체 소프트웨어 구동 환경

Table 1. Environments for Drone CCTV GCS S/W.

CCTV 운영을 위한 별도 장소(건물 내 경시실 등)를 고려해 볼 때, 드론과 공간적으로 떨어져 있는 GCS를 통한 드론의 비행 조정은 오직 제공되는 영상을 통해 가능하다. 따라서, 감시 임무의 효율성은 영상물의 품질(화질, 지연)에 의존을 받는다.

그리고 세밀한 드론 조정을 위해서는 조이스틱 상태 값의 샘플링 주기에 큰 영향을 받는 것을 구현과 운영을 통해 파악하게 되었다. 이에 대한 적절한 샘플링 주기는 20 Hz가 가장 적절함을 확인하였으나, 각종 실험 및 운영을 통해 영상물 품질에 더 큰 영향을 받는 것으로 확인되었다.

본 구현을 위해 사용된 드론과 CCTV를 통해 확인된 영상물의 지연은 그림 6, 그리고 그림 7과 같이 각각 확인되었다. 지연에 대한 측정은 밀리초(ms) 단위 시간과 회전(60rpm)하는 샘플용 프로그램(그림 6의 A)을 화면에 도시하고 이를 고정형 CCTV와 드론을 이용하여 각각 GCS 출력화면을 촬영하였다. 그리고 원본 영상물(A)와 GCS 내 출력물(B)의 시간값의 비교를 통해 각 영상물의 지연을 측정할 수 있었다.

그림 6. 고정 CCTV 화면의 지연 측정

Fig. 6. The latency of fixed CCTV Video.

그림 7. 드론 CCTV 화면의 지연 측정

Fig. 7. The latency of Drone CCTV Video.

각 입력 영상 소스별 출력지연에 대한 평균은 표 2와 같이 얻을 수 있었으며, 프레임별 ±10% 이내의 오차를 가졌다.

표 2. 영상물 지연

Table 2. Videos Latency.

위의 영상에 대한 지연을 고려하여 드론 비행에 대한 조정은 드론이 드론 포트 근처 상공에 도달 시 조이스틱에 대한 조절을 약 1초 정도의 시차(time lag)를 두어 제어(풍속 : ≈ 0 m/s)할 경우 10 Cm의 오차범위 내 착륙이 가능하였다.

Ⅴ. 결론

드론의 활용범위는 상당히 넓으며 이에 대한 응용으로 기존 CCTV와 협업하여 감시에 대한 제한요소(음영지역)를 제거하기 위한 솔루션을 본 연구를 통해 구현하였다. 그리고 카메라 센서만을 의존하는 원격의 초소형 드론을 제어하여 최종적으로 드론 포트에 접근 및 안정적인 착륙을 위한 방안과 가능성을 본 실험 결과를 통해 살펴보았다.

영상정보만을 통한 정교한 드론 조정을 위해서는 되도록 높은 실시간성을 갖는 영상처리(인코딩, 스트리밍, 디코딩)가 절대적으로 필요하다.

실험에서와 같이 0.9s의 영상 지연의 경우에도 10 Cm 오차 범위의 안정적인 착륙이 가능했지만, 이를 위한 작업에 평균 십여 초의 시간이 소요되었다. 물론 비행체의 제어 기술(skill)이 해당 시간을 단축할 수 있겠으나, 큰 차이는 발생하지 않으리라고 예상한다.

드론의 위치 판단을 위해 매 이동 시 수평 회전(yaw)를 진행하여 GCS 화면에 도시되는 영상정보로 상대적 위치를 파악하는 시간이 자주 소모되었다. 향후 이에 대한 시간 단축을 위해 AI를 적용한 영상분석을 통한 위치 파악이 적용되면 해당 기능에 대한 시간을 대폭 단축할 수 있을 것으로 판단된다.