Optical Equipment Utilization Technology for UAM Vertiport Final Approach Path Monitoring

UAM 버티포트 최종접근진로 감시를 위한 광학장비 활용 기술

Abstract

Various buildings are scattered below and around the flight path of UAM (Urban Air Mobility), which flies within a densely populated urban area. And the vertiport used by UAM for takeoff and landing is located on a flat area within the city center or on top of a building. As such, UAM operates in densely populated urban areas, and vertiports for takeoff and landing are installed in densely populated areas, requiring a very high level of safety. In particular, for safe landing of UAM, it is necessary to monitor the approach status of UAM approaching the vertiport from the final approach course and provide approach information. Accordingly, to monitor the UAM vertiport final approach path, research was conducted on technology that utilizes optical equipment that can be installed in a narrow site and has the advantage of reducing the burden of electromagnetic waves.

인구밀도가 높은 도심지 내에서 비행하게 되는 UAM의 비행경로 하부 및 주변으로는 각종 건축물이 산재하게 된다. 그리고 UAM이 이착륙하는데 사용하는 버티포트는 도심 내의 평지 또는 건축물 상부 등에 위치하게 된다. 이처럼 UAM은 인구밀도가 높은 도심에서 운항하고, 이착륙을 위한 버티포트는 인구밀집지역에 설치됨에 따라 매우 높은 수준의 안전도가 요구된다. 특히 UAM의 안전한 착륙을 위해 최종접근진로에서 버티포트로 접근하는 UAM의 접근상태를 감시하고 접근정보를 제공할 필요가 있다. 이에 UAM 버티포트 최종접근진로 감시를 위해 좁은 부지에 설치가 가능하면서 전자파의 부담이 적다는 장점이 있는 광학장비를 활용하는 기술에 대한 연구를 진행하였다.

Ⅰ. 서론

1-1 연구의 배경

우리나라뿐만 아니라 미국, 유럽 등 세계 각국에서 개발이 진행되고 있는 UAM (Urban Air Mobility)은 앞으로 도시의 형태와 교통체계 등에 큰 변화를 초래할 것으로 예상되는 미래의 도심교통수단이다. 이러한 UAM은 인구밀도가 높은 도심지 내에서 비행하게 되므로 UAM의 비행경로 하부 및 주변으로는 각종 건축물이 산재하게 된다.

그리고 UAM이 이착륙하는데 사용하는 버티포트는 기존의 공항과는 다른 UAM만을 위한 이착륙장으로, UAM은 버티포트를 이용하여 여객 또는 화물 등을 수송한다. 이를 위해 UAM의 버티포트는 도심 내의 일정 규모 이상 면적의 평지 또는 건축물 상부 등에 위치하게 된다.

현재의 공항에서는 접근하는 항공기에게 최종접근진로 정보를 제공하기 위해 계기착륙장치 (ILS; Instrument Landing System)라는 항행안전시설을 설치하여 운용하고 있는데, 이를 위해서는 넓은 부지확보가 필요하다. 그리고 일부 군용 비행장에 ILS와 같은 목적으로 운용하며 착륙하는 항공기를 모니터하기 위해 설치된 정밀접근레이더 (PAR; Precision Approach Radar)의 경우에도 ILS와 같은 제한사항이 있다.

그러나 UAM 버티포트는 도심 내에 설치됨에 따라 ILS 또는 PAR을 설치하기 위한 충분한 부지확보가 곤란하고, 공항에 비해 인구밀집지역에 근접함에 따라 ILS 또는 PAR에서 발산되는 전자파 등에 대한 주변 인구의 민원이 발생할 가능성이 높다.

하지만 앞에서 서술하였듯이 UAM 버티포트는 인구밀집지역에 설치됨에 따라 매우 높은 수준의 안전도가 요구되며, 특히 최종접근진로에서 버티포트로 접근하는 UAM에게 접근정보를 제공하는 한편 UAM의 접근상태를 감시할 필요가 있다.

한편 주요 감시장비로 활용되고 있는 광학영상장비는 좁은 부지에 설치가 가능하면서 전자파의 부담이 거의 없다는 장점이 있다. 물론 ILS 또는 PAR에 비해 감시거리가 짧은 단점이 있으나 육안에 비해 더 먼 거리의 감시가 가능하고, 더욱이 광학영상장비를 활용한 원격항공관제시스템이 미국과 유럽 등 일부 국가에서 개발이 진행되고 있는 실정이다.

1-2 연구의 목적

위와 같은 배경에서 광학영상장비는 UAM 버티포트의 최종 접근진로에 대한 감시장비로 사용이 가능하여 UAM 버티포트에서의 UAM 접근정보 제공 및 접근상태 감시 공백을 해결할 수 있는 대안이 될 것으로 판단된다.

이에 이러한 광학영상장비의 장점을 활용하여 UAM의 안정적인 버티포트 접근을 감시하고 지원하기 위한 ‘영상감시기반의 버티포트 CNSi 지상시스템(이하 ‘영상감시시스템’이라 함)’의 개발을 위해 이에 필요한 요구조건과 성능 및 요소기술에 대한 연구를 진행하였다.

Ⅱ. 시스템 요구조건

2-1 시스템 탐지 요구범위 설정

영상감시시스템의 탐지 요구범위는 버티포트 또는 버티포트 테스트베드에 대한 연구를 통해 도출할 수 있다.

먼저 버티포트의 입지선정을 위한 고려요인은 다양한 연구에서 제시되고 있으나 크게 아래 표 1과 같이 구분될 수 있다.

표 1. 버티포트 입지선정을 위한 고려요인 [1]

Table 1. Factors for UAM Vertiport Location Selection [1]

다만 실제 서비스에 사용되는 버티포트와 달리 연구와 실증을 위한 버티포트 테스트베드의 경우 실험 또는 실증 과정에서 발생할 수 있는 안전문제, 각종 시험장비를 포함한 시설의 구축 등 여러 제한사항이 존재한다.

이에 테스트베드 입지선정에서는 위의 고려요인 중 교통수요, 접근성, 이용가격 등 일부 요인은 고려하지 않으나, 테스트베드의 입지는 아래 표 2의 내용에 대한 확보가 가능하며 실제 버티포트와 최대한 비슷한 특성을 가질 수 있는 곳으로 선정할 필요가 있다.

표 2. UAM 테스트베드 입지 선정을 위한 고려요인 [2]

Table 2. Factors for UAM Test-bed Location Selection [2]

또한 연구의 수행과 연구 결과물인 ‘영상감시시스템’의 운용을 위해 테스트베드에는 UAM 기체가 지면에 접지 또는 지면으로부터 부양할 수 있는 구역인 TLOF (Touchdown and Lift-OFf area), UAM 기체가 착륙접근 조작의 마지막 단계를 완료하거나 이륙기동을 시작하는 지역인 FATO (Final Approach and Take Off area) 및 FATO를 이탈하는 UAM 기체의 손상위험 감소를 위해 FATO 주변에 일정한 크기로 설치하는 구역인 SA (Safety Area)가 설치되어야 한다.

한편 버티포트의 크기는 이러한 TLOF 등의 버티포트 구성 요소의 크기에 좌우되는데, 이들 버티포트 구성요소의 규격은 위의 표 3 및 그림 1과 같다.

표 3. 버티포트의 물리적 특성

Table 3. Physical Characteristics of Vertiport

* Maximum diameter of airframe including rotor

** The diameter of the circle through which all airframe enters, including the rotor

그림 1. TLOF, FATO, SA (좌측부터 한국, FAA, EASA)

Fig. 1. TLOF, FATO, SA (from left, Korea, FAA, EASA)

우리나라는 국토교통부를 비롯한 관련 민·관·산·학·연 협의체인 UAM Team-Korea에서 발행한 ‘한국형 버티포트 구축 및 운용을 위한 안내서(2021)’에 버티포트의 규격을 제시하고 있다. 한편 미국은 연방항공청 (FAA)에서 제정한 Engineering Brief 105 ‘Vertiport Design(2022)’에, 유럽은 유럽항공안전청(EASA)에서 제정한 ‘PTS-VPT-DSN(2022)’에 버티포트의 규격을 각각 제시하고 있다.

이번 연구에서는 이러한 모든 규격을 포괄할 수 있도록 위의 규격 중 가장 큰 규격인 FAA의 규격을 적용하였다.

한편 일반 공항의 Airside와 같이 버티포트에서도 UAM 기체의 지상이동, 이착륙 등이 이루어지고 이러한 활동이 감시되어야 하는 공간을 Airside라고 하며 위에서 설명한 TLOF, FATO 및 SA로 구성된다.

또한 버티포트에 UAM 기체가 뜨고 내리기 위해 버티포트로부터 시작되어 특정방향으로 구성되는 장애물제한표면(OLS; Obstacle Linitiatiom Zone)이 형성된다.

특히 실제 UAM 기체의 이착륙에 영향을 주는 장애물로부터 UAM 기체를 보호하기 위한 표면이 진입표면(Approach Surface)이며, 진입표면은 위의 표 4 및 그림 2와 같이 설정된다.

표 4. 진입표면의 크기

Table 4. Size of Approach Surface

그림 2. 진입표면 (좌측부터 FAA, EASA)

Fig. 2. Approach Surface (from left, FAA, EASA)

다만 미국이나 유럽은 앞에서 소개한 규정들에서 이러한 진입표면의 규격을 함께 제시하고 있으나, 우리나라는 아직 이를 마련하지 않았다. 이에 이번 연구에서는 국토교통부의 ‘공항· 비행장시설 및 이착륙장 설치기준(2022)’에 명시된 육상헬기장의 진입표면의 크기를 우리나라의 기준으로 적용하였다.

이러한 진입표면의 규격은 광학영상장비를 활용하여 버티포트로 접근하는 UAM 기체에 대한 감시장비의 성능기준이 된다. 또한 K-UAM 운용개념서에 따르면, 초기 UAM의 비행방식은 시계비행방식이므로 위의 버티포트 장애물제한표면을 고려하여 영상감시시스템의 탐지범위 검토가 필요하다.

이에 UAM 기체 접근경로의 범위를 고려하여 영상감시시스템에 요구되는 탐지능력(범위)은 아래와 같이 검토된다.

• (탐지거리) EASA 기준인 ‘1,220m’를 충족하도록 탐지거리는 FATO로부터 최대 1,500m 적용

• (수평범위) 우리나라 기준인 ‘시작 폭 + 324m’를 충족하도록 수평범위는 FATO로부터 1,500m 지점에서 최대 500m 적용

• (수직범위) FAA 기준인 ‘152m’를 충족하도록 FATO로부터 1,500m 지점에서 FATO 표고로부터 200m 적용

2-2 시스템의 구성

1) 영상획득시스템

영상획득시스템은 광학장비(카메라)를 통해 버티포트로 접근하거나 탐지범위 내에 있는 UAM 기체의 영상정보를 획득하기 위한 시스템으로, 영상을 획득하기 위한 광학장비(카메라)들로 구성된다.

이 시스템은 버티포트로 접근하는 UAM 기체가 안정적인 접근경로로부터 이격된 수평이탈편차와 버티포트로부터의 거리를 측정하는 기능을 수행한다.

이러한 기능은 두 대의 카메라와 피사체간의 거리차에 따라 피사체의 위치를 판단하는 ‘양안시차’의 원리를 적용한 것으로, 이는 사람이 두 눈으로 피사체를 보며 거리와 입체적 판단을 하는 것과 같은 원리이다.

이를 위해 두 대의 고정식 카메라가 사용되며, 카메라를 이용한 측정방법은 카메라의 설치방식에 따라 아래의 표 6 및 그림 3과 같이 ‘평행식’과 ‘폭주식’으로 구분된다.

표 6. 측정 및 설치 방법

Table 6. Measurement and Installation Method

그림 3. 카메라의 설치 방법 (좌측부터 평행식, 폭주식)

Fig. 3. Installation Method for Cameras (from left, Parallel Type, Convergence Type)

이 중 이번 연구에서는 근거리 최종 접근구간에서의 영상획득을 위해 두 대의 고정식 카메라를 ‘폭주식’으로 설치하였다.

2) 분석 및 저장시스템

수집된 영상정보(raw data)에 대한 분석을 통해 해당 기체에 대한 식별과 정보가공 및 저장을 담당하는 시스템으로, 광학장비를 통해 수집된 영상정보를 가공하는 분석시스템과 그 결과를 보관하는 저장시스템으로 구성된다. 그림 4는 시스템 설치의 예시이다.

그림 4. 분석 및 저장시스템 (예시)

Fig. 4. Analysis and Storage System (example)

분석시스템에서는 YOLO image processing을 통해 영상획득장비에서 수집된 영상정보에서 객체를 식별, 인지(Object Detection)하는 작업을 수행한다.

이후 AI Server를 통해 인지된 객체의 상황을 인식(Situation Awareness)하여 사용자에게 이에 대한 정보를 제공하는 작업을 수행한다.

저장시스템에서는 분석시스템에 포함된 AI의 학습에 활용하거나 사고조사 등 필요한 경우 해당 자료를 확인할 수 있도록 영상획득장비에서 수집된 영상정보와 분석장비에서 처리된 결과를 보관하는 기능을 담당한다.

3) 데이터표출시스템

영상획득시스템으로 수집되어 분석 및 저장시스템을 통해 정제되거나 저장된 데이터를 사용자가 확인, 활용할 수 있도록 화면에 표시하는 시스템이다.

이 시스템은 아래 그림 5의 예시와 같이 카메라를 통해 수집되는 실시간 영상에 대한 디스플레이와 분석장비를 통해 가공된 데이터의 결과를 확인하는 디스플레이로 구성된다.

그림 5. 데이터표출시스템 (예시)

Fig. 5. Display System (exapmle)

2-3 시스템 운영 기상조건

1) 일반사항

기상상황은 일반 항공에서의 기상과 마찬가지로 비행 중인 UAM 기체뿐만 아니라 버티포트 등 UAM의 전반적인 안전에 큰 영향을 미치는 중요한 요소이다.

특히 영상감시시스템 중 영상획득장비는 광학영상장비를 사용하며 버티포트의 SA 근처인 실외에 설치됨에 따라 기상조건의 영향을 받게 된다.

이에 구성 장비를 원활하게 운용할 수 있는 기상조건이 제시될 필요가 있다. 그러나 이러한 기상조건은 운용을 위한 참고사항으로, 제시된 조건이 충족된다고 하여 안전이 보장됨을 의미하지는 않는다.

2) 기상요건 검토

온도, 습도, 바람 등 일반적인 기상요건이라 하더라도 장비 구성품의 정상 작동범위와 다음의 내용을 고려하여 전반적으로 장비운영이 가능한 기상 조건을 검토할 필요가 있다.

• (온도) 극저온 상태에서 카메라 운용 시 카메라 내부 전자기 흐름 및 셔터 작동 속도가 느려져, 영상 갱신율이 떨어지고 영상 내 잔상이 남아 객체 탐지성능 저하

• (습도) 습도가 높은 기상 환경은 영상 이미지 왜곡을 발생시키고 장비 자체의 부식 및 곰팡이와 같은 손상 유발, 장시간 습기에 노출될 경우 합선에 의한 화재까지 발생 가능

• (시정) 저시정 상황에서는 객체탐지 기능의 작동이 제한되어 영상감시 운용 제한

• (안개) 습기로 인한 영상감시장비의 광학적인 산란 현상으로 인하여 선명한 이미지 취득이 어려움

• (바람) 강풍 발생 시 버티포트 내 진동 발생으로 선명한 광학 포착 어려움

• (강수) 폭우 상황에서는 카메라 시정 악화로 영상감시 운용 제한

• (강설) 카메라 하우징의 온도 저하 및 습도 상승으로 인하여 카메라의 복합적인 작동 이상 가능성 존재

• (우박) 영상감시장비의 위치 이탈 및 파손 가능성

• (뇌우) 고압의 전기적 현상으로 인한 반도체 파손 가능

3) 시스템 운영을 위한 기상기준

영상감시시스템을 구성하는 장비 중 분석 및 저장장비와 데이터 표출장비는 실내에 설치되는 장비이므로 기상의 영향을 받지 않는다. 그러나 영상획득장비는 실외에 설치되는 장비이므로 기상의 영향을 반드시 고려하여야 한다.

영상획득장비의 핵심은 카메라이므로 이번 연구에 사용한 카메라의 제원과 부수장비(하우징, Heating & Cooling 장치 등)의 제원을 고려하여 다음과 같이 기상기준을 검토하였다.

• (온도) -10℃ ~ 50℃

• (습도) 0% ~ 90%

• (시정) 500m 이상

• (안개) 안개로 인해 시정이나 습도가 위 기준을 초과하는 경우 운용하지 말 것

• (바람) 25m/s 미만

• (강수) 시간당 20㎜ 이하

• (우박) 우박이 내리는 상황에서는 운용하지 말 것

• (뇌우) 뇌우가 있는 상황에서는 운용하지 말 것

Ⅲ. 시스템 최소성능 기술규격

3-1 시스템 기술요건

영상감시 시스템이 인간의 정교한 시각감지 체계를 대신하기 위해 카메라 너머의 상황을 실시간으로 정확하게 시현할 수 있는 전시(Display) 체계 품질에 대한 선행 검토가 필요하다. 특히 시각적 시현방식은 복합적 요인에 의해 품질이 결정되므로 신뢰성 있는 운용을 위한 세부요인들의 기술 규명이 필요하다.

이를 위해 국내ㆍ외 자료 및 운영 사례 등의 검토를 통해 영상감시 시스템 세부기술 선별을 위한 항목을 도출하였다. 영상감시 시스템 운영에 필요한 기술로는 아래의 그림 6과 같이 탐지 성능, 추적 성능, 광학 성능, 영상 성능, PTZ 성능 등을 예시로 들 수 있다.

그림 6. 성능요구

Fig. 6. Performance Requirements​​​​​​​

한편 영상장비는 물체의 정보를 얻어 모양, 상태, 움직임 등을 인식하는 것이 필수 성능임을 고려하여 위의 표 7과 같이 다섯 가지 요건을 기준으로 영상감시시스템의 기준을 제시하였다.

표 7. 기술적 성능요구

Table 7. Technical Performance Requirements

3-2 기술요건 세부사항

1) Tech 01

감지 및 인식 범위 성능 조건은 원격 카메라의 측정 지역 대상 품질에 따른 감지 및 인식 범위를 의미한다. 운영자 및 시스템 제공자는 감지·인식 물체와 범위의 구체적 요구사항을 측정 지역, 측정 대상, 파노라마/PTZ 방식, 감지/인식 품질 등의 파라미터를 이용하여 지정한다. 위의 그림 7은 EUROCAE의 ED-240A ‘Minimum Aviation System Performance Standards for Remote Tower Optical Systems(2018)’에 제시된 객체탐지 방법으로, 이러한 성능 조건이 적용되고 있다.

그림 7. ED-240A에 따른 객체탐지 방법 [7]

Fig. 7. Method for Target Detection (Ref. ED-240A) [7]

2) Tech 02

시스템의 전시지연시간은 시스템의 캡쳐 후 전시까지의 지연과 프레임 간 인터벌 시간을 합친 시간으로, 현용 지상설치 감시센서의 표준 지연시간은 1초이다. 이에 개발되는 시스템의 전시지연시간은 1초 이하를 목표로 한다.

3) Tech 03

영상갱신율은 광학 센서가 탐지하는 대상에 대해 운영자가 필요로 하는 성능 요건을 고려하여 적합한 영상 업데이트 속도 설정하며, 현용 유사 시스템의 영상갱신율은 25fps ~ 30fps 수준이다. 이에 개발되는 시스템의 영상갱신율은 객체탐지 및 인식범위의 성능 요건을 기반으로 하여 1fps를 초과해야 한다.

4) Tech 04

영상시현 실패 알림시간은 화면 영상시스템의 고장 발생 시간으로부터 운영자에게 이를 알리는 시간까지의 간격으로, 개발되는 시스템의 경우 2초 이하를 목표로 한다.

5) Tech 05

PTZ 기능제어 지연시간은 운영자에게 제공된 영상 이미지의 작동 가용성에 영향을 미치는 고장과 운영자에게 통보 사이의 경과 시간으로, 개발되는 시스템의 경우 운영자가 특정 제어값을 입력하였을 때 반응시간은 250ms 이하를 목표로 한다.

Ⅳ. UAM 기체 식별을 위한 요소기술

4-1 데이터 수집 및 전처리

영상감시시스템을 이용하여 UAM 기체를 식별하기 위한 첫번째 요소기술은 데이터 수집 및 전처리 기술이다. 이는 식별할 기체의 동영상 또는 정지영상(사진)과 같은 이미지 데이터를 수집하는 데이터 수집 단계와 신경망 학습모델 생성을 위해 수집된 데이터에서 식별할 객체를 지정하는 작업인 데이터 전처리 단계로 구분된다.

1) 데이터 수집

비행체가 비행 중인 배경의 풍경, 조도, 촬영 각도에 따라 비행체의 이미지 정보는 달라질 수 있으므로 탐지 성능 향상을 위해 다양한 각도와 환경에서 식별 대상 비행체의 이미지 데이터를 수집하는 과정이다.

2) 데이터 전처리

수집된 이미지 데이터 내에서 식별할 객체를 라벨링하여 지정하는 과정으로, 위의 표 8과 같은 다양한 기법이 사용된다. 이번 연구에서는 이러한 여러 유형의 라벨링 기법 중 아래와 같은 이유로 Lablebox의 Bounding Box Annotation을 활용하였다.

표 8. 라벨링 종류와 특징

Table 8. Types and features of Annotation

• 기체 식별에 필요한 시간은 최대한 실시간에 가까워야 함

• 굴곡이 많은 UAM 기체의 특성을 고려할 것

• 다수 인원이 라벨링 작업을 하더라도 결과물의 통일성이 비교적 높음

• 라벨링 정보와 외부 데이터셋이 많음

• 형태를 단순하게 하여 상대적으로 전처리 작업과 탐지 연산시간이 적게 걸림

4-2 객체 탐지

영상감시시스템을 이용하여 UAM 기체를 식별하기 위한 두번째 요소기술은 이미지 데이터 내에서 객체를 탐지하는 기술이다. 이를 위해 UAM을 탐지하는 신경망 모델을 개발하고 전처리된 이미지 데이터를 신경망에 학습시키게 된다.

1) 신경망 학습을 위한 이미지 데이터셋 설정

본 연구에서는 과적합 (overfitting)으로 인한 신경망 모델 성능 하락을 막기 위해 수집된 데이터셋의 학습과 검증 비율을 8:2로 나누어 진행하였다 [8].

2) 신경망 학습

설정된 이미지 데이터셋을 기반으로 신경망을 구축한 후 아래의 신경망 학습과정을 반복 수행함으로써 가중치 (weight)를 변경하며 모델의 정확도를 향상시켰다 [8].

• (1단계) Mini Batch : 학습할 데이터셋 가져오기

• (2단계) Augmentation : 학습 데이터셋 과적합 방지 및 데이터 불균형 문제를 해결하기 위해 이미지 데이터에 변형을 주는 데이터 증강 (augmentation) 기법을 학습에 적용

• (3단계) Loss : Mini Batch의 손실 함수값을 줄이기 위해 손실 함수의 값을 작게하는 기울기 산출

• (4단계) Update : 가중치 매개변수를 기울기 방향으로 Learnig Rate에 따라 갱신

• (5단계) Repeat : 위 3단계와 4단계를 반복 수행

3) 검증을 통한 모델성능 평가

구축한 신경망 모델의 객체 탐지 정확도는 객체탐지 알고리즘의 성능지표로 사용되는 ‘평균정확도 (mAP; mean Average Precision)’로 측정하였다[8].

‘평균정확도 (mAP)’는 탐지된 전체 객체 중 올바르게 탐지된 객체의 비율인 ‘정밀도 (precision)’와 탐지되었어야 할 전체 탐지횟수 중 실제 탐지된 비율인 ‘재현율 (recall)’의 평균으로, 값이 ‘1’에 가까울수록 정확도가 높음을 의미한다.

이번 연구에서는 점증을 위해 할당된 20%의 데이터셋을 사용하여 신경망 구축에 적용된 가중치의 정확도를 확인한 후, 모델이 학습 중인 경우에는 평균정확도 (mAP)의 변동폭을 확인하여 일정해지는 시점까지 지정한 Mini Batch와 Epoch만큼 지도학습을 진행하고, 모델이 학습 중이 아닌 경우에는 현재 신경망의 평균정확도 (mAP)를 출력하는 방식으로 진행하였다.

4-3 탐지된 객체의 파라미터 추출

영상감시시스템을 이용하여 UAM 기체를 식별하기 위한 세번째 요소기술은 탐지된 객체의 파라미터를 추출하는 기술이다. 이는 생성한 신경망 모델링을 바탕으로 기체 탐지 알고리즘을 구축하고 탐지된 기체의 좌표와 탐지 개체의 Bounding Box 값을 추출하는 기술로 구분된다.

1) 탐지 알고리즘 구축

영상감시시스템을 이용하여 UAM 기체를 탐지하기 위하여 본 연구에서는 ‘Unified Detection’과 ‘1×1 Convolution’ 및 ‘1-Stage Detection’ 기술을 활용하여 알고리즘을 구축하였다.

‘Unified Detection’ 기술은 1-Stage Detection이 되도록 탐지된 객체의 위치 (bounding box)를 도출하고 객체의 종류를 구분(classification) 짓는 연산 처리를 동일 신경망에 적용하여 적은 계산량 대비 높은 탐지 성능을 도출할 수 있다.

‘1×1 Convolution’ 기술은 1×1 크기의 Convolution Filter를 적용한 Convolution Layer를 사용하여 같은 Feature Map Convolution 대비 계산량 감소 효과를 볼 수 있으며, 신경망 모델의 비현실성 (non-linearity)이 증가하여 더 복잡한 패턴의 인식이 가능하다.

한편, 초기의 객체탐지 알고리즘은 ‘2-Stage Detection’ 알고리즘으로, 이는 Single Window와 Region Proposal Methods 등을 통해 객체를 탐지한 후 탐지된 객체 중에서 분류하는 형태로 진행하였다. 이에 비해 ‘2-Stage Detection’ 이후에 나온 ‘1-Stage Detection’ 알고리즘은 하나의 Convolution Network를 통하여 대상의 특징점 추출과 분류를 한 번에 진행하여 속도 측면에서 우위에 있다.

‘2-Stage Detection’ 알고리즘과 ‘1-Stage Detection’ 알고리즘의 구조는 아래 그림 8과 같다.

그림 8. 2-Stage Detection(위)과 1-Stage Detection(아래)

Fig. 8. 2-Stage(top) and 1-Stage(bottom) Detection​​​​​​​

2) 탐지 기체 파라미터 추출

탐지된 기체의 Bounding Box와 이의 좌표 등의 정보를 추출하여 영상감시시스템 사용자가 보고 있는 화면에 위의 그림 9와 같이 시현하는 기술이다.

그림 9. 탐지 및 수집된 기체 시현

Fig. 9. Detected and Collected Aircraft Display​​​​​​​

Ⅴ. UAM 기체 추적 및 이착륙 지원 요소기술

5-1 MPS 카메라 제어 값 송신

외부에서 카메라를 제어할 수 있도록 MPS(Main Process Server)에서 MQTT 통신으로 특정 회전 값을 송신하는 단계이다. 먼저 전송 속도와 전송 데이터 형태를 고려하여 이에 부합하는 MQTT 통신으로 카메라의 회전 값을 가공 및 처리할 수 있는 PT Controller로 송신한다. MQTT 통신은 아래의 그림 10과 같은 과정으로 통신이 이루어지며, 특정 Topic으로 메시지를 전송함으로써 해당 Topic을 수신하고 있는 사용자에게 메시지를 전달할 수 있다.

그림 10. MQTT 통신 과정

Fig. 10. MQTT Communication Process​​​​​​​

5-2 수신 후 제어 값 데이터 가공

이 과정은 MPS에서 송신된 제어 값을 가공할 수 있도록 PT Controller에서 수신하는 단계이다. MPS로부터 카메라에 대한 제어 값이 포함된 메시지 Topic을 PT Controller에서 수신한다. 이후 수신된 카메라 제어 값을 제어 보드가 처리할 수 있는 데이터로 가공하고, 가공된 카메라 제어 값을 제어 보드로 전송하는 과정을 거친다.

5-3 카메라 제어 보드로 제어 값 처리

이 과정은 Pan과 Tilt가 작동될 수 있도록 가공된 값을 I2C 통신을 통해 제어 보드로 송수신하는 단계이다. 이는 위의 그림 11과 같이 PT Controller에서 수신한 제어 값을 제어 보드로 I2C 통신 형태로 전달하고, 해당 제어 값에 맞는 Pulse 및 Direction 값을 Pan & Tilt Driver로 전송하는 과정이다.

그림 11. Pan 및 Tilt의 추적 과정

Fig. 11. Pan and Tilt Tracking Process​​​​​​​

5-4 Pan & Tilt Motor 구동

Pan & Tilt Driver에서 I2C 통신을 통해 전달받은 값을 이용하여 Motor를 구동시켜 Pan 및 Tilt 기능을 수행하는 단계이다. 이를 위해 위의 그림 12와 같이 전달받은 회전 값에 맞게 회전하고 멈출 수 있도록 Motor와 연동된 Encoder를 통하여 Counter값을 제어보드로 전송한다.

그림 12. Pan과 Tilt의 작동 과정

Fig. 12. Pan & Tilt Operation Process​​​​​​​

Ⅵ. 다중 영상데이터 처리 및 분석 요소기술

6-1 저지연 영상전송

이는 카메라의 실시간 영상 송출속도의 문제를 해결하기 위한 기술이다. 이를 위해 H6265 비디오 코덱을 통해 영상을 압축하였는데, 이로 인해 압축 시 발생할 수 있는 손실률을 최소화하며 빠르게 영상 송출을 진행할 수 있다.

6-2 영상을 통한 기체의 위치 특정

이는 버티포트로부터 기체까지의 정확한 거리 측정을 위한 적외선 거리측정기 (IRF; Infra-red Range Finder)를 기체 중앙부로 정렬시키도록 기체의 위치를 특정하는 기술이다.

우선 촬영하고 있는 고정 카메라의 위치와 자세를 알아야만 기체의 위치를 보다 정확하게 특정할 수 있으므로 카메라 내외부 파라미터를 측정하여 적용하는 카메라 캘리브레이션 작업 수행이 필요하다.

이후 위의 그림 13과 같이 송출 받은 2대의 고정 카메라 영상에서 UAM 기체까지의 반직선을 생성하고, 생성된 2개의 반직선이 가장 인접한 지점에서 카메라까지의 거리를 측정하게 된다.

그림 13. 거리측정 방법

Fig. 13. Distance Measurement Method

이를 위해 고정 카메라와 연결된 ODS(Object Detection Server) 및 외부 인프라를 통일된 환경으로 구축하며, 각 카메라와 ODS가 동기화된 환경에서 하나의 객체를 바라보고, 서로 다른 카메라 화면에서 동일 객체로 인지 및 추적한다.

6-3 특정 위치로의 카메라 제어

카메라의 Zoom 기능과 적외선 거리측정기의 기능이 순차적으로 동작하는 단계이다.

우선 거리 측정을 위해 송출한 적외선이 기체에서 이탈하지 않도록 기체 중심부에 맞출 수 있어야 한다. 이를 위해 카메라의 Zoom-in 기능을 통해 카메라 화면 중앙과 객체 중앙이 일치하는 각도를 파악해야 한다.

이후 위의 그림 14, 그림 15와 같이 카메라의 Zoom 기능과 적외선 거리측정기의 적외선 송출 기능은 MQTT 통신을 통해 PT Controller에서 해당 Topic으로 받은 값으로, 카메라 및 적외선 거리측정기로 전달하여 동작하게 된다.

그림 14. Zoom 동작 과정

Fig. 14. Zoom Process

그림 15. 적외선 거리측정기 동작 과정

Fig. 15. IRF Process​​​​​​​

이어서 구동한 카메라의 Zoom 배율과 적외선 거리측정기로 측정된 거리정보를 PT Controller에서 수신하고 지정된 Topic으로 이를 MPS로 전달한다.

Ⅶ. 결론

이와 같이 영상광학장비를 활용하여 UAM의 버티포트 최종접근진로를 감시하고 안전한 착륙을 지원하기 위한 영상감시시스템의 개발에 필요한 요소기술을 연구하였다 이번 연구를 통해 검토된 영상감시시스템의 탐지범위, 운용 기상조건 및 기술적 요구성능은 버티포트 크기, 카메라 제원 및 관련 사례 등을 고려하여 표 9부터 표 11과 같이 도출되었다.

표 9. 카메라에 대한 요구 탐지범위

Table 9. Required Detection Coverage of Camera

표 10. 시스템 운영을 위한 요구 기상조건

Table 10. Required Weather Condition for System Operation

표 11. 기술 요구성능

Table 11. Technical Performance Requirements​​​​​​​

한편 영상감시시스템의 개발에 필요한 요소기술은 아래 표 12와 같이 UAM 기체 식별, UAM 기체 추적 및 이착륙 지원, 다중 영상데이터 처리 및 분석 등 3개의 기술분야에 대해 검토하였고, 세부 기술을 분류하였다.

표 12. 영상감시시스템 개발에 필요한 요소기술

Table 12. Required Element Technology for Optical Surveillance System Development​​​​​​​

이를 통해 버티포트 테스트베드 운영환경에서 초기 UAM의 운영을 지원하기 위해 필요한 영상감시시스템의 최소 성능에 대한 기술규격을 제시하였다.

다만 아직까지 개발이 완료된 UAM 기체가 없어 UAM 기체의 영상데이터 수집이 불가하여 개발된 요소기술의 검증에 필요한 영상데이터를 멀티콥터형 드론의 영상데이터로 대체하여 진행하였다.

이처럼 대체 영상데이터를 이용하여 각 요소기술의 개발성과는 확인할 수 있었으나, 실제 UAM 기체를 탐지, 식별하고 분석하는 일련의 과정에 대한 검증은 제한적으로 수행된 점은 이번 연구의 한계라 할 것이다.

이에 향후 UAM에 대한 영상정보를 수집하여 개발된 기술의 검증에 적용하고 각 기술을 고도화하는 등의 후속 연구개발을 진행할 예정이다.

이를 통해 영상감시시스템의 관련 기술개발이 완료된다면 버티포트에 접근하는 UAM 기체에 대한 실시간 상태감시와 조언 등이 가능하고, 보다 안전하고 효율적으로 UAM의 운항이 가능할 것으로 기대한다.