DOI QR코드

DOI QR Code

A Study on The Dangers and Their Countermeasures of Autonomous Vehicle

자율주행자동차 위험 및 대응방안에 대한 고찰

  • 정임영 (경북대학교 전자공학부 공학박사)
  • Received : 2020.04.23
  • Accepted : 2020.05.13
  • Published : 2020.06.28

Abstract

Modern vehicles are evolving from manual to automatic driving. As the ratio of electrical equipment and software increases inside the vehicle, vehicles that support autonomous driving are becoming another open computer system that can communicate with the outside. The safety of the vehicle means the safety of both the passenger and the non-passenger. It is not clear whether the safety problem of ultimate autonomous vehicles can be solved by the current solution of computer systems related to fault tolerance and security. Autonomous vehicles should not be dangerous to people after they are released to the market, so it is necessary to proactively diagnose all the risks that can be predicted with current technology. This paper examines the current developments of autonomous vehicles and analyzes their dangers that threaten driving safety, as well as their countermeasures.

현대의 차량은 수동운전에서 자동운전의 시대로 진화하고 있다. 차량 내부에서는 전장기기와 소프트웨어의 비중이 점점 높아지면서 자동운전을 지원하는 차량은 외부와의 통신이 가능한 또 하나의 오픈 컴퓨터 시스템이 되어가고 있다. 자동차의 안전은 동승자와 비동승자의 안전을 의미한다. 현재 컴퓨터 시스템의 결함내성 및 보안 해법을 차용해서 아직 출현하지 않은 궁극적 자율주행자동차의 안전문제를 모두 해결할 수 있을 것인가는 단정할 수 없다. 자율주행차량이 시장에 나온 이후에 사람들이 위험해지면 안 되기 때문에, 현재의 기술력으로 예측할 수 있는 모든 위험을 사전에 진단하는 것이 필요하다. 그리고 출시되는 차량에 맞는 방어방안을 장착하는 것이 보다 안전한 차량을 개발하는 방법이 될 것이다. 본 논문은 자율주행자동차의 현재 개발 상황을 살펴보고, 주행 안전을 위협하는 자율주행자동차의 위험을 이에 대한 방어방안과 같이 분석하고자 한다.

Keywords

I. 서론

사람의 편리함을 위해 만들어진 자동차는 [그림 1] 과 같이 해가 갈수록 늘어나고 있고, 2019년 기준 거의 2명 당 1대의 자동차를 보유하고 있는 상황이다[1]. 한편, [그림 2]와 같이, 늘어나는 자동차 사고에 의한 치명율은 줄었으나[2], 사고 발생건수는 줄고 있지 않아 자동차가 일상이 된 생활에서 사람들의 안전은 여전히 위협받고 있다. 더욱이 고령화 사회 진입으로 고령운전자들에 의한 사고는 [그림 3]과 같이 해마다 증가세를 보이고 있다 [3].

CCTHCV_2020_v20n6_90_f0001.png 이미지

그림 1. 자동차 등록 대 수 증가추이 [1]

CCTHCV_2020_v20n6_90_f0002.png 이미지

그림 2. 자동차 사고, 사망자 수, 부상자 수 추이 (2009~2018) [2]

CCTHCV_2020_v20n6_90_f0003.png 이미지

그림 3. 고령운전자 교통사고 건 수 (2008~2017) [3]

운전자의 주의결핍, 운전 미숙, 인지능력 저하로 빚어지는 사고들을 줄여보고자, 여러 종류의 센서 데이터 및 카메라 영상을 이용하여 차량 주변 물체의 자동감지를 통한 충돌회피, 자율주행기능까지 포함하는 자율주행자동차가 개발되고 시연되고 있다. 그러나 기존 자동차 사고의 원인을 줄여 사람들을 보호하는 기능은 고도화되고 있지만, 실제 생활에서 자율주행자동차가 사람들의 안전을 위협하는 또 하나의 위험원이 될 가능성이 있어 우려를 낳고 있다. 최근 자율주행자동차의 시범 운행 중인 지역의 사고를 보면, Uber가 시범 자율주행을 하던 Volvo X90에 의해 2018년 3월 18일 밤10시 미국 애리조나의 한 교차로에서 자전거를 끌고 가던 40대 여성 보행자가 숨지는 사고가 발생하였다[4]. 즉, 자율주행차량이 아직은 충분한 안전성이 갖춰지지 않았다는 예가 될 수 있다.

이에 본 논문은, 출시전인 높은 수준의 자율주행을 지원하는 자동차의 상용화로 인한 위험이 증명되진 않았지만, 현시점을 중심으로 연구 및 분석 예측에 의한 자율주행차량 안전에 위협이 되는 위험과 이에 대한 대응방안에 대해 분석해보고자 한다. 특히, 기술 고도화에 의한 자율주행자동차의 안전을 위협하는 위험 중, 커넥티드카 기능으로 인한 사이버 보안 위협과 각종센서 및 카메라를 통한 자동 데이터 분석에 기반한 자율주행 위험과 이에 대한 대응방안을 분석한다. 이 위험들은 시장과 도로에 자율주행자동차의 비율이 높아지면 실제 안전을 위협하는 요소로 부각될 가능성이 높아 중요한 부분이다. 논문의 연구방법은 자율주행자동차 기술의 현재를 살펴보고, 현재와 미래의 기술수준에서 예측되는 자율주행자동차의 위험을 사이버위협과 자율주행 관련 위협의 관점에서 분석하고 이에 대한 대응방안을 분석하고자 한다.

논문의 구성은 2장에서는 현대의 자율주행자동차 개발 현황을 분석한다. 3장에서는 자율주행 자동차의 안전을 위협하는 사이버 위험과 자율주행 위험을 중심으로 분석하고, 이들에 대한 대응방안을 살펴본다. 4장에서는 토론과 결론으로 마무리된다.

II. 자율주행자동차 개발 현황

현대의 자율주행차량은 전자기기 시스템의 비중이 커지고 있다. 사람의 감각을 모방하거나 사람이 인지하기 힘든 부분을 감시하여 데이터화를 할 수 있는 많은 센서들과 카메라를 탑재하여 보다 안전한 주행을 제공하려 한다.

기존 자동차 제조사들은 차간거리유지, 차선이탈방지, 주차 보조 장치 등 복수의 첨단운전자지원시스탬 (ADAS: Advanced Driving Assistance System)을 갖춘 레벨 2 수준까지의 자율주행차를 출시하고 있다.

[그림 4][6]는 [표 1][5]의 자율주행레벨 3을 지원하는 현재의 자율주행자동차의 시판 모델인 Audi 사의 A8을 보여주고 있다. 차량주변의 상황, 물건 및 사람들을 감지하기 위한 각종 카메라, 레이더(Radar)와 초음파 센서를 포함하는 여러 센서들이 장착되어있다.

CCTHCV_2020_v20n6_90_f0004.png 이미지

그림 4. 자율주행레벨 3을 만족하는 Audi 사의 A8 model [6]

표 1. SAE J3016 [5] 기반 자율주행 수준

CCTHCV_2020_v20n6_90_t0001.png 이미지

출처 : 한국교통연구원(2016)

아직 자동차 제조사에서 구체적인 출시 계획을 내놓고 있지는 않는 자율주행레벨 5를 목표로 미래의 자동차는 [그림 5]와 같이 차량 주변 360도를 항상 감시할 수 있는 여러 종류의 고성능 카메라와 센서를 탑재할 것으로 예상한다[7]. 즉, 미래자동차는 현재보다 센서 기능을 강화하여 고해상도 카메라 센서, 라이다 (LiDAR), 레이더(Radar) 등을 포함하여 보다 정확한 상황 감지 및 빠른 대응으로 자율주행을 지원할 것으로 예상된다.

CCTHCV_2020_v20n6_90_f0005.png 이미지

그림 5. 자율주행레벨 5를 위한 자율주행자동차의 센서들 [7]

한편, 센서 하드웨어의 발달과 함께 자동차 전장장치의 높은 비중은 소프트웨어의 도입을 통한 자동화 및 제어 고도화를 촉진하였다. 전기자동차는 더욱 소프트웨어의 비중이 높은 자동차이다. 현재 자동차에 장착되는 소프트웨어는 카메라 센서와 결합하여 신호에 따른 제어를 넘어 능동적인 판단을 할 수 있는 프로그램까지 포함한다[8]. 자동차 제조사가 아닌 구글은 인공지능 기술에 기반하여 미래자동차를 설계하였다. 인공지능 기술은 지도나 위치 정보를 사용해 차량이나 사람의 움직임, 교통 상황을 식별하고 판단하여 핸들과 브레이크를 자동 제어할 수 있다. 구글은 자회사 웨이모를 통해 레벨 4의 자율주행차를 애리조나주 피닉스에서 2017년부터 시범 운행하였다[9].

현재 자율주행차량의 위험 연구는 실제 주행레벨이 높은 자동차가 시장에 나오기 전에 여러 예상되는 문제들을 증명하고 이에 대한 방어 제안의 형태로 많이 나타나고 있다. 따라서 예측되는 위험 및 최근까지의 연구 제안을 중심으로 방어방안을 분석한다.

III. 자율주행자동차의 안전을 위한 위험 및 방어 방안 분석

1. 사이버 위협에 의한 위험 및 방어

자율주행차량은 [그림 6][10]과 같이 외부와의 통신을 담당하는 V2X [11] 층이 내부구조에 포함되어 설계되며 V2X 통신을 지원하는 디바이스들이 지속적으로 자동차에 장착되고 있다. 인터넷(Internet) 연결을 포함하는 외부와의 통신은 차량을 열린 시스템(open system)으로 만들어 현재의 컴퓨팅시스템 환경도 직면하고 있는 외부로부터의 사이버 공격에 의한 안전문제가 제기되고 있다. [그림 7][12]과 같은 V2X와 관련한 자율주행자동차의 안전에 대한 위협은 [표 2]로 정리할 수 있다.

CCTHCV_2020_v20n6_90_f0006.png 이미지

그림 6. 4개의 계층구조에 기반한 자율주행자동차 설계 [10]

CCTHCV_2020_v20n6_90_f0007.png 이미지

그림 7. 자율주행자동차 V2X 통신 [12]

표 2. V2X 관련 보안 위협

CCTHCV_2020_v20n6_90_t0002.png 이미지

V2X를 통한 사이버 위협에 의한 위험 방어는 신뢰기반 해법과 암호기반 해법이 제안되었다[12][14].

신뢰기반 해법은 메시지의 재전송(replay), 변조 (modification)와 주입(injection) 공격에서 차량의 신뢰도에 따른 메시지의 신뢰를 결정하는 방법으로 비정상적인 차량으로부터의 메시지로부터의 안전을 도모한다[16][17]. 이를 수행하기 위해서 평판시스템 (reputation system)이나 주변의 의견에 따른 신뢰평가 시스템을 만들어 운영하는 것이 필요하다 [18]. 이외 차량의 신뢰도가 아닌 데이터의 신뢰도를 평가하는 모델[19]과 차량과 메시지를 결합한 하이브리드 신뢰방안을 제안하기도 하였다 [20]. 신뢰기반 접근은 신뢰평가를 위한 부가 시스템을 필요로 하는 단점이 있으나, 신뢰시스템 속의 멤버들의 수가 늘수록 감시자가 늘어나는 효과로 올바른 방어가 될 수는 있다.

한편, 프라이버시 보호를 위해, 차량이 실제 ID(Identity)가 아닌 익명이 되도록 하는 방법이 제안되었는데 [21], 실제 ID가 아닌 가명(pseudonyms)으로 집단 내에서 인식된다. 디지털 가명은 일련의 비트 열(bit string)로 표현되며 사적 정보나 실제 ID의 노출 없이 특정 대상을 지칭할 수 있다[22]. 이 접근 역시 특정 집단 내의 익명을 보장하는 한계는 있으나, 정해진 집단 내의 프라이버시 보호는 장점이 있다.

프라이버시와 기밀성 보호 이외에도 보안 전 영역에 걸쳐 암호화가 활용된다. 암호화는 비밀키 기반, 공개키 기반, ID 기반 서명을 사용하는 방법, 인증서 없는 서명 기반 방법들이 활용되었다[21]. 키 기반 암호화를 활용하는 경우, 높은 수준의 기밀성 보장 및 인증에 효과적일 수 있다. 그런데, 차량, 차량과 연결되는 장비들을 고려한 키의 생성 및 관리는 해결해야 할 문제가 된다. V2X기반 외부통신으로 인한 안전 위협에 대한 대응은 취약점 및 대응 연구들의 개별적인 제안들과 함께, V2X 통신/보안 표준[23][24], V2X 보안 인증체계 [25], V2X 통신환경 보안 가이드라인(X.1372)[26]을 통해서도 추진되고 있다.

2. 자율주행 위험 및 방어

자율주행자동차에서 주행 중의 위험 감지 및 회피는 카메라 및 센서에서 생성되는 데이터를 통해 차량 주변의 물체들을 자동 인식하고 이에 대한 빠른 대응을 하려는 방향이다.

주변 물체 및 위험상황의 인식은 머신러닝 기반 방법과 센서 데이터를 이용한 빠른 계산을 이용하는 방법적 접근이 많다. Yu et al.[27]은 감시카메라를 통한 자동차 사고를 감지하는 위험인식 모델을 제안하였는데, 카메라의 이미지를 통해 길을 3차원(3-Dimension)으로 재현하고 투사를 통해 사고를 감지하는 방안이다. 차량의 흐름에서 차량 간의 속도와 거리를 통해 사고가 일어날 가능성이 높은 지역에 대해 안전을 미리 체크하는 사전 안전 점검을 실시간 시행하게 된다. 머신러닝 기반의 방법들[28]은 차량 내 장치된 각종 카메라를 활용한 주행 시야 인식, 차량 및 물체 인식, 주행 방향 및경로 결정, 상황 판단에 따른 움직임 결정, 차량 컨트롤러 조정 등을 수행하는데 활용된다. 자율주행을 위한 머신러닝 기반 접근은 카메라나 비디오 이미지를 통한 상황 및 물체 인식에 많이 활용되며, CNN, LSTM, RNN을 병용하는 경우가 많다[28].

센서와 카메라에 의해 생성되는 데이터를 처리함으로써 자율주행을 처리하는 방법과 관련된 자율주행 위험 모델은 [표 3]과 같다.

Adversarial example 은 교묘하게 조작된 입력으로 정확하지 않은 판단결과를 유도하는 공격이다[31]. Tesla Model S를 대상으로 Blackhat 2018에서 시연된 차선이탈공격은 차량이 도로 교통표지를 통해서 차선을 자동인식 하여 주행하는 기능에서 도로에 교란 스티커를 설치하여 차선인식을 방해하였다[36]. Radio spoofing은 시그널을 조작하여 조작된 시그널에 의해 차량을 공격한다[15]. 특히, GNSS(Global Navigation Satellite System) spoofing은 신호 간섭을 이용한다. GNSS spoofing 신호를 수신하면, 수신기가 승인된 GNSS signal 대신 spoofing 신호를 추적하게 되는 공격이다[37][39]. Phantom attack 은 실제 물체가 아닌 가짜의 물체 영상을 투사시켜서 이를 ADAS 에 인식 시켰을 때 실제 물체로 인식을 하고 이에 따른 움직임과 컨트롤을 보여주는 취약점으로 공격을 하는 형태이다. 사람이 없는데도 사람의 영상을 투사시키던지 속도 제한 표지판을 건물이나 가드에 투사시켜 급정거 혹은 속도를 올리게 하여 사고를 유발할 수 있음을 보여주고 있다[38].

머신 러닝의 취약점 공격에 대응하는 방법으로 잘못된 분류를 하는 이미지를 같이 훈련시켜 인식율을 높이는 adversarial training 방법이 제안되고 있다 [30][32]. 물체가 오인식되지 않도록 실제 물체의 여러 방향 및 각도에서의 이미지를 같이 훈련시키는 방법을 쓰기도 한다[29]. 또한, 영상의 샘플링 간격과 여러 카메라를 통한 동일 물체의 인식 방안이 제안되기도 하였다[35]. Tesla Model S는 시연된 취약점을 교정하였다 [36]. GNSS spoofing은 spoofing 신호를 구분할 수 있는 추가 장치나 신호질의 분석을 통한 대응방안이 제시되고 있다[39][40]. Phantom attack의 대응방안으로 인식되는 물체의 주변상황, 표면, 반사되는 빛 들을 인식하여 인식되는 물체를 허상인지 실상인지를 인식할 수 있는 방안을 제안하였다[38].

많은 연구들과 시연들이 어떻게 자율주행자동차가 위험해 질 수 있는지를 증명하고 있다. 그런데, 이들 공격에 대한 대응방안은 상대적으로 적고 응용도메인에 한정적인 대응방안 제시가 많다.

IV. 토의 및 결론

자율주행자동차의 시대가 열림에 따라, 자동차의 변화가 주는 편의와 이용방법에 따른 사람들의 삶의 방식도 달라질 것으로 기대하고 있다. 그런데, 자동차는 기능성보다 더 앞서 고려되어야 할 것은 이를 이용하는 사람, 자동차와 더불어 살아가야 할 사람들의 안전이다. 그러나, 아직 경험하지 못한 주행레벨이 높은 자동차의 안전문제 및 안전을 위협하는 새로운 보안문제는 여전히 풀어야 할 숙제를 많이 던지고 있다.

본 논문은 현 기술수준에서 예측되는 자율주행자동차 위험과 이에 대한 방어방안을 분석하였다. 자율주행 자동차의 위험 중, 커넥티드 카 기능으로 인한 사이버 위협에 의한 위험과 자율주행 기능으로부터 비롯되는 위험에 초점을 맞추었다. 기존 자동차의 위험과는 원인이 달라지는 부분으로 자율주행 수준이 높은 자동차가 시장과 도로에서의 점유율이 높아지기 전 방어방안을 준비할 필요가 있다.

사이버 위협은 현재 오픈 시스템에 대한 사이버 위협, 대응방안과 같은 관점에서 취약점과 대응방안이 논의되고 있다. 차량이 컴퓨터 시스템과 다른 것은 이동체이면서 사이버 세계에 새로 등장한 개체로 보안취약점이 안전취약점이 될 수 있기 때문에 상당히 높은 수준의 보안방안이 요구되고, 새로운 기술의 수용도 보수적으로 접근해야 한다. 각 취약점에 대한 응용상황별 기존 해법은 존재하지만, 차량에 도입 후 실적용에 있어 구현은 달라질 수 있고, 구현상의 문제도 생길 수 있기에 기존 솔루션으로 사이버 위협에 대한 모든 준비가 되어 있는 상황은 아니다. 사람들이 타게 될 자동차 환경에 맞는 수정이 필요하고, 기술표준이 필요하고, 차량 제조사의 구현방법도 점검되어야 한다.

자율주행 기능으로 인한 위협은 자율주행을 지원하는 기능들이 어떻게 구현이 되었는지의 특성에 따른 공격이 가능하기 때문에 공격 가능성과 취약점이 제시되고 있지만, 이에 대한 대응방안은 현재 자율주행차량이 상용화되지 않은 시점에 뚜렷이 나오지 않고 향후 개발될 차량에 대해 취약점을 점검하도록 하는 의미가 더 크다고 볼 수 있다.

향후, 기술표준, 기술의 보안취약점, 자율주행자동차의 개발 방향과 제조사의 생산 방향에 따라 구체적인 대응방안이 병행 개발되어야 할 것으로 본다. 따라서 이후 자율주행자동차의 기술표준, 표준기술의 취약점 및 대응방안, 실차 적용에 있어서의 구현방안들에 대한 후속 연구가 필요하다.

* 이 논문은 2018학년도 경북대학교 연구년 교수 연구비에 의하여 연구되었음.

References

  1. e-나라지표, 지표조회상세, http://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=1257
  2. 교통사고분석시스템, 2018년 교통사고정보 교통사고 추세, http://taas.koroad.or.kr/sta/acs/gus/selectStaInfoGraph.do?menuId=WEB_KMP_IDA_TAI
  3. 한국도로교통공단, 공단보도자료 "급속한 고령사회의 먹구름이 도로 위를 덮치고 있다!," 2018.10.2., http://www.koroad.or.kr/kp_web/krPrView.do?board_code=GABBS_050&board_num=134227&file_num
  4. Car Magazine, https://www.carmagazine.co.uk/car-news/tech/volvo-xc90-uber-driverless-car/
  5. SAE J3016 Levels of Driving Automation, https://www.sae.org/news/2019/01/sae-updates-j3016-automated-driving-graphic
  6. 2019 AVT ACES Award Winner: Autonomy, https://www.autonomousvehicletech.com/articles/1311-audis-new-a8-reaches-conditional-level-3
  7. H. Lengyel and Z. Szalay, "The Significance and Effect of the Traffic System Signaling to the Environment, Present and Future Traffic," International Congress of Automotive and Transport Engineering (AMMA 2018)
  8. Waldemar Nawrocki, "Measurement systems and sensors," 2nd ed, Artech House, pp.377-409, 2016.
  9. ETRI Webzine, "거스를 수 없는 대세, 자율주행자동차의 도래와 안전성," 2018(11).
  10. J. Brunet and L. Rizzatti, "System-of-systems validation for automotive design," Tech Design Forum, 12/17/2019.
  11. S. Ahmed, "ICT Integration for Electric Vehicles as Data Collector and Distributor of Data Services," International Journal on Recent and Innovation Trends in Computing and Communication, Vol.4, Issue 3, 2017.
  12. M. S. Sheikh and J. Liang, "A Comprehensive Survey on VANET Security Services in Traffic Management System," Wireless Communications and Mobile Computing, Vol.2019, Article ID 2423915, 2019.
  13. R. Kaur and P. Singh, "Review of Black Hole and Grey Hole Attack," International Journal of Multimedia & Its Applications (IJMA), Vol.6, No.6, pp.35-45, 2014. https://doi.org/10.5121/ijma.2014.6603
  14. C. A. KERRACHE, C. T. CALAFATE, J. CANO, N. LAGRAA, and P. MANZONI, "Trust Management for Vehicular Networks: An Adversary-Oriented Overview," IEEE Access, Vol.4, pp.9293-9307, 2016. https://doi.org/10.1109/ACCESS.2016.2645452
  15. C. Yan, W. Xu, and J. Liu, "Can you trust autonomous vehicles: Contactless attacks against sensors of self driving vehicle," DEF CON, Vol.24, 2016.
  16. N. Haddadou, A. Rachedi, and Y. Ghamri-Doudane, "Trust and exclusion in vehicular ad hoc networks: An economic incentive model based approach," Computing, Communications and IT Applications Conference (ComComAp), 2013.
  17. N. Yang, "A similarity based trust and reputation management framework for VANETs," International Journal of Future Generation Communication and Networking, Vol.6, No.2, pp.25-34, 2013. https://doi.org/10.14257/ijfgcn.2013.6.6.04
  18. S. A. Soleymani, A. H. Abdullah, W. Haslina, M. H. Anisi, S. Goudarzi, M. A. R. Baee1, and S. Mandala, "Trust management in vehicular ad hoc network: A systematic review," EURASIP Journal on Wireless Communications and Networking, Vol.2015, No.1, p.146, 2015. https://doi.org/10.1186/s13638-015-0353-y
  19. S. Gurung, D. Lin, A. C. Squicciarini, and E. Bertino, "Information oriented trustworthiness evaluation in vehicular ad-hoc networks," International Conference on Network and System Security, pp.94-108, 2013.
  20. J. Zhang, C. Chen, and R. Cohen, "Trust modeling for message relay control and local action decision making in VANETs," Security and Communication Networks, Vol.6, No.1, pp.1-14, 2013. https://doi.org/10.1002/sec.519
  21. Z. Lu, G. Qu, and Z. Liu, "A Survey on Recent Advances in Vehicular Network Security, Trust, and Privacy," IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, Vol.20, No.2, pp.760-776, 2019. https://doi.org/10.1109/tits.2018.2818888
  22. J. Petit, F. Schaub, M. Feiri, and F. Kargl, "Pseudonym schemes in vehicular networks: A survey," IEEE Communications Surveys & Tutorials, Vol.17, No.1, pp.228-255, 2015. https://doi.org/10.1109/COMST.2014.2345420
  23. IEEE 1609.2, https://standards.ieee.org/standard/1609_2-2016.html
  24. CAMP VSC3, https://www.campllc.org/vehicle-safety-communications-3-vsc3-consortium/
  25. 자율주행산업발전 협의회, "V2X 보안인증체계 실증 사업을 위한 기술 규격," https://www.c-its.kr/board/getBoardDetail.do?seq=887
  26. ITU 보안 국제표준 권고안, "V2X 통신 환경 보안 가이드라인(X.1372)," SG17 국제회의 선채택, Aug. 2019.
  27. L. Yu, D. Zhang, X. Chen, and A. Hauptmann, "Traffic Danger Recognition With Surveillance Cameras Without Training Data," arXiv:1811.11969v1 [cs.CV] 29 Nov. 2018.
  28. S. Grigorescu, B. Trasnea, T. Cocias, and G. Macesanu, "A Survey of Deep Learning Techniques for Autonomous Driving," arXiv:1910.07738v2 [cs.LG] 24 Mar. 2020
  29. K. Eykholt, I. Evtimov, E. Fernandes, B. Li, A. Rahmati, C. Xiao, A. Prakash, T. Kohno, and D. Song, "Robust physical-world attacks on deep learning models," arXiv:1707.08945, 2017.
  30. C. Sitawarin, A. N. Bhagoji, A. Mosenia, M. Chiang, and P. Mittal, "Darts: Deceiving autonomous cars with toxic signs," arXiv:1802.06430, 2018.
  31. D. Song, K. Eykholt, I. Evtimov, E. Fernandes, B. Li, A. Rahmati, F. Tramer, A. Prakash, and T. Kohno, "Physical adversarial examples for object detectors," USENIX Workshop on Offensive Technologies (WOOT 18), 2018.
  32. S. Chen, C. Cornelius, J. Martin, and D. H. P. Chau, "Shapeshifter: Robust physical adversarial attack on faster r-cnn object detector," Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp.52-68, 2018.
  33. Y. Zhao, H. Zhu, R. Liang, Q. Shen, S. Zhang, and K. Chen, "Seeing isn't believing: Towards more robust adversarial attack against real world object detectors," ACM SIGSAC Conference on Computer and communications Security, pp.1989-2004, 2019.
  34. N. Morgulis, A. Kreines, S. Mendelowitz, and Y. Weisglass, "Fooling a real car with adversarial traffic signs," arXiv:1907.00374, 2019.
  35. J. Petit, B. Stottelaar, M. Feiri, and F. Kargl, "Remote attacks on automated vehicles sensors: Experiments on camera and lidar," Black Hat Europe, Vol.11, 2015.
  36. keen labs, "Tencent keen security lab: Experimental security research of tesla autopilot," https://keenlab:tencent:com/en/2019/03/29/T encent-Keen-Security-Lab-Experimental-Secu rity-Research-of-Tesla-Autopilot/, 2019.
  37. Regulus, "Tesla model 3 spoofed off the highway-regulus navigation system hack causes car to turn on its own," https://www.regulus.com/blog/tesla-model-3-spoofed-off-the-highway-regulus-researcheshacknavigation-system-causing-car-to-steer-off-road/
  38. B. Nassi, D. Nassi, R. Ben-Netanel, Y. Mirsky, O. Drokin, and Y. Elovici, "Phantom of the ADAS: Phantom Attacks on Driver-Assistance Systems," https://eprint.iacr.org/2020/085.pdf, 2020.
  39. S. Jeong and J. Lee, "Synthesis Algorithm for Effective Detection of GNSS Spoofing Attacks," International Journal of Aeronautical and Space Sciences, Vol.21, pp.251-264, 2020. https://doi.org/10.1007/s42405-019-00197-y
  40. Netherlands Aerospace Centre, "GNSS Spoofing," NLR-CR-2019-001-PT-1-RecEd-1, Jun. 2019.