Implementation of Joystick for Flight Simulator using WiFi Communication

Abstract

In this paper, we propose a WiFi-based joystick with an acceleration sensor and a vibration sensor that can be used in flight simulators and VR fields. The flight simulator is a technology belonging to the ICT and SW application field and provides a simulation environment that reproduces the aircraft environment. Existing flight simulator control devices are fixed to a specific device and the user's activity area is limited. In this paper, a 3D space manipulation device was implemented for the user's free use of space. In addition, the proposed control device is designed as a WiFi communication board and display that displays information and performs 3-axis sensing for accurate and sophisticated control compared to existing VR equipment controllers. And the applicability was confirmed by implementing a Unity-based virtual environment. As a result of the implementation device verification, it was confirmed that the control device operates normally through the communication interface, It was confirmed that the sensing values in the game and the sensing values measured on the implemented board matched each other. The results of this study can be used for VR and various metaverse related contents in addition to flight simulators.

본 논문에서는 비행 시뮬레이터와 VR분야에서 사용될 수 있는 가속도 센서와 진동 센서를 적용한 와이파이 기반의 조이스틱을 제안한다. 비행시뮬레이터는 ICT 및 SW 응용분야에 속하는 기술로 항공기의 환경을 재현하는 시뮬레이션 환경을 제공한다. 비행시뮬레이터의 일반적인 조종 장치는 고정식으로 특정 장치에 부착되어 사용되어 사용자의 활동 영역의 한계성을 가진다. 본 논문에서는 자유로운 공간 활용성을 위하여 3차원 공간 조종 장치를 구현하였다. 또한, 제안하는 조종 장치는 기존 VR장비의 컨트롤러에 비해 정확하고 정교한 조종을 위하여 3축 센싱과 정보를 표시하는 디스플레이 및 와이파이 통신을 위한 보드를 설계하고 유니티 기반의 가상 환경을 구현하여 적용 가능성을 확인하였다. 구현된 장치는 통신 인터페이스를 통해 조종 장치가 정상적으로 동작하는 것을 확인하였으며, 게임 내 센싱 값과 구현된 보드에서 측정한 센싱 값이 일치하는 것을 확인하였다. 연구의 결과물은 비행시뮬레이터 외에도 VR 및 다양한 메타버스 관련 콘텐츠에 활용될 수 있을 것이다.

I. Introduction

시뮬레이션 소프트웨어 글로벌 시장은 2021년 114억 달러에서 연평균 성장률 19.0%로 증가하여 2028년에는 386억 달러에 이를 것으로 전망하고 있다[1]. 또한, 온라인 게임, 체감형 인터렉티브 아케이드 게임, VR 및 메타버스 등의 다양할 활용분야로 인하여 시장성이 급격히 증가할 것으로 예상되고 있다. 비행 시뮬레이터는 항공기의 비행 환경을 가상으로 재현하는 시뮬레이션을 제공하는 소프트웨어 응용 분야에 속하는 기술이다. 근래에는 메타버스와 접목하여 미래형 훈련체계모델로 발전하고 있다. 특히, 군사적 목적의 실사격, 실기동 훈련의 위험성과 비용부담을 줄이기 위한 목적으로 메타버스 훈련의 중요성이 증가하고 있는데 공군의 항공기 훈련 대비 연간 85% 이상의 비용 절감 효과를 가지는 것으로 보고되고 있다[2]. 특히, 항공기 운전 훈련을 받아야 하는 조종사들의 비행시뮬레이터에 대한 요구 사항 증가와 항공 안전을 보장하기 위한 가상 조종사 훈련에 대한 필요성이 증가하고 있다[3]. 일반적인 비행 시뮬레이터 솔루션 시장은 해당 서비스에 따라 하드웨어와 소프트웨어 업그레이드로 구분되는데, 대부분은 사실성에 도모하는 소프트웨어적 업그레이드 분야에 치중되어 있는 것이 현실이다. 전체 시뮬레이터 시장규모의 56%가 비행 시뮬레이터로 시뮬레이터 시장에서 압도적인 비중을 차지하고 있으며[2], 항공 분야에서는 고가의 실물 항공기를 직접 운항하지 않고도 메타버스 기술을 이용해 안전한 훈련이 가능한 시대로 최첨단 장비는 다양한 기상 상황을 실제와 같이 보여주고 미세한 움직임까지 구현하며 조종사의 훈련비용을 획기적으로 절감할 수 있는 장점을 가진다. VR 비행 시뮬레이션은 VR 장비의 컨트롤러가 조종 장치인 조이스틱을 대체되어 사용되고 있는데, 가속도와 자이로센서가 내장된 컨트롤러를 허공에 들고 조종하므로 정확하고 정교한 항공기 조종이 어려우며, 한정된 기능 버턴으로 30여개의 비행시뮬레이션의 명령키를 조이스틱에 설정할 수 없는 문제를 가진다. 또한, 기존 비행 시뮬레이터 조이스틱은 360도 전방향 시뮬레이션 환경에서도 사용자의 입력 이벤트를 받기 위한 조종 장치는 특정 장비에 고정되어 사용자의 자유로운 활동과 현실감을 저해하는 요인으로 작용하고 있고 특정 전용 포트(USB)를 이용해 유선 연결로 동작하는 제한점을 가진다. 본 논문에서는 비행 시뮬레이터에 적용 가능한 독립적 정보 디스플레이와 WiFi를 이용한 무선 방식의 비행 조이스틱을 제안한다. 논문의 구성은 2장에서 비행 시뮬레이터와 관련 인터페이스에 대한 기존 연구에 대해 살펴보고 3장에서 구현을 위한 장치의 설계에 관해 기술하고 실제 구현된 조이스틱 동작에 대해 상세히 설명한다. 마지막 4장에서 결과에 관해 기술한다.

II. Background

1. Related works on Flight Simulators

항공기 비행 시뮬레이터는 우수한 비용 효율성, 높은 재사용성 및 높은 비행 안전성을 제공한다. 대부분의 항공사는 지상 시뮬레이션을 이용하여 조종사 훈련비용을 효과적으로 줄이고 안전과 비행 위험성을 줄이고 있다[4]. 이때문에 비행 시뮬레이터는 장비의 종류와 성능, 용도에 따라 매우 큰 차이를 보인다. 실제 경비행기의 가격이 5억원 내외 임에도 해당 기종의 시뮬레이터가 10억 이상 되는 경우도 많다. CAE 사의 B737-800 비행 시뮬레이터는 대당 가격이 200억 원 정도이다. 비행 시뮬레이션은 게임의 한 종류로 출발하여 지금은 VR등의 다양한 가상현실에 적용하여 사실성과 모의성을 충족하는 학문분야로 발전하고 있다. Park[5]는 Fig. 1과 같이 아두이노 기반에 자이로센서를 이용하여 6축 모션 플랫폼을 이용한 비행 시뮬레이터를 제안하였다. OpenGL을 통한 계기정보를 표현하고 실제 비행 모델은 구글 어스와 연동하여 사실성과 경제성을 동시에 만족하는 시뮬레이터를 구현하였다. 특히, 구글어스의 비행 정보를 다시 회귀하여 DMM(Digital Moving Map)을 구현한 것이 독창적 이였다.

Fig. 1. 6DOF Motion Platform & Simulation[5]

또한, Hur[6]은 Fog. 2와 같이 음성 명령을 인식하여 항공기의 1차 조종면을 제어할 수 있는 장치를 제안하였다. TensorFlow 기반의 Keras 모델의 Sequential 라이브러리를 이용하여 CNN 모델로 음성인식 자동 비행 시뮬레이터를 제시하였다.

Fig. 2. Flight Controller using Speech Recognition[6]

Alexander[7]은 독립적인 두 개의 조종 장치의 명령이 서로 충돌할 때 유효한 명령을 식별하기 위한 프레임워크를 제안하였다. 즉, 서로 다른 조종사의 동작 명령어가 서로 상이할 경우 어떤 명령이 유효한지를 판단하는 모델링 결과물을 통하여 비행 시뮬레이터에 적용하였다.

2. Control Unit of Simulator

M. Guiatni[8]은 2축 조이스틱과 비행 시뮬레이터용 힘 반사 측면 스틱 컨트롤러를 개발하고 통합하였다. 힘 반사 조이스틱은 위치와 힘 모두에서 양방향 통신을 제공하며 사용자가 시뮬레이션 시스템과 상호 작용하는 데 매우 유용하며 조종사의 손에 공기역학적 힘을 가하여 가상 항공기를 조종하였다. Yang, Z.[9]는 비행 사고에서 인적 요인으로 인한 사고가 80%이상 인 것에 착안하여 항공기 조종석의 레이아웃 설계와 다양한 컨트롤러 위치로 인해 다양한 근육 피로 상황이 발생하여 반응 정확도에 영향을 주어 오작동의 가능성을 증대한다는 가설 하에 관계성을 검증하였다. 검증을 위하여 물체를 추적하는 조이스틱 컨트롤러를 사용하였다.

Fig. 3. MPU-9250 sensor Retrofitted to Joystick[10]

C. Zorzi[10]은 Fig. 10과 같이 조이스틱에 장착할 수 있고 헤드 마운트 디스플레이와 무선으로 통신할 수 있는 센서 장치를 활용한 휠체어 기술 훈련 프로그램(WSTP)이라는 VR 훈련 시스템을 제안하였다]. 교육의 효과성을 검증하기 위하여 사용자의 VR 교육 전후의 미션 시간과 심박수, 설문 등을 통하여 전동 휠체어 교육에 유효함을 증명하였다. S. Livatino[11]은 VR 환경에서 관심 영역에 대한 관찰 시점 변경에 대한 헤드셋을 착용한 머리 회전 및 컨트롤러 조이스틱의 차이를 표현하는 방법을 제안하였다. 애플리케이션 컨텍스트는 명령 및 제어 작업 내에서 볼 수 있는 군사적 방어에 대한 3차원 동적 장면이며, 드론 움직임의 식별, 발견 및 배치 작업 등이 포함된다. 이를 통하여 사용 용이성, 존재감, 편안함 및 지각 정도와 같은 주관적 요소와 미션 성공 및 타이밍을 조사하여 객관적인 사용자의 성능을 측정하였다. P. Marayong[12]는 Fig. 4와 같이 UAM의 인간-자동화 팀 구성 및 공역 운용 연구를 위해 CAVE(Cave Automatic Virtual Environment) 기술을 이용한 가상현실(VR) 테스트베드 개발에 대해 제안하였다]. 논문에서는 샌프란시스코 시내와 샌프란시스코 국제공항 사이를 비행할 수 있는 수직 이착륙 여객기로 구성된 가상 환경을 만들고 기체는 비행 제어 조이스틱을 사용하여 기체를 조종하는 단일 조종사가 자동으로 또는 수동으로 작동할 수 있게 하였다. 항공기 내부에는 차량 방향, 위치 및 속도 정보가 포함된 가상 조종석 디스플레이가 포함되어 있다.

Fig. 4. Aircraft Flying Over the City(Left), Cockpit Display of the Virtual Aircraft(Right)[12]

L. Scalera[13]은 두 개의 핸드헬드 조이스틱을 사용하여 진동촉각 자극의 위치의 영향을 조사하였다. 특히, 손바닥에서 전달되는 자극보다 손등의 자극에 더 민감함을 보였다. 이는 기본 조이스틱같이 손바닥으로 조정하는 장치의 동작 민감도가 다소 낮을 수 있음을 보이는 결과이다. S. P. DiMaio[14]는 작업자 교육을 용이하게 하고 대형 유압 기계의 제어 전략을 평가하기 위해 굴삭기 시뮬레이션을 개발하였다. 작업자는 환경 및 기계 모델에서 생성되는 시각적 및 힘 피드백을 경험하면서 조이스틱을 통해 가상 굴삭기를 제어한다. 굴삭기와 같이 조이스틱의 민감함이 요구되는 영역에서는 조이스틱의 입력을 물리적 장치에 직접 전달하지 않고 굴삭기 암의 임피던스 모델과 사용자 동작에 대한 상호작용의 정제작업이 필요함을 언급하였다. 즉, 사용자 동작을 적용영역에 적절하게 전 처리하는 요소가 필요함을 간접적으로 알 수 있다.

III. Design and Implementation

1. Design of 3D Joystick

제안하는 조이스틱에 사용되는 주요 부품은 크게 MPU-6050과 ESP32로 나뉘는데 MPU-6050은 6축의 기울기 센서로 3축의 자이로 센서와 3축의 가속도 센서를 포함하고 있다. 또한, 가속도는 온도에 민감한데 1도가 상승하면 0.02%의 오차가 발생하여 오차를 줄이기 위해 온도센서를 포함하고 지구의 중력가속도를 기준으로 힘의 크기를 측정하는 센서이다. ESP32는 32비트 프로세서를 사용하는 모듈로 WiFi와 블루투스가 통합된 저비용, 저전력 센서이다. ESP32에는 적정한 레지스터를 프로그래밍 하여 다양한 기능을 할당할 수 있는 34개의 GPIO 핀이 있으며 디지털 전용, 아날로그 지원, 정전식 터치 지원 등 여러 종류의 GPIO가 있다. 대부분의 GPIO는 3상태 제어가 있는 입/출력 버퍼를 포함하여 양방향, 비반전 및 3상태이고, 내부 풀업이나 풀다운으로 구성하거나 높은 임피던스로 설정 가능하며, 입력으로 구성하면 레지스터를 통해 입력값을 읽을 수 있다. Fig. 5는 설계된 구성요소에 따른 전체적인 회로도를 보인 것으로 자이로 센서 활용한 3D 조이스틱 기술 개발을 위하여 X, Y, Z 3축 센싱 및 디스플레이보드, WiFi 통신부를 설계하였다.

Fig. 5. Circuit of Joystick

자이로 센서는 3가지 축을 이용하여 비행기의 Pitch, Yaw, Roll의 측정을 위해 이용하며 온도 센서는 자이로 센서의 온도 변화에 따라 Accel, Gyro 센서 값에 영향을 주기 때문에 온도 보정이 필요하다. 정밀 제어를 위해서 온도값이 필요하며 온도 센서를 따로 사용하여 비용 절감과 시스템 간소화를 위해 이용하였다. 자이로 센서 활용 및 WiFi 기술을 접목한 소프트웨어를 설계하기 위해 기존의 입력장치 기술을 사용하여 조이스틱 신호 피드백 기술 개발과 소프트웨어와 하드웨어 간 실시간 통신기술 개발 및 모션디바이스와 콘텐츠 간 실시간 동시작동 될 수 있도록 설계했으며 LabView를 이용해 AVR 키트와 3축 가속도 센서 및 무선 시뮬레이션 프로그램 개발을 추가하였다.

Fig. 6은 회로 설계에 따른 PCB 보드 작업을 위한 아트웍 결과를 보인 것이다.

Fig. 6. Artwork of PCB

Fig. 7은 조이스틱이 고정되는 경우는 자이로 센서 값을 이용한 구동을 위해 자이로 값을 모니터에 출력하고 조이스틱이 움직이면 조이스틱 값을 출력하도록 구성된 순서도의 일부분을 보인 것이다. Fig. 7에 따른 구현된 코드의 일부분을 Fig. 8에서 보이고 있다.

Fig. 7. Part of the Joystick Flowchart

Fig. 8. part of implementation code

2. Implementation of 3D Joystick

Fig. 9는 자이로 센서가 삽입된 PCB 시제품을 보인 것으로 테스팅을 위해 2점을 조립하여 전기적 특성을 비교 확인하였다.

Fig. 9. Final Prototype​​​​​​​

앞서 언급한 바와 같이 자이로 센서로 부터의 정확한 비행기 자세정보를 측정하기 위하여 온도 변화에 따른 보정작업이 필요하다. 자이로 센서 활용 및 WiFi 기술을 접목한 소프트웨어를 설계하기 위해 기존의 입력 장치 기술을 사용하여 조이스틱 신호 피드백과 소프트웨어와 하드웨어간 실시간 통신, 모션 디바이스와 콘텐츠 간 실시간 동시 작동이 될 수 있도록 하였다. Fig. 10은 자이로 센서의 코딩 작업을 통하여 센싱 정보를 확인하고 위치 변위량을 테스트하는 결과를 디스플레이한 것이다.

Fig. 10. Screen to Confirm Normal Operation​​​​​​​

전체적인 동작 실험을 위하여 유니티를 이용한 비행 시뮬레이션을 제작하였으며, WiFi 통신을 통한 연결을 보인 것이 Fig. 11이다.

Fig. 11. Joystick combined with simulation via WiFi​​​​​​​

Fig. 12는 통신되는 자이로 센서 값을 확인하기 위하여 게임 화면과 보드의 LCD 디스플레이에 동시에 출력되게 한 결과를 보이고 있다.

Fig. 12. Sensor value comparison to check joystick operation​​​​​​​

Table 1은 자체 개발한 비행 시뮬레이션 프로그램에 연동된 3D 조이스틱 동작을 확인하기 위하여 조이스틱의 디스플레이에 표출된 정보와 PC에 남겨진 로그파일의 내용을 비교한 결과를 보이고 있다. 검증 결과, 평균 99.89%의 일치도를 보여 정상적인 동작을 확인할 수 있었다. 개발된 도구의 실효성을 입증하기 위하여 Table 2와 같이 네 가지 항목을 체크하여 모두 달성됨을 확인하였다.

Table 1. Experiments to Verify Operation

Table 2. Experiments to Verify Operation

먼저, 통신 인터페이스 확인을 통하여 자이로 센서 모듈의 연결을 확인하였고, 측정된 센서값을 게임 상에서 표출하여 모듈의 3축 센서 동작을 정상유무를 확인하였다. 또한 자이로 센서 보드에 LCD를 부착하여 모듈의 특성을 임베디드 보드에서 직접 확인하였다. 마지막으로 Table 1에서 보인 것과 같이 PC에 저장된 로그정보와 조이스틱의 LCD에 출력된 값을 비교하여 정밀도를 확인하였다.

IV. Conclusions

본 논문에서는 비행 시뮬레이터와 각종 VR 콘텐츠에 적용할 수 있는 WiFi 기반의 3D 조이스틱을 개발하였다. 개발된 도구는 실사 수준의 고품질 콘텐츠와 연동되는 조이스틱과 VR 시스템 구성을 위한 디바이스 드라이브 개발로 영상표출 시스템에 의해 고도화된 게임 시스템이나 시뮬레이션을 구현할 수 있으며, 다양한 분야로 기술 이전 등을 통하여 경제적인 효과를 창출할 수 있을 것으로 기대된다. 아울러, 항공기 및 드론 비행을 위한 모의 시뮬레이션 등의 교육용 기구 제작으로 활용하여 교육적 효과도 도모할 예정이다. 향후, 3D 조이스틱과 연동될 수 있는 유압식 6축 모션 플랫폼을 개발하여 훈련용 비행시뮬레이터 제작분야로 확장할 예정이다.