Deep Learning based Vehicle AR Manual for Improving User Experience

사용자 경험 향상을 위한 딥러닝 기반 차량용 AR 매뉴얼

This paper implements an AR manual for a vehicle that can be used even in the vehicle interior space where it is difficult to apply the augmentation method of AR content, which is mainly used, and applies a deep learning model to improve the augmentation matching between real space and virtual objects. Through deep learning, the logo of the steering wheel is recognized regardless of the position, angle, and inclination, and 3D interior space coordinates are generated based on this, and the virtual button is precisely augmented on the actual vehicle parts. Based on the same learning model, the function to recognize the main warning light symbols of the vehicle is also implemented to increase the functionality and usability as an AR manual for vehicles.

본 논문은 주로 사용되는 AR 콘텐츠의 증강 방법을 적용하기 어려운 차량 실내공간에서도 사용할 수 있는 차량용 AR매뉴얼을 구현하고, 실공간과 가상 객체의 증강 정합도 향상을 위해 딥러닝 모델을 적용하였다. 차량 핸들의 로고를 딥러닝 학습을 통해 위치와 각도, 기울기 등과 관계없이 인식하고, 이를 중심으로 3차원 실내 공간좌표를 생성하여 실제 차량 부품 위에 정확히 가상버튼을 증강한다. 여기에 동일 학습모델을 기반으로 차량의 주요 경고등 심볼을 인식할 수 있는 기능을 함께 구현하여 차량용 AR매뉴얼로서의 기능성과 활용성을 높인다.