Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Spherical Point Tracing for Synthetic Vehicle Data Generation with 3D LiDAR Point Cloud Data

3차원 LiDAR 점군 데이터에서의 가상 차량 데이터 생성을 위한 구면 점 추적 기법

  • Sangjun Lee (Department of Electrical and Computer Engineering INHA University) ;
  • Hakil Kim (Department of Electrical and Computer Engineering INHA University)
  • 이상준 (인하대학교 전기컴퓨터공학) ;
  • 김학일 (인하대학교 전기컴퓨터공학)
  • Received : 2023.04.04
  • Accepted : 2023.04.13
  • Published : 2023.05.30
Download PDF
⟨ Previous Next ⟩

Abstract

3D Object Detection using deep neural network has been developed a lot for obstacle detection in autonomous vehicles because it can recognize not only the class of target object but also the distance from the object. But in the case of 3D Object Detection models, the detection performance for distant objects is lower than that for nearby objects, which is a critical issue for autonomous vehicles. In this paper, we introduce a technique that increases the performance of 3D object detection models, particularly in recognizing distant objects, by generating virtual 3D vehicle data and adding it to the dataset used for model training. We used a spherical point tracing method that leverages the characteristics of 3D LiDAR sensor data to create virtual vehicles that closely resemble real ones, and we demonstrated the validity of the virtual data by using it to improve recognition performance for objects at all distances in model training.

딥러닝 네트워크를 이용한 3차원 객체 인식 기술은 자율주행 기술 개발에 있어 대상 객체의 종류 뿐만 아니라 센서로부터의 거리도 인식할 수 있기 때문에 장애물 탐지를 위해 많이 개발되고 있다. 하지만 3차원 객체 인식 모델의 경우 원거리 객체에 대한 탐지 성능이 근거리 객체에 대한 인식 성능보다 낮아 차량의 안전을 확보하는 데에 치명적인 문제가 발생할 수 있다. 본 논문에서는 가상의 3차원 차량 데이터를 생성해 모델 학습에 사용되는 데이터셋에 추가하여 3차원 객체 인식 모델의 성능, 특히 원거리의 객체에 대한 성능을 향상시키는 기술을 소개한다. 3차원 라이다 센서 데이터의 특성을 활용한 구면 점 추적 기법을 사용하여 실제 차량과 매우 유사한 가상 차량을 생성하였고, 생성한 가상 차량 데이터를 사용하여 원거리뿐만 아니라 모든 거리 영역 범위에서의 객체 인식 성능을 향상시킴으로써 가상 데이터의 학습 유효성을 입증하였다.

Keywords

Acknowledgement

이 논문은 2023년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임. (P0017124, 2023년 산업혁신인재성장지원사업)

References

  1. F. Wang, Y. Zhuang, H. Gu, H. Hu, "Automatic Generation of Synthetic LiDAR Point Clouds for 3-D Data Analysis," IEEE Trans. of Instrumentation and Measurement, vol. 68, no. 7, pp. 2671-2673, July 2019.  doi: https://doi.org/10.1109/TIM.2019.2906416
  2. S. Chitnis, Z. Huang, K. Khoshelham, "Generating Synthetic 3D Point Segment for Improved Classification of Mobile LiDAR Point Clouds," The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 139-144, 2021. doi: https://doi.org/DOI:10.5194/isprs-archives-XLIII-B2-2021-139- 2021
  3. J. Beltran et al., "A Method for Synthetic LiDAR Generation to Create Annotated Datasets for Autonomous Vehicles Perception," 2019 IEEE Intelligent Transportation Systems Conference (ITSC), Auckland, New Zealand, pp. 1091-1096, 2019.  doi: https://doi.org/10.1109/ITSC.2019.8917176
  4. M. Hossny, K. Saleh, M. Attia, A. Abobakr, J. Iskander, "Fast Synthetic LiDAR Rendering via Spherical UV Unwrapping of Equirectangular Z-Buffer Images," Computer Vision and Pattern Recognition, Image and Video Processing, June 2020.  doi: https://doi.org/10.48550/arXiv.2006.04345
  5. X. Yue et al., "A LiDAR Point Cloud Generator: from a Virtual World to Autonomous Driving," Computer Vision and Pattern Recognition, pp. 458-464, June 2018.  doi: https://doi.org/10.1145/3206025.3206080
  6. S. Yoon et al., "Development of Autonomous Vehicle Learning Data Generation System," The Journal of The Korea Institute of Intelligent Transport Systems, vol. 19, no. 5. The Korea Institute of Intelligent Transport Systems, pp. 162-177, 2020.  doi: https://doi.org/10.12815/kits.2020.19.5.162
  7. A. Geiger, P. Lenz and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, pp. 3354-3361, 2012.  doi: https://doi.org/10.1109/CVPR.2012.6248074
  8. J. Deng, S. Shi, P. Li, W. Zhou, Y. Zhang, H. Li, "Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection," Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, pp. 1201-1209, May 2021.  doi: https://doi.org/10.1609/aaai.v35i2.16207
  9. R. B. Rusu and S. Cousins, "3D is here: Point Cloud Library (PCL)," 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, pp. 1-4, 2011.  doi: https://doi.org/10.1109/ICRA.2011.5980567
  10. Q. Zhou, J. Park, V. Koltun, "Open3D: A Modern Library for 3D Data Processing," 2018.  doi: https://doi.org/10.48550/arXiv.1801.09847