A Study on 3D Gaussian Splatting Optimization Using LiDAR-Stereo Fusion

LiDAR-스테레오 융합 기반 3D Gaussian Splatting 최적화 연구

본 논문에서는 LiDAR 데이터와 스테레오 이미지를 융합하여 고품질 3D 표현을 생성하는 새로운 접근 방식을 제안한다. 제안하는 방법은 LiDAR 포인트 클라우드와 스테레오 비전을 통해 3D 포인트를 추출하는 것에서 시작하며, 이후 스테레오 비전 포인트 클라우드의 스케일을 LiDAR 스케일에 맞추는 조정 과정을 거친다. 스케일이 조정된 스테레오 포인트와 LiDAR 데이터를 초기 융합하여 두 가지 모달리티의 장점을 모두 활용한 포괄적인 포인트 클라우드를 생성한다. 융합된 포인트 클라우드를 정제하기 위해, DBSCAN과 같은 클러스터링을 통한 노이즈 제거와 포인트 그룹화, 그리고 LiDAR 데이터를 기준으로 스테레오에서 추출한 포인트들을 정밀하게 맞추기 위한 회귀 모델을 결합한 하이브리드 기법을 도입한다. 정제된 포인트 클라우드는 3D Gaussian Splatting 초기화를 위한 기초로 사용되며, 각 포인트를 초기 가우시안 값으로 설정하고 다양한 뷰포인트에서의 렌더링 결과를 바탕으로 가우시안 파라미터를 최적화한다. 최적화된 3D 가우시안을 활용하여 다양한 시점에서 장면을 렌더링하고, 이를 통해 연속적이고 풍부한 3D 장면 표현을 생성한다. 본 연구는 일반적인 새로운 뷰 합성(general novel view synthesis) 문제에 대한 중요한 개선을 달성하여, 컴퓨터 비전, 자율주행, 가상현실과 같은 분야에서의 응용 가능성을 보여준다.