• 대한원격탐사학회지
• /
• 제35권5_2호
• /
• pp.841-850
• /
• 2019

본 논문은 상업용 소형 드론의 드론 맵핑 기하 정확도 평가와 지상 LiDAR와 드론 점군 자료의 융합을 통하여 재난 긴급 맵핑 적용성에 관한 연구이다. 기존의 드론 맵핑 절차와 카메라 검정과 광속조정법으로 카메라 모델을 최적화한 드론 맵핑 간의 위치 오차를 비교 분석한 결과, 평면 위치오차는 2~3 m에서 약 0.11~0.28 m 수준으로, 수직 위치오차는 2.85 m에서 0.45 m 수준으로 위치결정 정확도가 향상되었다. 아울러, 드론 맵핑과정에서 누락되기 쉬운 점군 자료의 측면정보를 지상 LiDAR 점군자료와 융합을 통해 보완할 수 있도록 두 점군 자료간 정합을 위한 개선된 좌표계 변환 모델을 제시하여 연구 대상지내 이종 점군 자료를 최대 오차 0.07 m 이내로 정합하였다. 본 논문에서의 재난현장에서의 드론 기반의 긴급 맵핑과 재난 현장정보를 보다 정밀하게 구축하기 위한 점군 자료융합에 관한 연구 성과는 향후 국가 재난안전 관리 현업에 일조할 수 있을 것으로 기대된다.

• International Journal of Computer Science & Network Security
• /
• 제23권11호
• /
• pp.67-72
• /
• 2023

In the past decade, Autonomous Vehicle Systems (AVS) have advanced at an exponential rate, particularly due to improvements in artificial intelligence, which have had a significant impact on social as well as road safety and the future of transportation systems. The fusion of light detection and ranging (LiDAR) and camera data in real-time is known to be a crucial process in many applications, such as in autonomous driving, industrial automation and robotics. Especially in the case of autonomous vehicles, the efficient fusion of data from these two types of sensors is important to enabling the depth of objects as well as the classification of objects at short and long distances. This paper presents classification of objects using CNN based vision and Light Detection and Ranging (LIDAR) fusion in autonomous vehicles in the environment. This method is based on convolutional neural network (CNN) and image up sampling theory. By creating a point cloud of LIDAR data up sampling and converting into pixel-level depth information, depth information is connected with Red Green Blue data and fed into a deep CNN. The proposed method can obtain informative feature representation for object classification in autonomous vehicle environment using the integrated vision and LIDAR data. This method is adopted to guarantee both object classification accuracy and minimal loss. Experimental results show the effectiveness and efficiency of presented approach for objects classification.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
• /
• pp.899-902
• /
• 2006

For a quick and accurate 3D modelling of a building, laser scanning data, digital maps, aerial photographs and satellite images should be fusioned. Moreover, library establishment according to a standard structure of a building and effective texturing method are required in order to determine the structure of a building. In this study, we made a standard library by categorizing Korean village forms and presented a model that can predict a structure of a building from a shape of the roof on an aerial photo image. We made an ortho image using the high-definition digital image and considerable amount of ground scanning point cloud and mapped this image. These methods enabled a more quick and accurate building modelling.

• International journal of advanced smart convergence
• /
• 제9권3호
• /
• pp.232-238
• /
• 2020

In this paper, we study on aerial objects detection and position estimation algorithm for the safety of UAV that flight in BVLOS. We use the vision sensor and LiDAR to detect objects. We use YOLOv2 architecture based on CNN to detect objects on a 2D image. Additionally we use a clustering method to detect objects on point cloud data acquired from LiDAR. When a single sensor used, detection rate can be degraded in a specific situation depending on the characteristics of sensor. If the result of the detection algorithm using a single sensor is absent or false, we need to complement the detection accuracy. In order to complement the accuracy of detection algorithm based on a single sensor, we use the Kalman filter. And we fused the results of a single sensor to improve detection accuracy. We estimate the 3D position of the object using the pixel position of the object and distance measured to LiDAR. We verified the performance of proposed fusion algorithm by performing the simulation using the Gazebo simulator.

• 정보보호학회논문지
• /
• 제33권6호
• /
• pp.1099-1110
• /
• 2023

자율주행 및 robot navigation의 인식 시스템은 성능 향상을 위해 다중 센서를 융합(Multi-Sensor Fusion)을 한 후, 객체 인식 및 추적, 차선 감지 등의 비전 작업을 한다. 현재 카메라와 라이다 센서의 융합을 기반으로 한 딥러닝 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 딥러닝 모델은 입력 데이터의 변조를 통한 적대적 공격에 취약하다. 기존의 다중 센서 기반 자율주행 인식 시스템에 대한 공격은 객체 인식 모델의 신뢰 점수를 낮춰 장애물 오검출을 유도하는 데에 초점이 맞춰져 있다. 그러나 타겟 모델에만 공격이 가능하다는 한계가 있다. 센서 융합단계에 대한 공격의 경우 융합 이후의 비전 작업에 대한 오류를 연쇄적으로 유발할 수 있으며, 이러한 위험성에 대한 고려가 필요하다. 또한 시각적으로 판단하기 어려운 라이다의 포인트 클라우드 데이터에 대한 공격을 진행하여 공격 여부를 판단하기 어렵도록 한다. 본 연구에서는 이미지 스케일링 기반 카메라-라이다 융합 모델(camera-LiDAR calibration model)인 LCCNet 의 정확도를 저하시키는 공격 방법을 제안한다. 제안 방법은 입력 라이다의 포인트에 스케일링 공격을 하고자 한다. 스케일링 알고리즘과 크기별 공격 성능 실험을 진행한 결과 평균 77% 이상의 융합 오류를 유발하였다.

• 대한원격탐사학회지
• /
• 제39권6_1호
• /
• pp.1245-1254
• /
• 2023

77 GHz frequency modulation continuous wave radar를 이용한 W-band synthetic aperture radar (SAR) system에 대한 연구가 활발히 진행되고 있다. 고해상도의 W-band SAR 영상을 복원하기 위해서는 스테레오 카메라 또는 라이다(LiDAR)에서 획득한 point cloud를 6 degrees of freedom (DOF)의 방향에서 변환하여 SAR 영상 신호처리에 적용하는 것이 필요하다. 하지만 서로 다른 센서로부터 획득한 영상의 기하구조가 달라 정합하는데 어려움을 가진다. 본 연구에서 SAR 영상의 엔트로피(entropy)에 따른 경사 하강법을 이용하여 point cloud의 6 DOF를 구하고 최적의 depth map을 추출하는 기법을 제시한다. 구축한 W-band SAR system으로 주요 도로 환경 객체인 나무를 복원하는 실험을 수행하였다. 엔트로피에 따른 경사 하강법을 이용하여 복원한 SAR 영상이 기존의 레이더 좌표에서 복원한 SAR 영상보다 mean square error는 53.2828 감소했고, structural similarity index는 0.5529 증가한 것을 보였다.

• 로봇학회논문지
• /
• 제14권2호
• /
• pp.87-93
• /
• 2019

This paper presents a 6-DOF relocalization using a 3D laser scanner and a monocular camera. A relocalization problem in robotics is to estimate pose of sensor when a robot revisits the area. A deep convolutional neural network (CNN) is designed to regress 6-DOF sensor pose and trained using both RGB image and 3D point cloud information in end-to-end manner. We generate the new input that consists of RGB and range information. After training step, the relocalization system results in the pose of the sensor corresponding to each input when a new input is received. However, most of cases, mobile robot navigation system has successive sensor measurements. In order to improve the localization performance, the output of CNN is used for measurements of the particle filter that smooth the trajectory. We evaluate our relocalization method on real world datasets using a mobile robot platform.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.292-294
• /
• 2022

본 논문은 3 차원 이미징 기술과 컴퓨터 그래픽스 기반의 시뮬레이션 분야에서 매우 성공적인 두 기술의 융합을 기반으로 진행한 연구를 제안한다. 먼저 3 차원 디스플레이 시스템에 재생할 집적 영상 이미지를 생성하는 방법에 대해 설명한다. 이는 3 차원 포인트 클라우드에서 가상 핀홀 배열로 입사각을 역투영하는 계산방식을 통해 해당 이미지를 생성한다. 우리는 재생되는 3 차원 영상의 초점면을 자유롭게 선택하는 방법에 대해서도 설명한다. 또한, 복수의 관찰자에게 동시에 다양한 시점 정보를 기반으로 몰입감 넘치는 3 차원 영상을 제공하는 3 차원 디스플레이 시스템을 소개하고, 다양한 실험결과를 기반으로 결론을 제시한다.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1125-1139
• /
• 2022

무인항공기에 부착된 위성 항법 시스템/관성 측정 센서(global positioning system/inertial measurement unit, GPS/IMU)와 관측 센서 사이에는 물리적인 위치와 자세 오차가 존재한다. 해당 물리 오프셋으로 인해, 관측 데이터는 비행 방향에 따라 서로 위치가 어긋나는 이격 오차가 발생한다. 특히나, 다중 센서를 활용하여 데이터를 취득하는 다중 센서 무인항공기의 경우, 관측 센서가 변경될 때마다 고액의 비용을 지불하고 외산 소프트웨어 의존하여 물리 오프셋을 조정하고 있는 실정이다. 본 연구에서는 다중 센서에 적용 가능한 초기 센서 모델식을 수립하고 물리 오프셋 추정 방법을 제안한다. 제안된 방안은 크게 3가지 단계로 구성된다. 먼저, 직접지리 참조를 위한 회전 행렬 정의 및 초기 센서 모델식을 수립한다. 다음으로, 지상기준점과 관측 센서에서 취득된 데이터 간의 대응점을 추출하여 물리 오프셋 추정을 위한 관측방정식을 수립한다. 마지막으로, 관측 자료를 기반으로 물리 오프셋을 추정하고, 추정된 파라미터를 초기 센서 모델식에 적용한다. 전주, 인천, 알래스카, 노르웨이 지역에서 취득된 데이터셋에 적용한 결과, 4개 지역 모두 물리 오프셋 적용 전에 발생되던 영상 접합부의 이격 오차가 물리 오프셋을 적용 후 제거되는 것을 확인했다. 인천 지역의 지상기준점 대비 절대 위치 정확도를 분석한 결과, 초분광 영상의 경우, X, Y 방향으로 약 0.12 m 위치 편차를 보였으며, 라이다 포인트 클라우드의 경우 약 0.03 m의 위치 편차를 보여줬다. 더 나아가 영상 내 특징점에 대하여 초분광, 라이다 데이터의 상대 위치 정확도를 분석한 결과, 센서 데이터 간의 위치 편차가 약 0.07 m인 것을 확인했다. 따라서, 제안된 물리 오프셋 추정 및 적용을 통해 별도 기준점 없이 정밀한 데이터 매핑이 가능한 직접 지리 참조가 가능하다는 것을 확인했으며, 다중 센서를 부착한 무인항공기에서 취득된 센서 데이터 간의 융합 가능성에 대해 확인하였다. 본 연구를 통해 독자적인 물리 파라미터 추정 기술 보유를 통한 경제적 비용 절감 효과 및 관측 조건에 따른 유연한 다중 센서 플랫폼 시스템 운용을 기대한다.

• 한국측량학회지
• /
• 제28권4호
• /
• pp.441-448
• /
• 2010

본 논문은 계절별로 획득된 항공라이다 자료로부터 수고를 추정하여 수관울폐도와 자료융합에 따른 영향을 분석하였다. 수고추정은 수목에서 반사되는 신호(First Return : FR)와 지표에서 반사되는 신호(Last Return : LR)를 추출하고, 영상분할을 통해 수목개체를 가정하여 개체목별 수고를 획득하는 방법을 적용하였다. 계절별 자료를 통해 획득한 각 수고 자료와 융합자료로부터 획득한 수고의 결과를 비교하였으며, 수고측정기를 사용하여 현지 측정을 하여 정확성을 비교하고, 항공라이다를 통해 획득한 자료들을 융합한 결과에 대한 그 활용성을 검토하였다. 실험 결과, 수목개체를 위한 영상분할 결과는 0.5미터 점군간격보다 1미터 간격이 현지조사 결과와 가까웠으며, 수목고의 경우 각 계절별 자료보다 융합자료를 활용한 결과가 현지 측정 결과에 접근하고 있음을 알 수 있었다.