DOI QR코드

DOI QR Code

An Estimation Method for Location Coordinate of Object in Image Using Single Camera and GPS

단일 카메라와 GPS를 이용한 영상 내 객체 위치 좌표 추정 기법

  • Seung, Teak-Young (Dept. of IT Convergence and Application Eng., Pukyong National University) ;
  • Kwon, Gi-Chang (Graduate School of Creative Industry, Andong National University) ;
  • Moon, Kwang-Seok (Dept. of Electronics Eng., Pukyong National University) ;
  • Lee, Suk-Hwan (Dept. Information Security, Tongmyong University) ;
  • Kwon, Ki-Ryong (Dept. of IT Convergence and Application Eng., Pukyong National University)
  • Received : 2015.10.04
  • Accepted : 2015.12.07
  • Published : 2016.02.28

Abstract

ADAS(Advanced Driver Assistance Systems) and street furniture information collecting car like as MMS(Mobile Mapping System), they require object location estimation method for recognizing spatial information of object in road images. But, the case of conventional methods, these methods require additional hardware module for gathering spatial information of object and have high computational complexity. In this paper, for a coordinate of road sign in single camera image, a position estimation scheme of object in road images is proposed using the relationship between the pixel and object size in real world. In this scheme, coordinate value and direction are used to get coordinate value of a road sign in images after estimating the equation related on pixel and real size of road sign. By experiments with test video set, it is confirmed that proposed method has high accuracy for mapping estimated object coordinate into commercial map. Therefore, proposed method can be used for MMS in commercial region.

Keywords

1. 서 론

지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)과 더불어 자율 주행 자동차의 기술적 구현을 위해서는 전방의 보행자와 차량, 정지선과 신호등, 도로표지 등 차량 주변에 존재하는 객체에 대한 정보 수집이 반드시 필요하다. 수집해야 할 정보들 중 객체의 위치 정보는 차량의 가, 감속 및 충돌 회피 등을 위해 사용되는 중요한 정보이다. 또한 MMS(Mobile Mapping System) 기반의 차량을 이용한 도로 시설물 정보 수집 및 관리 시스템의 경우에도 수집된 도로영상들로부터 영상내 객체의 위치 정보를 산출하는 것이 요구된다. 이를 위해 도로상의 객체를 검출하여 거리 정보를 추정하는 다양한 기법들이 제안되었다[1]. 거리 정보를 추정하는 기법들은 크게 스테레오 카메라를 이용하는 방식, 단일 카메라를 이용한 방식, 초음파나 적외선 카메라, 레이저 등과 같은 장비를 카메라와 같이 또는 따로 사용하는 방식들로 구분할 수 있다.

레이저를 사용하는 방식은 초음파나 적외선 카메라를 사용하는 방식과는 달리 레이저 광원을 주사하면서 각 화소의 거리 값을 측정하기 때문에 측정오차를 줄일 수 있는 장점이 있다. 그러나 측정시간이 길어지고 낮은 S/N비 때문에 원거리 측정 시 큰 오차를 불러일으키며 빠르게 움직이는 물체에 대해 적용하는 것은 어려운 단점이 있다. 또한 초음파를 사용하여 거리를 측정하는 방법의 경우, 공간분해능이 다른 방식들에 비해 낮고 측정오차가 커서 이동 로봇의 장애물 검출에 적용되는 정도이다. 따라서 거리 검출을 위해 사용하는 장비들의 수와 거리 추정을 위한 계산 복잡도를 고려한다면 스테레오 및 단일 카메라를 사용하는 방식이 우수하다. 그러나 단일 카메라를 이용한 방식들 중 일반적인 렌즈를 사용하고 센서면에 곤충의 겹눈과 같은 집합렌즈 배열(Lenticular Array)을 두어 각각의 렌즈를 핀홀카메라와 같은 역할을 수행하도록 하고 감광소자 배열에 렌즈로 입사되는 빛의 분포가 감광되는 방식이나 단일 렌즈와 하나의 센서 만을 사용하지만 카메라 조리개의 구조를 바꾸어 센서에 닿는 빛의 경로를 변화시켜 거리정보를 유추하는 기법들의 경우 일반적인 단일 카메라와 달리 부가적인 기계장치를 추가해야 하며 계산 복잡도는 높아지나 화면의 해상도는 단일 카메라에 비해 줄어드는 단점들을 가지고 있다. 또한 스테레오 카메라 방식은 카메라와 근거리의 객체에 대한 깊이 정보 산출에는 높은 정확도를 보이나 실내가 아닌 야외 환경에서 원거리에 있는 객체들에 대해서는 정확가 떨어지며 단일 카메라에 비해 두 배의 입력 영상 정보를 가지기 때문에 계산 복잡도가 높을 뿐만 아니라 깊이 정보를 산출하는 과정에서 요구되는 카메라 교정 및 카메라 세팅 과정은 단일 카메라에 비해 매우 복잡하다는 단점을 가지고 있다. 따라서 기존 기법들이 가지는 높은 계산 복잡도 및 부가적인 기계 장치 추가라는 제약을 해소할 수 있는 새로운 방법이 요구되고 있다.

본 논문에서는 양안 시차를 통한 깊이 정보 획득이 불가능한 단일 카메라와 GPS를 이용하여 영상내 객체의 좌표 정보를 산출하는 기법을 제안한다. 제안하는 기법에서는 단일 카메라가 가지는 속성 정보인 높이, 화각, 해상도 등의 특성들을 이용하여 학습용 영상들로부터 실제 객체의 크기와 영상 내 해당 화소의 크기간의 관계식을 유추한 후, 영상 내 소실점 및 화소 크기, 방향각 등을 이용하여 카메라와 객체간의 상대적인 거리를 추정한다. 그 후, 카메라의 GPS 좌표 값과 추정한 상대 거리, 카메라의 이동 방향을 감안하여 영상 내 객체의 좌표를 산출하도록 한다. 테스트용 비디오 셋을 이용한 실험을 통하여, 제안하는 기법이 도로영상 내 중요 객체들 의 좌표 정보 추정 결과가 상용 맵에 맵핑이 가능한 수준의 정확도를 가짐을 확인하였다.

본 논문의 구성을 살펴보면, 먼저 2장에서는 본 논문과 관련된 카메라를 이용한 영상 내 객체의 위치정보를 구하는 기존의 방법들을 소개한다. 그리고 3장에서는 제안하는 단일 카메라의 카메라 속성과 GPS를 이용한 위치 정보 산출 기법을 자세히 설명한다. 4장에서는 제안 기법을 이용한 도로영상 내 객체들의 위치 정보 산출 실험 결과를 제시한다. 마지막으로 5장에서는 제안 방법의 요약 및 활용 방안을 제시하는 것으로 논문을 구성한다.

 

2. 관련연구

일반적인 영상 내에서 거리 정보를 추정하는 기법은 스테레오 카메라를 이용하는 방식을 따른다. 스테레오 카메라를 이용한 거리 추정 기법에서는 거리 추정에 사용되는 두 대의 카메라를 위한 매우 정교한 교정(Calibration) 과정을 수행해야 한다. 또한 두 개의 시점을 통해 객체를 보기 때문에 멀리 있는 객체의 시차(disparity)는 0에 가깝다. 따라서 이런 경우에는 거리 정보를 얻기 힘들다. 또한 처리해야 할 정보량 역시 단일 카메라에 비해서 2배라 계산복잡도가 높다는 단점도 있다. 따라서 이러한 문제점들을 피하고 영상 내의 객체에 대한 거리 정보를 추정하고자 단일 카메라를 이용한 방식에 대한 다양한 연구가 진행되고 있다.

단일 카메라를 이용한 방식의 경우는 다시 단일 카메라에 부가적인 기계장치를 추가함으로써 스테레오 카메라와 같은 효과를 보이는 방식과 단일 카메라 영상에서 얻을 수 있는 소실점 및 잘 알고 있는 객체의 실제 크기를 이용해 객체와 카메라 간 상대거리를 추정하는 방식으로 나눌 수 있다. 각 방식을 이용한 기법들을 알아보면 다음과 같다[2].

2.1 플렌옵틱(Plenoptic) 기반의 거리 추정 기법

임의의 공간에서 빛의 기하학적 분포를 수치적으로 나타내기 위한 연구가 진행되어 왔다. 초기의 연구에서는 빛의 전체 기하학적적 분포를 나타내기 위해 플렌옵틱 함수에 대해 소개하였다[3]. 플렌옵틱 함수를 사용한 시스템은 일반적인 렌즈를 사용하고 센서면에 곤충의 겹눈과 같은 집합렌즈 배열(Lenticular Array)을 두었다. 각각의 렌즈는 핀홀카메라와 같은 역할을 하고, 감광소자 배열에 렌즈로 입사되는 빛의 분포가 감광된다. 집합렌즈 배열을 통과한 영상은 연속적으로 이동하는 시점을 가진다. 그래서 상대적인 영상의 시점 변화를 측정하여 거리정보를 측정할 수 있다. 그러나 깊이 정보의 해상도는 렌즈조리개의 비율에 의해서 물체의 거리가 제한된다.

또 다른 연구에서는 빛의 전체 분포를 5D의 플렌옵틱에서 4차원 라이트 필드(4D Light Field)로 낮추고 4차원 라이트 필드를 측정하기 위한 카메라 시스템을 제안하였다[4]. 하지만 4차원 라이트 필드를 측정하기 위해 대규모의 카메라 시스템으로 구성하고 한 번의 촬영을 위해 각각의 카메라를 교정 및 동기화 시켜야 했기 때문에 이동 및 영상처리 과정이 복잡하다.

또 다른 기법으로는 마이크로 렌즈 배열(microlens array)을 이용하여 일반 카메라에서 4D light field를 측정하는 방법이 있다[5]. 본 마이크로 렌즈 배열을 사용했다는 점에서는 초기의 플렌옵틱 카메라 방식과 비슷하지만 렌즈수차와 해상도, 칼라 표현, 리포커싱 프로세싱 등이 향상되었다. 하지만 리포커싱 영상의 해상도는 마이크로 렌즈 배열의 렌즈 개수와 같기 때문에 영상 해상도가 높지 않다. 그리고 마이크로 렌즈 배열에 의한 깊이 정보 해상도도 한계가 있기 때문에 측정할 수 있는 물체의 거리 역시 제한된다.

마이크로 렌즈 배열을 사용하지 않고 카메라의 메인 렌즈 앞에 프리즘과 볼록, 오목 렌즈를 각각 추가로 배열하여 광학계를 재구성하는 기법이 연구되었다[6]. 하지만 해당 기법은 라이트 필드를 얻기 위하여 렌즈를 그대로 사용하였기 때문에 수차가 그대로 존재한다. 또한 메인 렌즈에 추가로 볼록, 오목 렌즈를 배열하였기 때문에 영상의 해상도가 원래의 크기에서 줄어드는 단점이 있다.

2.2 카메라에 기계장치를 추가하는 거리 추정 기법

단일 렌즈와 하나의 센서 만을 사용해서 깊이 정보를 추정하기 위한 기법으로 카메라 조리개의 구조를 바꾸어 센서에 닿는 빛의 경로를 변화시켜 거리정보를 계산하는 기법이 있다[7]. 해당 기법들은 초점흐림(Defocus Blur) 커널의 특성을 조정하기 위해 렌즈 조리개에 마스크를 사용했다. 그러나 본 기법들을 통해 깊이 영상을 획득하는 과정에서 해상도가 원래의 1/9로 줄어드는 단점이 있다.

또 다른 방법으로는 한 개의 렌즈와 3개의 CCD(Charge-coupled Device)를 이용하여 깊이정보를 추출하는 다중 초점 카메라 기법이 있다[8]. 한 대의 카메라 안에 색선별 프리즘(Dichroic Prism)을 둠으로서 렌즈를 통하여 들어온 영상은 3개의 영상으로 분할이 되며 각각의 영상은 초점이 맞은 CCD, +1mm에 위치한 CCD, -1mm에 위치한 CCD에 맺히게 된다. 이렇게 획득된 3개의 영상으로부터 깊이 정보를 추출한다.

두 개의 평면거울을 이용하여 한 대의 카메라로 두 개의 영상을 획득하는 기법도 제안되었다[9]. 두 개의 거울만을 사용하기 때문에 에피폴라선(Epipolar Line)이 동일 스캔선(Scan Line) 상에 존재하지 않지만 한 대의 카메라만을 사용하기 때문에 실시간으로 3차원 정보를 추출할 수 있는 시스템이다.

이중 프리즘(Biprism)을 이용한 단일 렌즈 스테레오 영상 생성 기법도 제안되었다[10]. 이 기법은 프리즘을 카메라의 앞에 둠으로서 한 대의 카메라로 두개의 영상을 획득할 수 있다. 프리즘의 굴절 효과를 이용하여 두 개의 영상을 획득하여 깊이정보를 구하고 획득된 영상을 마치 광축이 동일한 가상의 카메라로부터 획득된 영상처럼 변환하여 깊이정보를 획득하는 방법이다.

그러나 이러한 방식 모두는 거울 또는 프리즘을 이용하여 입력되는 빛을 분할하여 의사 스테레오 영상을 생성하므로 해상도가 줄어드는 단점이 있으며 기계적 부가 장치를 통해 의사 스테레오 영상을 얻으므로 부가 장치에 대한 정밀한 교정과 제어가 수반되는 제약사항이 있다.

2.3 소실점 및 객체 부가 정보에 의한 위치 정보 산출 기법

단일 카메라를 이용한 위치 정보 산출 기법들 중, 소실점과 객체의 부가 정보를 이용한 위치 정보 산출기법은 특정한 카메라가 가지는 카메라의 높이, 화각, 해상도 등의 여러 가지 특성들을 알고 있다고 가정하고 카메라가 촬영한 영상으로부터 소실점 및 영상 내 객체의 화소 크기 등을 이용하여 카메라와 객체간의 상대적인 거리를 추정하는 기법이다[11].

단일 카메라를 통해 획득된 영상은 화면 내의 소실점을 중심으로 원근이 표시된다. 이때 소실점에서 영상의 외각으로 갈수록 사물의 크기는 커지며 카메라와의 거리는 가까워진다. 또한 소실점으로부터 영상의 외각으로 객체가 이동할 때 그 크기는 지수 함수의 형태로 변화한다.

차량 내 카메라를 설치한 기법[11]의 경우, 객체의 크기와 바닥의 위치를 중요한 거리 추정 요소로 삼고 이미 그 크기를 알고 있는 샘플을 이용하여 객체의 실제 크기와 화면 내 픽셀간의 상관관계를 도출한다. 도출된 결과와 두 개의 추정 요소를 이용하여 카메라와 화면 내 객체간 거리를 추정한다. 비행기를 대상으로 한 기법[12]의 경우, 비행기의 날개 끝과 끝을 향하는 내각(Subtended Angle) 정보를 이용하여 영상 내 비행기의 실제 상대 거리 측정을 수행한다.

Fig. 1.Proposed method for real world coordinate estimation of object in road image using single camera and GPS.

본 방식의 기법들은 카메라의 위치 및 화각, 해상도 정보를 미리 알고 있어야 하며 검출된 객체의 해상도가 작을수록 추정치와 실제 거리간의 오차가 커진다는 단점이 있다. 그러나 플렌옵틱 및 기계적 부가 처리 방식, 스테레오 카메라를 이용한 방식들에 비해 본 방식은 계산 복잡도가 낮으므로 ‘실시간’ 연산처리를 요구하는 MMS를 위한 거리 및 위치 추정기법[13]으로 적용이 가능하다.

따라서 제안하는 논문에서는 도로영상 내 도로표지의 위치 정보를 산출하기 위해 단일 카메라의 소실점 및 객체의 부가 정보를 이용한 기법을 제안하고자 한다.

 

3. 제안한 방법

단일 카메라는 기본적으로 양안 시차를 통한 깊이 정보 획득이 불가능해 카메라와 영상 내 객체간 거리에 대한 정보를 얻을 수 없다. 그러나 특정한 카메라가 가지는 카메라의 높이, 화각, 해상도 등의 여러가지 특성들을 알고 있다고 가정한다면 단일 카메라로부터 획득한 영상으로부터 소실점 및 영상 내 객체의 화소 크기 등을 이용하여 카메라와 객체간의 상대적인 거리를 추정하는 것이 가능하다[11]. 상대적 거리 추정을 위해 우선, 캡처 된 프레임들로부터의 픽셀 크기와 실제 객체의 크기 사이의 관계 방정식을 찾는 것이다. 만약 관계 방정식을 취득하면, 측정 된픽셀 길이로부터 물체의 실제 거리를 추정 할 수 있다 따라서 단일 카메라를 이용한 객체와 카메라간 거리 추정 및 위치 좌표 산출을 위한 과정은 다음과 같다.

3.1 핀홀 카메라 모델 기반 카메라와 객체 간 관계 해석

카메라에 의해 촬영되는 포착 영역은 카메라 렌즈의 시점에 따른 시야각에 의하여 결정된다. 아래 Fig. 2는 단일 카메라에서의 사물과 영상 내 객체 간 기하학적 상관관계를 나타내고 있다.

Fig. 2.Pinhole camera model.

D0는 카메라 렌즈와 객체 간의 거리이다. Df는 렌즈와 카메라 센서 간의 거리이다. F는 렌즈의 초점길이이고, 이 세 가지의 관계는 이다. Fig. 2로부터

와 같은 관계식을 얻을 수 있다.

렌즈의 초점 길이와 화각을 알고 있다면 뷰의 각 또한 알고 있다면, 위의 관계식으로부터 h에 대응하는 D0를 계산하는 다시 구할 수 있다.

그러나 상에 맺힌 객체들의 경우, 소실점이 위치하는 중앙부에서 멀어진 곳에서 위치하거나 카메라와 실제 사물간의 위치가 먼 경우에는 위 관계식을 통해서 얻어지는 사물과 카메라간 거리인 D0가 정확하지 않다. 따라서 이를 보정하기 위한 새로운 방법을 동원하도록 한다.

3.2 학습을 통한 픽셀과 실제 크기 간 관계식 추정

핀홀 카메라 모델을 통해 도출된 카메라와 객체간 거리 관계식을 이용해서 실제 객체와 카메라간의 거리를 추정할 수 있다. 실제 객체의 크기와 초점거리, 화각, 영상 내 객체의 화소 크기는 이미 주어져 있으므로 각 값들을 대입해 거리를 구할 수 있다. 그러나 단일 카메라는 양안 시차를 통한 깊이정보를 구할 수 없으므로 영상 내 소실점을 기점으로 거리 값들의 변화가 지수 함수와 같이 변하다가 무한대에 수렴하게 된다. 따라서 실제 객체의 크기와 촬영 거리별 관계를 학습영상을 통해 추정하여 거리별 객체 크기와 화소 크기에 대한 관계식을 도출하도록 한다.

본 논문에서 사용하는 도로영상 내의 객체인 도로표지의 크기는 일반적으로 지름 60cm 이므로 60cm에 해당하는 객체의 카메라 내 픽셀 크기와 거리 간 상관관계를 구하도록 한다. 사용할 카메라에 대한 특성 값은 이미 카메라 교정을 통해 알고 있으므로 알고 객체의 실제 크기별 화소 크기의 변화를 추적하였다. 그 결과는 아래 Fig. 3과 같다.

Fig. 3.Change graph of a pixel length corresponding to the distance change between camera and object.

3.3 GPS 수신 정보를 이용한 도로표지의 좌표 정보 산출

단일 카메라의 픽셀 크기와 실제 객체의 크기 간 관계식을 도출해 거리를 추정하였다면 추정 거리를 바탕으로 도로표지의 실제 좌표 정보를 산출한다. 좌표를 수신하는 GPS는 차량 내부 또는 카메라 부근에 있으므로 카메라의 위치와 수신된 좌표 위치를 같은 것으로 간주하고 산출작업을 시작한다. 그런데 차량내에 있는 카메라로부터 획득한 영상은 정지 상태의 카메라로부터 획득한 영상이 아니라 주행 중인 차량과 함께 움직이므로 도로표지의 좌표 정보 산출을 위해서는 단일 카메라를 통해 획득한 거리 정보뿐만 아니라 GPS로부터 좌표 및 방향 정보를 같이 수신한다.

Fig. 4는 교통표지가 검출되었을 때 이미지 프레임의 예이다. 위 예에서 영상의 크기는 1280×720 화소이다. 영상의 중심선은 640번째 픽셀에 위치한다. 영상의 중심선은 카메라의 시점과 차량의 진행 방향과 일치하므로 자동차 방향에서 0도를 나타낸다. 0도에서 표지판의 방위각을 계산하기 위해서, 중심으로부터 표지판까지의 거리 벡터를 x축과 y축 성분으로 분해하여 분리되는 정도가 어디까지인지 계산해야 하며,

와 같이 표현된다.

Fig. 4.Relationship between object and car in road images.

이때, 예제 영상에서 카메라 화면의 수평 영역(Field of View, FOV)는 70.42도이므로 화면의 절반 각은 35.31도이다. 0도에서 왼쪽 부분은 음수, 오른쪽 방향은 양수로 취급한다. 주어진 관계값들을 이용하여 방위각(Azimuth)를 추정하면

와 같이 구할 수 있다.

산출된 카메라와 도로표지 간 방위각을 이용하여 영상의 x축(dx)과 y축(dy) 벡터 성분별로 거리 보정을

와 같이 다시 수행한다. Fig. 5와 6은 dx와 dy를 계산하는 예이다.

Fig. 5.Relationship between object and center of car in road image.

Fig. 6.Relationship between object and center of car in real world.

좌표 정보를 산출하려면 움직이는 차량이 어느 방향으로 움직이는지를 알 수 있어야 한다. 따라서 국제 표준 내비게이션 시스템에 따라 0°를 기준 방향인 북으로 둔다. 그 후, 카메라와 영상 내 객체 간 상대적인 방위각에 GPS로부터 수신한 차량의 방향 정보를 추가하도록 한다. Fig. 7은 차량으로부터 수신한 위도(Latitude), 경도(Longitude) 좌표로부터 단일 카메라에서 산출한 방위각을 반영하는 과정을 나타내고 있다. 여기서 Δlog와 Δlat는

와 같이 지구의 편평도로 인해 각도가 변할 때 마다 환산되는 길이가 달라진다. 국내의 경우, 경도 1도는 90, 127.18 미터와 위도 1도는 111,128,198 미터이다. 이 값이 최종적으로 반영되어 방향을 결정한다.

Fig. 7.Distance and azimuth relationship between object and center of car.

 

4. 실험 결과 및 고찰

도로영상 내 객체의 위치 좌표 산출에 대한 정확도 평가를 위하여 단일 카메라로부터 깊이 정보를 추정하여 GPS를 통해 획득한 카메라의 좌표 정보 및 방향 정보와 결합하여 좌표 정보를 산출하였다. 테스트용 비디오 클립 내에 가장 많이 포함된 도로표지를 좌표 정보 추정 객체로 두고 해당 도로표지들이 많이 배치되어 있는 구간에 대한 영상을 이용하여 도로표지 좌표 정보를 획득한 결과는 Fig. 8∼11과 같다. 획득한 비디오 클립은 영천-건천 고속화 국도구간을 촬영한 테스트 영상이며 산출된 도로표지의 좌표정보를 구글맵에 맵핑하여 맵 상의 도로와 정합됨을 확인하였다.

Fig. 8.Comparison between original and estimated longitude values of objects in test video (unit: degree).

Fig. 9.Distance error between original and estimated longitude values of objects in test video (unit: meter).

Fig. 10.Comparison between original and estimated latitude values of objects in test video (unit: degree).

Fig. 11.Distance error between original and estimated latitude values of objects in test video (unit: meter).

Fig. 8과 10의 경우, 좌표 값의 기본 단위가 ‘도’ 단위이다. 따라서 그림 상에서는 원 좌표 정보와 추정 좌표 정보가 완전히 일치 하는 것으로 보인다. 그렇지만 Fig. 9와 11에서 보이듯이 위도는 평균 13m, 경도는 평균 7m의 오차가 발생한다. 이는 DGPS 자체의 오류 정보 포함으로 인한 원인과 단일 카메라로부터 촬영된 영상 내 소실점 부근 좌표 정보 산출시의 오차 발생 때문이다. 특히, Fig. 11에서 9번째 도로표지의 경우에는 주변의 음영 현상 때문에 GPS 수신기로부터 위도 정보가 획득되지 못하고 정상적인 값이 들어오지 못해 오차가 120m 이상 발생한 것을 볼 수 있다.

이를 해소하기 위해서는 도로 상에 존재하는 측지점 정보를 이용한 DGPS 값 보정과 연속 프레임에서의 평균값 보정을 통한 좌표 정보 추정을 통해 값을 높일 수 있다. 추정한 도로표지의 좌표 정보와 상용 포탈 맵인 구글맵과의 맵핑 결과는 Fig. 12과 같다. 그림에서 보이는 것처럼 구글맵 상의 고속 국도 폴리라인과 추정된 도로표지 좌표 정보가 잘 맵핑되었음을 확인할 수 있다.

Fig. 12.Mapping result between estimated object coordinate and test road section in google map.

 

5. 결 론

본 논문에서는 깊이 정보를 획득할 수 없는 단일 카메라로부터 카메라 속성 정보와 영상 내 소실점, 도로표지 객체의 화소 크기를 이용하여 카메라와 객체간 거리를 추정한 뒤 GPS를 통해 획득한 방향 및 좌표 정보를 이용해 도로영상 내 중요 객체의 좌표 정보를 산출하는 기법을 제안하였다. 제안한 기법의 성능을 분석하기 위해 테스트 영상 내 객체의 도로표지 위치 좌표의 산출 정확도를 평가하는 정량적 분석을 수행하였다. 제안하는 기법은 원 좌표와 추정 좌표 간 비교 실험을 통해 GPS 수신 값의 정밀도만 향상시킬 수 있다면 단일 카메라로도 차선 단위의 거리 정보 추정이 가능함을 확인하였다. 본 논문에서 수행한 실험을 통하여 제안하는 기법은 복합 센서와 별도의 설계를 통해서만 사용 가능한 MMS의 금전적, 기술적 운용의 어려움을 해소하고 주행 중인 차량 주변의 객체들에 대한 위치 좌표 정보 수집이 가능함을 보여주었다. 향후 제안하는 기법들이 ADAS 및 자율주행자동차, MMS 기반의 스마트 도로 자산관리 연구 분야에 보탬이 되기를 바란다.

References

  1. D. Geronimo, A.M. Lopez, A.D. Sappa, and T. Graf, “Survey on Pedestrian Detection for Advanced Driver Assistance Systems,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 7, pp. 1239-1258, 2010. https://doi.org/10.1109/TPAMI.2009.122
  2. D.K. Seo, Estimation of Object Distance with Single Lens Camera, Master's Thesis of Hanyang University of Technology, 2010.
  3. T. Adelson, and J.Y.A. Wang, “Single Lens Stereo with a Plenoptic Camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp. 99-106, 1992. https://doi.org/10.1109/34.121783
  4. M. Levoy, and P. Hanrahan, "Light Field Rendering," Proceeding of Special Interest Group on GRAPHics and Interactive Techniques, pp. 31-42, 1996.
  5. R. Ng, M. Levoy, M. Brdif, G. Duval, M. Horowitz, and P. Hanrahan, Light Field Photography with a Hand-held Plenoptic Camera, Tech Report, Stanford University Computer Science, 2005.
  6. T. Georgeiv and C. Intwala, Light Field Camera Design for Integral View Photography, Technical Report, Adobe Systems Incorporated, 2006.
  7. A. Veeraraghavan, R. Raskar, A. Agrawal, A. Mohan, and J. Tumblin. "Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing," Proceeding of Special Interest Group on GRAPHics and Interactive Techniques, Vol. 26, No. 3, article no. 69, 2007.
  8. S. Hiura and T. Matsuyama, "Depth Measurement by the Multifocus Camera," Proceeding of Computer Vision and Pattern Recognition, IEEE Computer Society, pp. 953-961, 1998.
  9. S, Baker and S.K. Nayar, “A Theory of Single-Viewpoint Catadioptric Image Formation,” International J ournal of Computer Vision, Vol. 35, No. 2, pp. 175-196, 1999. https://doi.org/10.1023/A:1008128724364
  10. A. Goshtasby and W.A. Gruver, “Design of a Single-Lens Stereo Camera System,” Pattern Recognition, Vol, 26, pp. 923-936, 1993. https://doi.org/10.1016/0031-3203(93)90058-5
  11. J.S. Kim, “Effective Road Distance Estimation Using a Vehicle-attached Black Box Camera,” Journal of the Korea Institute of Information and Communication Engineering, Vol. 19, No. 3, pp. 651-658, 2015. https://doi.org/10.6109/jkiice.2015.19.3.651
  12. J.H. Kim, C.Y. Lee, M.H. Lee, D.I. Han, and D.W. Lee, “Monocular Vision Based Relative Position Measurement of an Aircraft,” Journal of The Korean Society for Aeronautical and Space Sciences, Vol. 43, No. 4, pp. 289-295, 2015. https://doi.org/10.5139/JKSAS.2015.43.4.289
  13. J.N. Yeom, G.B. Lee, J.J. Park, and B.J. Cho, “Position Estimation System of Moving Object using GPS and Accelerometer,” Journal of Korea Multimedia Society, Vol. 12, No. 4, pp. 600-607, 2009.

Cited by

  1. CCTV 영상을 활용한 동적 객체의 위치 추적 및 시각화 방안 vol.51, pp.1, 2016, https://doi.org/10.22640/lxsiri.2021.51.1.53