Development of USB DVR-Rear Cameras Combined System

USB DVR과 후방 카메라를 결합한 AVM 시스템 개발

Abstract

Around-View, the image processing device which increases the comfort of drivers is sold in the market. This system prevents accidents in advance while driving or parking. The accidents are caused with their inexperienced driving or bad visibility. It is developed for driving convenience. However, it dosen't spread to the driver widely due to the problem of the high installation costs and complex installation process. First, expensive equipment second, difficult development environment and third, inconvenient installation procedure. So the drivers don't have many opportunities to use this system and dare to develop this system. I think if one of the problems can be solved, users might be able to access this system at low cost. In this paper, the AVM(Around-View Monitoring) minimizes two of them. Expensive equipment, inconvenient installation. The costly problems were solved by using low-cost USB device and rear cameras. In view of inconvenient installation process, the new system was designed to make it easy for people to install it. Through this, it can ease the burden of consumers.

시중에 운전자의 편의성을 높여주기 위해 Around-View라는 카메라를 이용한 영상처리 장치가 판매되고 있다. 이 시스템은 운전자의 미숙한 조작 또는 운전자의 시야 확보가 불가능하여 발생하는 사고에 대해 사전에 미리 방지하고자 나온 시스템이다. 그런데, 편리한 운전을 위해 나온 시스템이 복잡한 설치 과정, 고가의 설치비용의 문제로 인하여 운전자들에게 널리 보급되지 못하고 있다. 첫째 고가의 장비, 둘째 어려운 개발 환경, 셋째 불편한 설치 과정 등의 문제점으로 인하여 운전자들은 이 시스템을 접할 기회가 힘들고 개발자들은 이 시스템을 개발할 엄두를 못 내고 있는 상황이다. 이 중 한 가지 문제점이라도 해결이 된다면 사용자들은 조금 더 저렴한 비용으로 이 시스템을 접할 수 있을 거라고 생각된다. 본 논문에서 제안하고자 하는 AVM(Around-View Monitoring) 시스템은 앞서 말한 세 가지의 문제점 중 고가의 장비, 불편한 설치 과정 이 두 가지 문제를 최소화 시킨 시스템이다. 저렴한 USB 장치와 후방카메라를 이용하여 구매 비용이 많이 발생하는 문제를 해결 하였다. 그리고 불편한 설치과정을 고려하여 최대한 설치가 용이하도록 개발 하였다. 이 시스템으로 인하여 소비자들의 가격 부담을 줄여주려고 한다.

Ⅰ. 서 론

운전자의 편리성을 위해 시중에는 차량에 장착할 수 있는 AVM(Around-View Monitoring) 시스템이 보급되고 있다. AVM(Around-View Monitoring) 시스템이란 차량의 전. 후, 좌, 우에 카메라 4대를 장착하여 주위 360°의 화면을 볼 수 있게끔 해주는 장치를 말한다[1].

운전자들의 편의를 위해 나온 시스템이 개발 비용, 개발의 어려움, 고가의 설치비용 등의 문제로 인하여 접하기 쉽지 않은 시스템으로 전락하고 말았다. 앞서 말한 3가지의 문제점을 해결하기 위해선 개발자의 노력이 필요하다. 개발 비용이야 AVM(Around-View Monitoring) 시스템이 현직 개발자들도 쉽게 도전할 수 있는 시스템이 아니기 때문에 해결하기 쉽지 않더라도, 나머지 2문제에 대해선 개발자가 기존에 나와 있는 시스템을 가지고 더 좋고 더 쉽게끔 개선시킨다면 충분히해결할 수 있는 문제라고 생각 된다. 기존에 나와 있는 시스템은 오로지 사용자들의 지갑 사정을 배제한 시스템이라고 할 수 있다. 차량에 장비를 설치하는 문제부터 시작하여 장비를 설치한 후, 장비를 세팅해야 하는 다소 복잡한 과정이 뒤따르기 때문이다. 장비 세팅을 간소화 시킨다면 고가의 인건비 문제를 해결할 수 있다고 본다.

본 논문에서 제안하는 AVM(Around-View Monitoring) 시스템은 앞서 말한 세 가지의 문제점 중 고가의 장비, 불편한 세팅 과정 이 두 가지 문제를 최소화 시킨 시스템이다. 우선 첫 번째, 저렴한 USB 장치와 후방카메라를 이용하여 구매 비용이 많이 발생하는 문제를 해결 하였다. 그리고 두 번째 불편한 세팅 과정을 고려하여 최대한 세팅이 용이하도록 개발 하였다. 이 두 가지 요인들만 해결하더라도 소비자들은 저렴한 가격으로 이 시스템을 손쉽게 설치할 수 있고 판매자는 저렴한 가격으로 인하여 시장경제 활성화에 큰 기여를 할 것이라고 예상 된다. 이 시스템으로 인하여 자동차 시장에 큰 기여를 하였으면 한다.

 

Ⅱ. 본 론

본 논문에서 제시한 AVM(Around-View Monitoring) 시스템은 3가지의 핵심 기술과 저렴한 장비만 있으면 된다. 3가지 핵심 기술 중엔 160°이상의 화각을 제공하는 카메라의 왜곡 현상을 보정 시키는 왜곡 보정 기술과 카메라에서 화면에 보여주는 영상을 2D에서 3D로 변환 시키는 호모그래피 알고리즘, 4개의 영상을 하나의 화면에 보여주도록 정합하는 영상정합 알고리즘 이필요로 하다. 이러한 알고리즘들은 영상처리 라이브러리인 OpenCV를 이용하여야지 적용 가능하다.

AVM(Around-View Monitoring)시스템에서 제일 먼저 적용되는 알고리즘은 왜곡 보정 알고리즘이다. 왜곡보정이 필요로 하는 이유는 카메라가 신속하게 영상을 생성하려면 좀 더 넓은 영역을 통하여 빛을 모아주어야 하며 이 빛이 투영점에 수렴하도록 굴절 시켜야 한다. 이러한 작업을 수행하기 위해서 일반적으로 렌즈를 사용하게 된다. 렌즈는 한꺼번에 많은 빛을 모아줌으로써 빠른 영상을 획득할 수 있게 되지만 왜곡이 발생하게 되는 문제점이 있다[2]. 영상의 중심에서 점점 멀어질수록 영상이 휘어지는 현상이 발생하는데 이러한 현상을 왜곡이라고 부른다. 그림 1은 왜곡 현상을 바로 잡기 위해 체스판 무늬를 가진 패턴을 사용한다. 패턴이 필요한 이유는 바닥에 설치하여 영상의 좌표를 정확하게 구해주는 역할을 해주기 때문에 필요하다. 이 역할을 해주기 위해 그림 1에서 보이는 것과 같이 일곱가지 색깔의 선이 그여서 보여지는 칼리브레이션 기법이 들어가게 된다[3].

그림 1.좌표를 구하기 위한 칼리브레이션 기법 Fig. 1 Calibration technique for setting coordinates

그림 2.왜곡보정 전, 후 영상 Fig. 2 Before and after distortion compensation

두 번째로 호모그래피 기법이 들어가게 되는데 이 기법이 AVM(Around-View Monitoring)시스템에서 제일 어렵고 힘든 개발 부분이라고 할 수 있다. 앞서 말했듯이 호모그래피 기법에 패턴이 필요하다고 했는데 패턴을 이용하여 영상의 각각의 좌표를 구해야지 2D에서 3D영상으로 변환할 수 있다.

그림 3은 영상을 호모그래피 알고리즘을 이용하여 바꾼 영상이다[4].

그림 3.영상을 2D에서 3D로 바꾼 영상 Fig. 3 The image transferred 3D from 2D

기존에 시스템은 패턴을 이용하여 구했던 좌표를 사용하여 왜곡 보정을 한 후 다시 또 패턴을 이용하여 호모그래피 알고리즘에 들어갈 좌표를 구하는 번거로운 방법을 사용한다. 이러한 이유는 AVM(Around-View Monitoring)시스템이 운전에 사용되는 시스템이기에 사용자의 안전을 위해서 정확성을 높이기 위함이다. 하지만 이런 번거로운 작업이 이 시스템의 세팅 비용을 높이는 문제점이기도 하다. 그러하여 세팅 비용도 낮추기 위해 한번 구했던 좌표를 다시 또 구하지 않고 재사용하는 방법을 채택하였다. 물론 정확성 문제도 같이 개선하였다.

마지막으로 4개의 영상 모두를 왜곡 보정과 호모그래피 작업을 시행한 후 하나의 영상으로 합치기 위해 영상정합 알고리즘 기법을 사용한다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다[5]. 그림 4에서처럼 하나의 영상 안에 4개의 영상과 차량의 이미지를 넣기 위해 사용된다[6].

그림 4.영상정합 알고리즘을 이용하여 4개의 영상을 합친 영상 Fig. 4 The image which combines 4 images using the image registration algorithm

이번 연구의 중점은 기존의 AVM 시스템보다 얼마나 더 정확하고 저렴하게 개발하여 소비자들이 쉽게접할 수 있도록 하는 것이 중점이라고 볼 수 있을 것이다.

 

Ⅲ. 시스템 구조 및 설계

3.1. 시스템 구조

본 논문에서 설계를 하고자 제안한 AVM시스템을 구현하기 위해선 4대의 카메라, 4대의 후방 카메라, 데스크탑이 필요하다. 차량에 설치할 수 있는 환경이 구축된 상태에서 차량의 전, 후, 좌, 우에 장착된 후방 카메라와 데스크톱간의 데이터 송·수신을 한다. 영상이 차량안에 장착된 네비게이션에 보여지면 AVM(Around-View Monitoring)시스템의 알고리즘(왜곡 보정, 호모그래피, 영상정합)을 적용시킨다. 이 모든 과정이 이루어져 사용자들에게 기존에 나와 있는 시스템보다 더 저렴하고 개선적인 AVM(Around-View Monitoring)시스템을 제공하고자 한다.

그림 5.시스템 구조 Fig. 5 System structure

3.2. 시스템 설계

이 시스템의 운영은 데스크탑과 후방 카메라 연결의 성공으로부터 시작된다고 볼 수 있다. 데스크탑과 후방 카메라가 연결을 성공하면 프로그램 조작을 통해 4대의 후방 카메라와 접속을 시도 한다. 유선 카메라이지만 접촉 불량의 이유로 1대 또는 모든 카메라와의 접속을 실패할 수도 있다. 그렇기 때문에 사전에 접촉이 제대로 되었는지 꼼꼼히 확인해야 한다. 4대의 카메라에 연결이 모두 성공하면 네비게이션 화면에 영상을 실시간으로 송신하는 상태가 된다. 송신만 한다고 정합된 영상을 바로 볼 수가 없다. 영상 4개 모두가 출력이 제대로 된다면 영상처리 라이브러리인 OpenCV를 이용하여 제일 먼저 왜곡 보정 알고리즘을 적용한다. 왜곡 보정이 되어야 영상이 중심점에서 멀어질수록 휘어지는 현상이 없어지는 평면으로 보이는 영상 4개가 출력이 된다.

그리고 왜곡 보정 알고리즘을 적용하기 전에 구했던 좌표를 이용하여 호모그래피 알고리즘을 적용 시킨다. 2번째 알고리즘이 적용 되면 각각의 영상이 2D에서 3D 화면으로 변환되어 화면에 출력이 된다. 마지막으로 영상정합 알고리즘을 이용하여 4개의 분할 영상들을 하나로 합쳐 네비게이션 화면에 하나로 보여 지게끔 한다. 이 과정들을 거쳐 하나의 시스템으로 만들어 기존의 시스템보다 더 저 저렴한 시스템을 사용자들에게 제공하고자 한다.

그림 6.시스템 설계 Fig. 6 Systems design

 

Ⅳ. 결과 이미지

그림 7.이미지 왜곡 현상을 보정하기 위한 화면 Fig. 7 Screen for modifying the image distortion

그림 8.이미지 왜곡 보정 후 호모그래피를 이용하여 변환된 역원근 이미지 Fig. 8 After the distortion correction image by using the homography reverse perspective transformed screen

그림 9.4개의 영상을 한 개의 영상으로 합친 이미지 Fig. 9 After the distortion correction image by using the homography reverse perspective transformed screen

 

Ⅴ. 결 론

본 논문에서 후방 카메라와 USB 장치 기반의 영상처리를 이용한 Around-View 시스템은 차량에 4대의 후방카메라를 장착하여 영상처리를 한 후 정면에서 바라보는 영상을 통합시키는 시스템이 아닌 수직에서 아래로 내려다보는 영상을 통합시킨 시스템이다. 일반적인 영상이 아니라 영상을 수정하여 보여주기 때문에 고난이도의 영상처리 작업을 필요로 한다. 시중에 나와 있는 시스템도 고난이도의 개발 작업과 세팅 환경 때문에 구매 비용이 높은 편이다. 제일 먼저 비용을 낮추기 위해 생각한 방법이 세팅 환경을 편하게 만들었다. 반복적인 계산과 수행과정들을 한 번의 과정만으로 해결할 수 있게끔 개발 하였다. 한 번의 과정만으로 발생할 수 있는 정확성 문제도 독자적인 알고리즘을 이용하여 해결하였다.

이번 연구를 통하여 개발에 쓰인 소스 코드들을 라이브러리로 만들어 추후에 이 시스템을 개선시키거나 유사한 시스템을 개발할 개발자들을 위해 제공할 계획이다. 그리고 더 나아가서 이 시스템으로 인하여 운전자들의 안전성에 기여를 하였으면 한다. 저렴한 비용으로 운전자들의 안전을 보장할 수 있는 시스템이 되었으면한다.

추후 이 시스템을 응용하여 운전자들에게 또 다른 편리성과 안정성을 줄 수 있는 시스템을 개발하고자 한다.