A study on counting number of passengers by moving object detection

이동 객체 검출을 통한 승객 인원 개수에 대한 연구

Abstract

In the field of image processing, a method of detecting and counting passengers as moving objects when getting on and off the bus has been studied. Among these technologies, one of the artificial intelligence techniques, the deep learning technique is used. As another method, a method of detecting an object using a stereo vision camera is also used. However, these techniques require expensive hardware equipment because of the computational complexity of used to detect objects. However, most video equipments have a significant decrease in computational processing power, and thus, in order to detect passengers on the bus, there is a need for an image processing technology suitable for various equipment using a relatively low computational technique. Therefore, in this paper, we propose a technique that can efficiently obtain the number of passengers on the bus by detecting the contour of the object through the background subtraction suitable for low-cost equipment. Experiments have shown that passengers were counted with approximately 70% accuracy on lower-end machines than those equipped with stereo vision camera.

영상 처리 기법을 이용한 영상 인식 분야는 버스 승차 및 하차 시에 승객을 움직이는 객체로 검출하고 개수하는 방법이 연구되고 있다. 이러한 기술 중에는 인공지능 기법의 하나인 딥러닝 기법이 사용되고 있다. 또 다른 방법으로 스테레오 비전 카메라를 이용하여 객체를 검출하는 방법도 사용되고 있다. 그러나 이러한 방법들은 객체를 검출할 때 사용되는 장비의 연산량이 많이 들어 고가의 하드웨어 장비가 필요하다. 그러나 대중교통 중 하나인 버스 승객을 검출하기 위해 상대적으로 연산량이 적은 기법을 이용하여 다양한 장비에 맞는 영상 처리 기술이 필요하다. 이에 본 논문에서는 다양한 장비에 맞는 이동 객체 검출 기법 중 배경 제거를 통한 객체의 윤곽선을 검출하여 대중교통 중의 하나인 버스에 탑승객의 수를 효율적으로 획득 할 수 있는 기법을 제안한다. 실험 결과 스테레오 비전을 장착한 장비보다 더 저사양의 장비에서 약 70%의 정확도로 승객을 개수하였다.

1. 서론

영상 처리를 이용한 다양한 정보 획득 연구들은 일상 생활의 정보들뿐만 아니라 상황 정보 획득을 통해 특정 상황을 인식하는 형태로 발전되었다. 이 중 가장 일반적인 영상 인식 분야는 이동 객체를 검출하고 검출된 이동 객체의 이동 경로 정보 추적을 통해 특정 상황의 정보를 확인하는 형태로 발전하였다[1][2][3][4][5][6]. 이동 객체 검출과 추적의 정보는 주로 고정된 카메라의 영상 속에 관심 있는 영역을 설정하고 이 영역 안에서 발생하는 잘못된 움직임이나 여러 상황 판단에 사용되었다. 예를 들어 CCTV 영상에서 수상한 움직임을 추적하거나[7] 방치된 객체 등을 검출하여 범죄를[8] 예방하는 시스템이 있다. 또한, 자동차 운전자의 눈 영역을 검사하여 졸음운전 예방[9] 같은 다양한 분야에 적용되는 기술로도 발전하고 있다

최근 이러한 이동 객체에 관한 연구가 버스 승차 및 하차 시에 특정 기술을 이용하여 탑승자의 수를 개수하는 기술이 연구되고 있다[10][11][12][13][14][15][16][17][18]. 이 연구에서 쓰인 승객 객체를 검출하고 추적할 수 있는 기술은 현재 다양한 딥러닝 방법을[19][20][21] 이용하여 검출 및 추적을 동시에 할 수 있으나 딥러닝 방법은 연산량이 많아 이 연산을 처리할 수 있는 고가의 장비가 필요하다. 그러나 대부분 장비는 복잡한 연산을 수행하기가 어려워서 기존의 연산량이 상대적으로 적은 방법을 이용 해야 한다. 기존 객체 추적 방법은 영상에서 배경을 제거하고 움직이는 객체의 모양을 판단하여 분류하는 기법이 연구되었다[22][23][24]. 이러한 방법들은 알려지지 않은 객체나, 색깔, 모양, 질감 등 많은 변수가 존재하기 때문에 검출하는 것은 어렵다[1]. 또한, 스테레오 비전 카메라를 이용하여 객체의 3차원 정보를 추출하고 이를 이용한 이동 객체에 대한 상관관계 점수를 계산하는 방법도 이용되었다[18].

본 논문에서는 이동 객체 검출 기술을 이용하여 대표적인 대중교통 차량인 버스에서 탑승객의 수를 효율적으로 획득할 수 있는 영상 처리 기법을 제안한다. 제안 기법 은 영상에서 배경을 제거하고 승객의 윤곽선의 특징을 추출하고 이를 기반으로 승객으로 분류하는 기법을 사용하였다. 또한, 기존 버스에 이미 장착된 낮은 사양의 하드웨어와 카메라를 이용해서도 승객 카운트 처리가 활용할 수 있도록 실험 환경을 구성하고, 승객 수를 획득하는 기법을 제안한다.

2. 관련 연구

2.1 배경 제거 알고리즘

영상에서 움직이는 객체를 검출하기 위해서는 영상에서 전처리 과정이 필요하다. 전처리 과정 중 영상의 잡음, 조명의 변화에 강건하게 대처하기 위해 영상의 배경 제거가 효과적으로 이루어져야 한다.

영상의 배경 제거에는 다양한 연구가 진행되었는데 가장 기본적인 방법은 영상에서 이전 프레임과 현재 프레임의 픽셀값의 차이를 이용한 차영상을 구하는 것이다. 이 방법은 단순한 차영상이기 때문에 움직이는 객체의 외형이나 그림자 같은 잡음을 처리하는 데는 비효율적이다. 또 다른 방법은 가우시안 혼합 기반 배경/전경 분할 알고리즘이다[25]. 이 알고리즘은 3 또는 5인 가우시안 분포 값을 배경 픽셀에 적용함으로써 배경 제거를 수행한다. 이 값에 대한 가중치는 영상에서 배경 제거를 위한 특정 픽셀이 같은 장소에 머무는 시간 비율을 나타낸다. 이 알고리즘은 매프레임마다 GMM(Gaussian Mixture Model) 의 변화에 대한 많은 계산이 요구되어 시스템에 부하를 줄 수 있다. 위 알고리즘을 개선한 알고리즘은 전체 픽셀에 가우시안 모델을 적용하지 않고 각 픽셀에 적절한 수의 가우스 분포를 선택한다. 이는 계산량도 줄일 수 있고 조명 변경 등으로 인해 다양한 장면 변화 및 그림자 제거에 더 잘 적응할 수 있도록 개선되었다[26][27].

또 다른 알고리즘인 GMG 알고리즘은 통계적 배경 이미지 제거와 픽셀 단위 베이지안 분할(Bayesian Segmentation)을 결합한 것이다[28]. 이 알고리즘은 백그라운드 모델링을 위해 처음 몇 프레임에 기본적으로 120 픽셀 값을 사용하며 배경이 아닌 전경이나 움직이는 객체를 추출하기 위해 베이지안 추론을 사용한다.

2.2 움직이는 객체의 윤곽선 검출

윤곽선 검출은 같은 색상 또는 같은 강도를 가진 모든 연속된 점을 경계를 따라 연결한 선이며 우리가 자주 보는 일기예보의 등고선(Contours)을 예로 들 수 있다. 움직이는 객체에서 윤곽선은 객체의 모양을 분석하거나 객체 검출 또는 인식에서 자주 사용되는데 배경 제거 전 처리 과정 후 대상의 외형을 파악하여 객체를 분류하는 데 사용 할 수 있다[29]. 윤곽선의 처리는 객체 검출 속도와 연산량에 영향을 줄 수 있으므로 기존의 윤곽선 검출은 카메라부터 입력되는 영상에 공간 윤곽선 정보를 이용하였다[30]. 윤곽선 정보를 이용한 기법은 Canny Edge Detection으로 John F Canny에 의해 개발되었다. 이 알고리즘은 단계별로 구성되어 있다. 첫 번째 단계에서는 잡음 제거 (Noise Reduction)를 실행한다. 영상이나 이미지에서 잡음이 있으면 객체의 윤곽선을 제대로 추출하기 어려워 가우시안 필터를 (Gaussian Filter)를 이용해 이미지의 잡음을 줄여준다[31]. 두 번째 단계로 Sobel 연산자를[32] 사용하여 기울기(Gradient) 벡터의 크기(Magnitude) 를 계산한다. 다음 단계에서는 윤곽선에 영향을 미치지 않은 픽셀을 제거하기 위해 이미지 전체를 스캔한다. 이미지를 스캔하는 동안 gradient 방향으로 스캔 구역에서 gradient의 최댓값을 가진 픽셀만을 남기고 나머지는 0으로 억제한다. 마지막으로 연결된 윤곽선이 실제 윤곽선인지 판단하는데 높은 값의 임계값을 사용하여 gradient 방향에서 낮은 값의 임계값이 나올 때까지 추적하며 윤곽선을 연결하는 히스테리시스 임계값(Hysteresis Thresholding) 방식을 사용하여 판단한다. 아래 그림 1은 Canny Edge Detection으로 추출된 승객의 윤곽선 모양을 보여주고 있다.

(그림 1) Canny Edge Detection으로 추출된 승객

(Figure 1) Passengers extracted with Canny Edge Detection

이렇게 생성된 윤곽선을 Suzuki85[33] 알고리즘에 적용한다. Suzuki85 알고리즘은 Satoshi Suzuki와 Keiichi Abe 에 의해 1983년에 제안된 알고리즘이다. 이 알고리즘은 Canny Edge Detectio[30]으로 추출된 윤곽선에서 객체 구조를 검출한다. 바이너리 이미지에서 TV 래스터로 이미지를 스캔을 시작하여 원하는 픽셀이 발견될 때까지 테두리를 따라가면서 윤곽선을 정의한다[34].

3. 실험 환경 및 구성

3.1 실험 환경

실험 환경은 저사양의 하드웨어 환경이나 기존에 버스에 장착된 CCTV를 이용해서도 탑승 승객 수를 확인하기 위해 저해상도의 카메라와 하드웨어를 이용하였다. 하드웨어는 라즈베리 파이라는 마이크로 보드를 사용하였고 이 보드의 성능은 아래의 표 1과 같다.

(표 1) 라즈베리 파이3 모델B+ 제품 사양

(Table 1) Raspberry Pi3 Model B+Specifications

아래 표 2는 실험에 사용된 라즈베리 파이 표준 카메라 모듈 성능을 표시하고 있다.

(표 2) 라즈베리 파이 표준 카메라 모듈

(Table 2) Raspberry Pi Standard Camera Module

실험에 사용된 하드웨어 환경은 낮은 사양의 컴퓨팅 환경을 버스에 장착하여 기존에 버스에서 사용된 하드웨어 환경과 그리 큰 차이를 보이지 않는다. 따라서 실험에서 사용된 하드웨어 환경에서 승객 카운트가 정상적으로 이루어진다면, 기존 버스에 장착된 하드웨어의 변경 없이도 승객 카운트를 위한 시스템을 탑재할 수 있을 것이다.

3.2 실험 구성

실험에 사용된 환경은 승객이 승차 시 승객 객체를 검출하기 위해 초기에 버스 차량 앞문 바로 위의 위치에 카메라를 설치하였다. 최초 실험환경에서 설치된 카메라를 통해 획득한 이미지는 그림 2와 같다.

(그림 2) 최초 실험 환경 카메라 위치

(Figure 2) Camera position at first experiment

그러나 최초로 시도한 그림 2의 카메라의 위치는 출입문의 개폐시에, 문 앞에 서 있는 차량을 이동 객체로 인식하거나 문이 열리면서 밀려들어오는 빛을 이동 객체로 인식하거나 맨 앞에 앉아 있는 승객이 움직이면서 움직이는 객체로 인식하는 문제점들이 발생하였다. 이러한 문제점들 때문에 카메라 위치를 변경하여 위의 문제가 미치는 영향이 적은 위치로 선택하였다. 두 번째로 설치된 위치는 그림 3과 같다. 그림 3의 위치로 변경된 카메라에서는 차량 문이 이동객체로 인식되는 경우나 빛에 의해 이동객체로 오인되는 경우도 승객으로 개수가 되지 않게 영역을 나누었고 햇빛의 영향을 최소화하였다.

(그림 3) 변경된 카메라 위치

(Figure 3) Changed camera position after first experiment

3.3 영역 분할과 이동 객체 경로

그림 3의 카메라 위치에서 승객이 이동하는 경로와 이동할 수 없는 경로를 구분하여 영상을 처리하고 햇빛의 영향도 줄이기 위해 그림 4와 같이 영역을 구분하였다.

(그림 4) 영상 영역 분할

(Figure 4) Video region segmentation

그림 4에서 점선으로 구분된 영역들은 카메라 위치에 의해 승객이 이동할 수 없는 차량 장비와 차량 구조물이 위치하는 영역으로 승객이 이동하지 못하는 경로이며, 해당 위치로는 이동 객체가 이동하지 않는 것을 전제 조건으로 설정하였다. 즉, 화면 중앙을 가로지르는 두꺼운 점선 화살표 진행 경로가 승객이 이동하는 경로가 되며, 이동 객체를 승객으로 판단하고 탐지하는 기반 정보로 활용된다.

이러한 영역 분할과 이동 객체의 경로를 이용하여 이전 카메라 위치에서 발생한 출입문을 이동 객체로 인식 하거나 빛을 이동객체로 인식하는 것을 방지하였다. 차량 문이 이동하는 객체로 인식된 경우, 그림 4의 Gate 영역으로 이동하면서, 인식 범위가 줄어든다면 승객이 아니라 문으로 처리하여 이동 객체 대상에서 제외하였다. 빛의 경우 다양한 각도와 방향에서 영향을 줄 수 있는데, 마찬가지로 승객 이동 경로가 아닌 위치로 이동한다면 이동 객체 대상에서 제외하여 잘못된 이동 객체 탐지를 최소화하였다.

4. 이동 객체 탐지

4.1 이미지 처리

이미지 처리 순서는 영상 처리에서 이동 객체를 탐지하기 위한 일반적인 처리와 동일하게 영상의 회색 조 처리, 이진화 그리고 배경을 제거하여 이동 객체를 판별한다. 먼저 그림 3의 영역 표시 부분을 제거한 원본 영상을 회색 조 영상으로 변경하고, 이진화를 수행한 영상은 그림 5와 그림 6이 보여주고 있다.

(그림 5) 회색 조 영상

(Figure 5) Gray image

(그림 6) 이진화 영상

(Figure 6) Binary image

회색 조와 이진화를 통해 객체 판별을 위해 불필요한 정보를 최대한 제거한 다음 배경 제거를 수행한 결과는 그림 7과 같다.

(그림 7) 배경 제거 후 영상

(Figure 7) Video after background subtraction

배경 제거는 개선된 가우시안 모델[18][25]을 사용하여 효과적으로 그림자와 불필요한 정보를 제거하여 이동 중인 승객만을 추출할 수 있었다. 아래 그림 7과 같이 배경이 제거된 영상에서 움직이는 객체의 윤곽선을 표시하고 그 윤곽선의 집합을 이용하여 객체를 하나의 사각형 표현할 수 있다. 윤곽선의 모형 검출[32]은 아래 그림 7에서 하얀색 영역 부분을 표시하게 되는데 이렇게 되면 아래 그림 8과 같이 여러 영역으로 나누게 된다. 이러한 영역의 면적 크기를 이용하여 일정 면적 크기 약 10000 이하이면 객체의 움직임이 적은 경우이기 때문에 무시하고 나머지 영역에 사각형인 bounding box[35]를 이용하여 움직이는 객체를 판별할 수 있다. 사각형이 그려진 객체는 그림 9에서 보여주고 있다.

(그림 8) 윤곽선 추출 후 영상

(Figure 8) Video after contours extraction

(그림 9) 사각형으로 움직이는 객체 검출

(Figure 9) Object detection by bounding box

사각형으로 판별된 객체의 중심은 사각형의 중심으로 구할 수 있으며 이 중심이 그림 4의 영역에 진입하고 중앙의 세로선을 넘는지 아닌지를 통해 빛이나 앞문이 이동객체로 인식되는 것을 방지한다.

4.2 승객 탐지

그림 4의 영역 구분과 이동 객체의 이동 경로에 의해 승객이 탐지되는 순서는 그림 10과 같다.

(그림 10) 승객 검출 단계

(Figure 10) Passenger detection step

그림 10에서 보여주듯이 승객이 출입문 근처에 탑승할 때부터 승객을 검출하고 중앙의 세로선을 지날 때까지 객체를 추적하게 된다. 이때 이전 승객이 승차하여 이미지나갔거나 이전 승객이 없었으면 다음 승객 또는 새로운 승객으로 간주하고 레이블링하게 된다. 하지만 만약 이전 승객이 아직 영상의 영역을 벗어나지 않았다면 다음 승객을 처리하는 과정을 이전 승객을 처리할 때까지 대기하는 큐에 넣고 다음 승객을 처리하게 된다. 이 과정은 그림 11에서 보여주고 있다.

(그림 11) 두 명 이상의 승객 검출 처리

(Figure 11) Detect two or more passengers

5. 실험결과

5.1 이미지 처리

실험은 약 30분 동안 5개의 정류장을 지나치며 12명의 승객이 탑승한 영상을 실시간으로 적용하고 녹화하여 실험을 수행하였다. 실험 결과 승객을 움직이는 객체로 검출하기 위해 배경 제거 부분에서 임계값을 두고 실험하였다. 임계값의 설정은 수동으로 변화값을 측정하였다. 임계값을 수동으로 설정한 이유는 연산량이 떨어지는 장비에서 통계적인 방법을 이용한 Otsu와 같은 알고리즘을 이용하여 임계값을 측정하면 일정량의 연산량이 더 필요하므로 이번 실험에서는 배제하였다.

임계값 변화에 따른 실험 결과는 그림 12에서 보여주고 있다. 처음 그림 12 a)은 임계값 100을 적용할 때 승객 검출 영역을 표시하고 있으며 그림 12 b)는 임계값이 300일 때 승객 검출 영역을 표시하고 있다. 임계값이 커질수록 승객을 표시하는 영역이 줄어들게 된다. 이는 영상의 배경 제거 시 영상의 차이에서 발생하는 정보가 줄어들게 되기 때문에 적당한 임계값을 찾는 것이 매우 중요하다. 실험에서는 임계값 100을 두고 실험하였다.

(그림 12 a) 임계값 100

(Figure 12 a) Threshold=100

(그림 12 b) 임계값 300

(Figure 12 b) Threshold=300

아래 표3은 실제 승객 탑승수와 개수된 승객 수를 표시하고 있다. 정거장에서 실제 승객이 탑승하지 않았을 때는 그 정거장은 표에서 제외했다.

실험 결과 정거장 1번에서는 정확하게 탑승객과 개수된 승객이 일치하였다. 그러나 정거장 2번에서는 승객을 두 명 정도 놓쳤다. 2번 정거장에서 승객을 정확하게 개수하지 못한 이유는 승객 중 한 명의 승객의 키가 너무 작아서 윤곽 검출 영역 임계값보다 작았기 때문에 승객 검출에서 제외되었다. 또한, 햇빛의 난반사 때문에 승객 영역을 감싸는 또 다른 영역이 함께 생성되어 승객을 검출하지 못하였다. 정거장 4번 같은 경우는 2번 정거장과 반대의 경우로 한 승객의 키가 너무 커서 카메라에 잡히는 영역이 보통 승객보다 커서 두 명으로 간주되었기 때문이다.

이러한 문제점은 스테레오 카메라를 이용하여 객체의 깊이 측정을 통해 객체를 검출하여 해결할 수 있다. 하지만 이 방법은 고가의 스테레오 카메라와 객체의 깊이를 처리하기 위해서 최소한 인텔 i5 이상의 프로세스와 8GB의 메모리가 포함된 장비가 필요하다.

(표 3) 승객 개수

(Table 3) Number of passengers

6. 결론

본 논문은 차량 탑승 승객을 개수하기 위해 버스 차량 앞문 위에 카메라를 설치하여 버스에 탑승하는 승객을 이동객체로 판단하고, 지정된 경로를 통해 이동하는 객체를 승객으로 판단하여 승객을 개수하는 방법을 제안하였다. 움직이는 객체의 정확한 검출을 위해 카메라의 위치를 앞문의 바로 위가 아닌 탑승 경로를 추적할 수 있는 위치에 장착하여 승객이 아닌 객체를 이동객체로 인식하는 문제점 예를 들어 문 앞에 서 있는 차량을 이동객체로 인식하는 문제를 해결하였다. 변경된 위치에서도 빛의 난반사와 같은 문제점은 대부분 해결하였으나 빛의 난사는 햇빛의 방향이나 차량의 움직임에 따라 달 라지기 때문에 아직 완벽하게 해결하지 못하였다. 또 다른 문제로 승객의 키 차이 때문에 생기는 부분도 완벽하게 탑승객을 이동객체로 인식하지 못하는 부분이 존재 하였으나 승객의 약 70% 정도를 구분하여 이동객체로 인식하여 승객 개수를 수행할 수 있었다.

앞으로의 연구는 빛의 난반사와 같은 문제점과 그 외에 발생할 수 있는 다양한 문제점들을 해결하여 승객 개수를 위한 추가적인 연구와 저가의 카메라 두 대를 사용하여 고가의 스테레오 카메라와 같은 성능을 낼 수 있게 하고 이 카메라를 제어할 수 있는 방법을 경량화해서 적용하는 방법에 관한 연구를 수행해야 할 것이다.