A Design and Implementation of Missing Person Identification System using face Recognition

Abstract

In this paper proposes a method of finding missing persons based on face-recognition technology and deep learning. In this paper, a real-time face-recognition technology was developed, which performs face verification and improves the accuracy of face identification through data fortification for face recognition and convolutional neural network(CNN)-based image learning after the pre-processing of images transmitted from a mobile device. In identifying a missing person's image using the system implemented in this paper, the model that learned both original and blur-processed data performed the best. Further, a model using the pre-learned Noisy Student outperformed the one not using the same, but it has had a limitation of producing high levels of deflection and dispersion.

본 논문에서는 비전 기술과 딥러닝 기반의 얼굴인식을 통해 실종자를 식별하는 방법을 제안하였다. 모바일 디바이스에서 전송된 원본 이미지에 대해 얼굴인식에 적합하도록 이미지를 전처리한 후, 얼굴인식의 정확도 향상을 위한 이미지 데이터 증식과 CNN 기반 얼굴학습 및 검증을 통해 실종자를 인식하였다. 본 논문의 구현 결과를 이용하여 가상의 실종자 이미지를 식별한 결과, 원본 데이터와 블러 처리한 데이터를 함께 학습한 모델의 성능이 가장 우수하게 나왔다. 또한 사전학습된 가중치를 사용한 학습 모델은 사용하지 않은 모델보다 높은 성능을 보였지만, 편향과 분산이 높게 나오는 한계를 확인할 수 있었다.

I. Introduction

최근 모바일 디바이스의 잠금 해제, 출입 통제, CCTV를 이용한 범죄자 식별 등 다양한 서비스에 적용되고 있는 얼굴인식 기술은 최근 3년 사이에 실험실 수준의 연구개발 수준에서 시장에서 널리 활용할 만큼의 성숙한 기술로 급격히 발전하였다[1]. 얼굴인식 기술은 CNN(Convolution Neural Networks)의 등장으로 사진 기반 인식 정확도가 높아졌으며[2], 컴퓨터 비전 기술의 발전과 함께 빅데이터/인공지능의 적용으로 99.96%[3]의 얼굴인식 정확도를 달성할 정도로 발전하였다.

본 논문에서는 비전 기술과 딥러닝 기반의 얼굴인식을 이용하여 실종자를 식별하는 방법을 제안하였다. 정지영상 또는 동영상에 대해 얼굴 영역을 자동으로 검출/분석하여 이미지 속 얼굴을 판별하는 기술은 많은 발전을 이루어온 분야로 최근 COVID-19의 확산으로 건물의 출입자 체온을 측정하는 AI 카메라[4]에 적용되고 있다. 하지만, 실 환경으로부터 추출되는 얼굴 이미지는 사람의 자세, 조명 변화, 원거리 촬영과 움직임으로 인한 블러(blur)로 인한 인식 정확도 저하 등 여전히 해결해야 할 문제가 많다. 이에, 본 논문에서는 영상처리 기술을 이용한 원본 이미지 전처리와 이를 이용한 데이터 증식 및 CNN 기반 이미지 학습을 통하여 얼굴인식(face identification)과 얼굴검증(face verification)의 정확도를 높일 수 있는 얼굴인식 기술을 개발하였다.

본 논문의 구성은 다음과 같다. 2장에서는 얼굴인식의 연구 동향을 소개하고, 3장에서 본 논문에서 제안한 방법과 서비스 방안을 설명한다. 4장에서 구현된 시스템과 얼굴인식 분석 결과를 설명한 후, 5장에서 결론을 맺는다.

II. Preliminaries

1. Related works

1.1 Face recognition research trends

얼굴인식 기술은 얼굴 영역추출과 얼굴의 눈, 코, 입 등을 검출하는 특징 추출 영역이 있다. 기존 이미지 내에서 얼굴 영역을 찾는 얼굴검출(face detection) 알고리즘은 SIFT, Hog, Haar와 같은 특징점 추출 기법을 이용하여 고차원의 데이터를 생성한 후, 이에 대해 PCA와 LDA와 같은 차원 축소 알고리즘을 사용하여 저차원으로 축소한 후, 머신러닝을 수행하였다. 하지만 이러한 방법은 모든 얼굴 영상이 이상적으로 정규화를 거친 후 학습되어야 하는 제약이 존재하고, 차원을 축소함에 따라 정보를 잃게 되는 한계도 존재한다. 또한, 조명이나 각도 등 얼굴 변형에 대해 인식률이 떨어지는 문제점이 있다[5].

최근에는 이러한 한계를 극복하기 위해 딥러닝을 활용해 얼굴인식을 수행하고, 손실함수를 개선함으로써 저차원으로 임베딩된 특징 벡터에 대한 성능을 개선하는 연구가 진행되고 있다[6].

1.2 Face recognition Algorithm

최근 주목받는 cGAN(conditional Generative Adversarial Network)의 경우, 기존 얼굴을 기반으로 성장을 예측하여 최근 얼굴을 이미지화하는 것이 가능하다. cGAN에서는 기존 GAN 모델에 카테고리 정보 y를 추가하여 생성하는 이미지에 대한 분류 정보를 제공할 수 있다[7]. 이에 착안하여 사람 얼굴을 z-벡터로 인코딩할 수 있는 인코더 E를 학습시킨 후, z와 y(나이 정보)를 Generator에 입력하면 해당하는 나이로 변화시킬 수 있는 이미지 정보를 제공할 수 있으며, 이를 기반으로 얼굴 성장을 예측하는 것이 가능하다[8].

1.3 Face recognition based service

Table. 1은 현재 널리 활용되고 있는 얼굴인식 기반 서비스의 종류와 개요를 보여준다. COVID-19 이후, 얼굴인식 기반 서비스가 확산하고 있으며 최근에는 CU 편의점에 설치된 얼굴인식 시스템과 신한카드를 결합한 결제 시스템도 등장하고 있다.

Table 1. Types of face recognition-based services

III. The Proposed Scheme

1. Data preprocessing

모바일 디바이스로부터 전송된 원본 이미지에서 얼굴을 인식하고, 잘라내기 위한 알고리즘으로 openCV의 Cascade Classifier[14]를 사용한다. 얼굴 각도나 조명에 의한 변수가 많은 RGB 얼굴 이미지는 grayscale 변환을 통해 데이터를 축소하여 edge detection을 간단히 수행할 수 있도록 전처리하였다. 또한, 데이터 학습 및 테스트를 위해서 원본 데이터(Raw Data)와 Gaussian blur와 Brightness, Darkness 적용을 한 전처리 데이터를 적절한 비율로 섞어 데이터 집합을 구성하였으며, 테스트 데이터는 2,000을 포함하여 총 2만 장의 데이터를 구성하였다.

Haar Cascade Classifier는 2001년 제안된 효과적인 객체 검출 방법[15]으로 눈썹, 눈동자, 입술, 머리카락 등은 영역 간의 밝기 차이가 있으므로 Haar feature를 적용 하기에 적합하다. 이 방법은 검출하고자 하는 얼굴 이미지를 포함한 여러 이미지를 이용해 Haar Cascade Classifier를 학습시켜 얼굴을 검출하는데 OpenCV에서는 얼굴 객체 검출 분류기를 XML 포맷으로 제공한다. 입력되는 이미지가 grayscale 이기 때문에 Haar Cascade Classifier 외에 명소 검출을 위해 68개의 얼굴 특징점을 잡아줄 수 있는 lib 라이브러리[16]를 사용하고, 이 특징점을 이용해 얼굴 영역을 같은 형태와 크기로 정규화하였다. Fig. 1은 Haar Cascade Classifier와 dlib를 이용하여 얼굴의 특징점을 마킹하고, 마킹된 결과를 이용하여 얼굴 객체를 검출하는 과정을 보여준다.

Fig. 1. Face detection using Haar cascade classifiers and dlib

Fig. 2는 원본 이미지와 가우시안 블러(Gaussian blur)를 적용한 이미지를 보여준다. 가우시안 블러는 가우시안 분포를 이용하여 중앙값을 분명하게 하고, 그 이외의 영역을 부드럽게 만들어주는 알고리즘이다.

Fig. 2. Raw, Gaussian blur

또한, Fig. 3과 같이 데이터 증식과 다양한 이미지 분류를 위해 brightness와 darkness를 적용하였으며, 이를 통해 edge detection을 효과적으로 수행하였다[17].

Fig. 3. Brightness, blur + brightness, darkness, blur + darkness

입력되는 이미지에서 얼굴이 정면이 아니거나, 정렬이 부정확할 경우 얼굴인식의 결과를 Fail로 판별할 수 있다. 이와 같은 문제를 해결하기 위해 이미지를 수동으로 잘라 주고 편집할 수 있는 C#을 이용한 전처리 인터페이스를 개발하여 적용하였다.

2. Training for Face Identification

Fig. 4는 본 논문에서 적용한 얼굴 이미지 학습 모델을 보여준다. 얼굴 이미지 학습 모델은 Efficientnet-B0[18]를 사용하였으며, 얼굴 이미지는 네트워크 모델의 입력 크기(224, 224)에 맞춰 Bilinear interpolation을 적용한 후, 이미지 크기를 조절하였다. 사전학습된 가중치는 noise-student를 사용하여 초기화하였으며, 입력채널 크기에 맞도록 grayscale의 이미지를 3채널로 확장하였다.

Fig. 4. Face Image learning Model

Train 데이터는 원본 데이터와 blur 처리한 데이터로 고정하였고, 학습 도중 모델의 일반화를 위해 제너레이터를 사용하여 회전, 이동, 전단 변환, 줌 등의 기능을 사용하였다. Test 데이터는 노이즈가 심한 환경 요소를 고려하여 원본 데이터를 제외한 blur, bright, dark를 적용한 이미지를 사용하였다.

본 논문에서는 학습 속도 향상과 일반화를 위해 transfer learning 기법을 사용하였으며, 기존 모델에 계층 정규화 layer를 추가하였다. 또한, GAP와 dropout을 추가하였으며, 분류기를 72개 class로 수정하였다. 학습 모델에 대한 일반화와 학습 시간 증가를 위해 분류기에 L2-regularization을 적용하였다. 또한, 사전학습된 가중치의 데이터와의 유사성을 향상시키기 위해 전체 모델의 하이퍼 파라미터 튜닝을 진행하며 학습하였다.

3. Data-flow

본 논문에서 제안한 서비스는 비전 기술과 딥러닝을 이용하여 실종자를 찾을 수 있도록 도움을 주는 서비스이다. 사용자가 모바일 인터페이스를 통해 식별하고자 하는 얼굴을 등록하면 얼굴 이미지 전송 지연을 줄이기 위해서 RGB 이미지를 grayscale 이미지로 변환한 후, 서버로 전송한다. 모바일 디바이스에서 전송된 이미지는 학습된 모델을 이용하여 유사도를 판별한 후, 유사도가 높은 후보군 에 대한 이미지와 정보를 사용자 모바일에 전송한다.

Fig. 5는 위에서 기술한 서비스 시나리오에 의한 데이터 흐름을 보여준다.

Fig. 5. Data-flow diagram

IV. System Implementation

1. System composition

Fig. 6은 본 논문에서 구현한 시스템 구조로 범용성을 중시하여 시스템을 구성하였다. Table 2는 본 논문에서 구현한 시스템의 구성과 사양이다.

Fig. 6. Missing person identification-system composition

Table 2. Composition and specifications of system

2. Missing person Identification Process

실종자 식별을 위한 Fig. 7의 절차는 다음과 같다.

Fig. 7. Missing Persons Identification Procedure

Fig. 7-1. Take Identification Image

Fig. 7-2. Image conversion

Fig. 7-3. Extracting and Normalizing Feature Points

Fig. 7-4. Identification accuracy and output of missing-person information

Fig. 7-5. Identification Result Confirmation

• Step. 1: 실종 의심자를 발견한 경우, 모바일 디바이스의 “실종 의심자 촬영” 버튼을 클릭하여 얼굴 이미지를 촬영한다. 이때, 얼굴 이미지는 특징점 추출 및 정규화를 위해 어깨부터 얼굴까지의 범위를 정면 촬영한다.

• Step. 2: 모바일 디바이스에서 촬영한 이미지를 grayscale로 변환한 후, 이미지 전처리를 수행한다. 이미지 전처리에서는 특징점 검출을 쉽게 하도록 히스토그램 균일화(Histogram Equalization)와 HSV(Hue, Saturation, Value) 과정을 수행한다.

• Step. 3: 모바일 디바이스에서 전송된 전처리 이미지를 대상으로 실종 의심자 식별을 위해 얼굴 특징점 검출 및 정규화 과정을 수행한다.

• Step. 4: 정규화된 식별 이미지를 이용하여 기계학습을 통해 학습된 이미지 식별 모델 검증을 수행하고, 정확도가 80% 이상이 도출될 경우, 해당 이미지 클래스와 실종 당시 정보를 JSON 형태로 생성한 후, 모바일 디바이스에 전송한다.

• Step. 5: 수신된 실종자 정보를 모바일 디바이스에 현시하여, 식별 결과를 확인한다.

3. Analysis Result

본 논문에서 구현한 결과를 분석하기 위해 빛과 흔들림에 민감한 실제 환경과 유사하도록 원본 데이터를 제외한 blur, bright, dark를 혼합하여 만든 테스트 데이터로 테스트하였다.

Table 3-a는 랜덤 초기화된 가중치로 학습한 결과이며, Table 3-b는 사전학습된 ‘noisy-student’ 가중치를 사용한 결과이다. 분석된 결과와 같이 원본 데이터와 blur 처리한 데이터를 더해 학습한 성능이 가장 높았다. 사전학습된 가중치(noisy-student)를 사용한 모델은 사용하지 않은 모델보다 성능이 높게 나왔지만, 여전히 분산이 존재는 한계가 있었다. 또한, 모바일에서 Inference Server에 요청 시 모델 로딩 시간은 약 5.44s, 추론 시간은 약 2.88s가 걸렸다.

Table 3-a. Model Accuracy with random weights

Table 3-b. Model Accuracy Pre-trained weights

V. Conclusions

본 논문에서는 비전 기술과 딥러닝 기반으로 실종자를 찾는 방법을 제안하였다. 얼굴인식의 정확도 향상을 위해 이미지 전처리를 이용하여 실종자 얼굴 이미지 데이터를 증식하였으며, 이를 이용해 학습 데이터와 테스트 데이터를 생성하였다. 또한, 실종자 얼굴 이미지 학습을 위해 CNN을 적용하였으며, 모바일 디바이스와의 서비스 연계를 통해 결과를 실시간으로 확인할 수 있는 인터페이스를 구성하였다.

본 논문에서 제안한 방법의 분석 결과, 편향과 분산이 아직 크다는 한계가 드러났지만, 사전 학습된 가중치를 사용하여 성능을 높이고, 다양한 데이터로 학습/테스트를 한 점에서는 얼굴인식 정확도가 향상되는 효과를 보였다. 본 논문에서는 향후, 작은 크기의 얼굴 이미지에서 학습 성능을 개선하기 위해 다양한 크기의 이미지를 end-to-end 방식으로 학습할 수 있는 경량화된 모델을 적용하고, 다양한 각도와 회전, 표정 변화 등 얼굴 이미지 변형에 대한 데이터를 추가해 성능을 개선할 예정이다. 또한, 얼굴 성장예측 모델을 활용해 실종 기간을 고려한 성장한 실종자의 데이터 기반으로 정확한 실종자 확인을 할 수 있는 서비스를 제안할 것이다.