DOI QR코드

DOI QR Code

Performance Analysis of Face Recognition by Distance according to Image Normalization and Face Recognition Algorithm

영상 정규화 및 얼굴인식 알고리즘에 따른 거리별 얼굴인식 성능 분석

  • Received : 2013.05.02
  • Accepted : 2013.08.01
  • Published : 2013.08.31

Abstract

The surveillance system has been developed to be intelligent which can judge and cope by itself using human recognition technique. The existing face recognition is excellent at a short distance but recognition rate is reduced at a long distance. In this paper, we analyze the performance of face recognition according to interpolation and face recognition algorithm in face recognition using the multiple distance face images to training. we use the nearest neighbor, bilinear, bicubic, Lanczos3 interpolations to interpolate face image and PCA and LDA to face recognition. The experimental results show that LDA-based face recognition with bilinear interpolation provides performance in face recognition.

최근 감시시스템은 휴먼인식 기술을 활용하여 스스로 판단하고 대처할 수 있는 지능형으로 발전하고 있다. 기존 얼굴인식 기술은 근거리에서 인식성능이 우수하지만 원거리로 갈수록 인식률이 떨어진다. 본 논문에서는 원거리 휴먼인식을 위해 거리별 얼굴영상을 학습으로 사용한 얼굴인식에서 보간법 및 얼굴인식 알고리즘에 따른 얼굴인식률의 성능을 분석한다. 영상 정규화에는 최근접 이웃, 양선형, 양3차회선, Lanczos3 보간법을 사용하고, 얼굴인식 알고리즘은 PCA와 LDA를 사용한다. 실험결과, 영상 정규화로 양선형 보간법과 얼굴인식 알고리즘으로 LDA를 사용했을 때 우수한 성능을 나타냄을 확인하였다.

Keywords

I. 서론

최근 영상 감시시스템은 휴먼인식을 기반으로 원거리에서 대상을 분석하고 위험을 탐지하는 등 지능형으로 발전하고 있다[1]. 휴먼인식 기술 중 얼굴인식은 비접촉 및 비협조에도 인식이 가능하다는 장점으로 근거리에서부터 원거리까지 다양한 연구가 진행되고 있다[2][3]. 대표적인 얼굴인식 방법에는 얼굴 전체의 통계적인 값을 이용하는 PCA(Principal Component Analysis)와 LDA(Linear Discriminant Analysis) 방법이 있다[4][5].

감시카메라는 사람과 카메라의 거리가 멀어질수록 영상의 화질이 떨어진다. 그래서 기존의 얼굴인식 방법은 근거리(1m~2m)에서 우수한 성능을 보이지만 원거리(3m~5m)로 갈수록 그 성능이 저하된다. 최근에는 원거리에서 고화질의 영상을 취득할 수 있는 고가의 줌 카메라를 이용해 원거리 얼굴인식을 하는 기술이 연구되고 있다[6]. 그러나 설치 및 관리에 많은 비용이 요구되기 때문에 보편적으로 사용하기 어렵다. 그러므로 기존에 설치된 감시카메라 환경에서 동작할 수 있는 원거리 얼굴인식 알고리즘에 대한 연구가 필요하다.

본 논문에서는 거리별 얼굴영상을 학습으로 사용한 얼굴인식에서 보간법 및 얼굴인식 알고리즘에 따른 얼굴인식률의 변화를 분석한다. 학습영상의 구성은 단일 거리 얼굴영상을 사용하는 기존 방법과 다르게 거리별 얼굴영상을 사용하는 방법을 이용한다. 1m~5m의 거리별 얼굴영상의 경우 거리별로 추출된 얼굴영상의 크기가 다르기 때문에 보간법을 사용하여 동일한 얼굴 영상 크기로 정규화하는 과정이 필요하다[7]. 얼굴인식 알고리즘으로는 PCA와 LDA를 사용하고, 유사도 측정 방법은 Euclidean distance 거리척도 방법을 사용한다[8]. 실험결과 양선형 보간법을 사용한 LDA 기반 얼굴인식 성능이 우수함을 확인 하였다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 얼굴인식 기법과 얼굴영상 크기의 정규화에 사용될 보간법을 소개한다. Ⅲ장에서는 원거리 얼굴인식률 분석을 위한 실험 조건 및 얼굴인식 결과를 분석하고, Ⅳ장에서 결론을 맺는다.

II. 배경이론

2.1 얼굴인식

얼굴인식 기술은 크게 기하학적 특징정합 방법과 탬플릿 패턴 정합 방법으로 분류될 수 있다. 최근 얼굴인식 시스템에서 사용되고 있는 템플릿 패턴 정합 방법은 패턴의 전역적인 특성을 고려하는 방법으로 PCA와 LDA가 있다. PCA는 분산까지의 통계적 성질을 이용한 2차 통계적 기법으로, 고차원의 입력 데이터의 차원을 효율적으로 축소하는 데에 주로 사용된다. PCA는 전체 영상의 데이터를 가지고 그것들의 분산이 큰개 몇 개의 고유 방향의 축으로 선형 투영시켜 차원을 줄이는 방법이다. 이 방법은 입력 벡터의 차원이 감소하더라도 입력 데이터의 분포에 대한 정보 유지, 계산상의 부하 감소, 노이즈의 제거, 데이터 압축과 같은 효과를 가진다. LDA는 클래스내의 분산을 나타내는 행렬과 클래스간 분산을 나타내는 행렬의 비율이 최대가 되는 선형 변환법으로 데이터에 대한 특징벡터의 차원을 축소하는 방법이다. 이 변환 방법은 클래스간의 편차는 최대로 해주면서, 집단 내 편차를 최소로하여 데이터를 쉽게 나눌 수 있고, 집단 또한 쉽게 분리 할 수 있는 특징이 있다.

2.2 영상 보간법

영상보간법은 디지털 영상 처리에서 영상을 확대하거나 축소하기위해 사용되고, 대표적인 방법으로는 최근접 이웃 보간법, 양선형 보간법, 양3차회선 보간법, lanczos 보간법 등이 있다.

최근접 이웃 보간법은 출력 픽셀이 생성될 위치에서 가장 가까운 원시 픽셀을 할당하는 방법이다. 이 방법은 처리속도 및 하드웨어 구현이 쉽지만 가장 가까운 픽셀을 할당함으로써 원래의 화상이 크게 변하는 결과를 가져올 수 있다. 양선형 보간법은 단순히 두 점에 의하여 이루어지는 직선을 이용하여 그 사이 값들을 얻어내는 방식이다. 선형 보간법은 적용 가능 범위내의 값들이 선형적으로 변하는 경우에만 좋은 결과를 얻을 수 있지만 처리시간이 빨라 다양한 분야에서 활용되고 있는 보간법이다. 3차회선 보간법은 고차 보간법의 하나이다. 일반적으로 3차회선 보간법은 인접하는 화소 16개를 이용한다. 3차회선 보간법은 선형 보간법보다 더 많은 화소를 참조하므로 보간된 영상의 품질도 우수하지만 이웃 화소를 16개 참조하므로 계산 시간이 더 소요된다는 단점이 있다. Lanczos 알고리즘은 Cornelius Lanczos가 다양한 문제들에 대하여 퓨리에 급수와 체비쇼프 다항식을 사용하는 법을 처음으로 제시한데서 시작되었다. Lanczos 보간법은 sinc 필터를 활용한 윈도우 함수로써 선명도와 앨리어싱의 감소를 고려한 lanczos2 필터와 저주파수를 유지하고 고주파를 차단하는 lanczos3 필터가 있다. lanczos 보간법 또한 양선형 보간법보다 뛰어난 성능을 보이지만, 처리시간이 더 소요되는 단점이 있다.

III. 얼굴인식 알고리즘과 영상개선 방법에 따른 원거리 얼굴인식률 분석

[그림 1]은 얼굴인식 실험 과정 및 얼굴영상 정규화 과정을 나타내고 있다. [그림 1(a)]는 얼굴인식 실험 과정으로 입력영상은 1m~5m에서 추출된 거리별 얼굴영상을 사용한다. 입력된 얼굴영상은 평활화와 보간법을 통해 정규화 되고, PCA 및 LDA 기법을 통해 얼굴인식을 위한 특징을 추출하게 된다. 추출된 특징 정보는 DB에 저장되고 Euclidean distance 유사도 측정법에 의해 얼굴인식에 사용된다.

[그림 1] 원거리 얼굴인식을 위한 얼굴인식 및 영상 정규화 과정

PCA나 LDA 기반 얼굴인식에서는 얼굴영상과 평균 얼굴영상의 차를 이용해야 하기 때문에 정규화를 통해 얼굴인식에 사용되는 영상크기를 동일하게 해야 한다[3]. [그림 1(b)]는 거리별 얼굴영상을 보간법을 이용해 정규화하는 과정을 나타낸다. 본 실험에서는 얼굴영상의 정규화 크기를 50×50으로 했다. 50×50은 1m에서 추출된 얼굴영상의 평균크기이다.

정규화 과정은 다음과 같다. 먼저 학습을 위한 얼굴 영상이 입력되면 입력된 얼굴영상의 크기를 판단한다. 만약 영상의 크기가 50×50이면 다음 단계인 평활화를 하고, 영상의 크기가 50×50보다 작으면 양선형 보간법을 통해 50×50으로 확대 후 평활화 한다. 이 과정을 통해 입력되는 모든 얼굴영상은 50×50의 영상크기로 정규화 된다.

얼굴인식 실험은 표 1에서와 같이 총 10명으로부터 취득한 ETRI 얼굴 DB를 이용한다[9]. 취득된 얼굴 영상은 1m∼5m의 거리변화를 통하여 획득한다. 얼굴인식은 1:1 인증이 아닌 1:N 검색방법으로써 DB 에 저장된 얼굴영상들 중 가장 유사도가 높은 본인 얼굴영상이 Top Rank에 존재할 경우를 인식성공으로 한다. 또한 본 실험에서는 거리에 관계없이 입력영상에서 얼굴이 모두 검출된다는 가정 하에 실험을 진행하고, 얼굴의 틀어짐이나 회전은 고려하지 않는다.

[표 1] ETRI 얼굴 DB

실험조건은 표 2에서와 같이 1m~5m에서 촬영된 영상을 학습영상으로 사용하고, 1인당 학습영상의 수는 거리별로 4장씩 총 20장이다. 검증영상 또한 1m~5m에서 추출된 얼굴영상을 사용한다.

[표 2] 원거리 얼굴인식의 실험조건

* 유사도 측정 방법 : Euclidean Distance

원거리 얼굴인식을 위해 PCA와 LDA 기반에서 실험을 진행하고, 원거리에서 추출된 저해상도 영상을 최근접 이웃, 양선형, 양3차회선, Lanczos3 보간법을 사용해가면서 가장 우수한 조건을 분석한다. 유사도 측정 방법으로는 PCA와 LDA 모두에서 Euclidean Distance 방법을 사용한다.

[그림 2]는 보간법에 따라 입력영상을 정규화 했을때, PCA와 LDA의 얼굴인식률의 변화를 나타낸다. [그림 2(a)]는 최근접 이웃 보간법을 이용해 1m~5m에서 추출된 얼굴영상 크기를 정규화한 후 얼굴인식을 실행한 결과이다. 실험결과 1m~2m의 근거리에서는 PCA와 LDA가 유사한 성능을 보였지만, 3m~5m의 원거리에서는 PCA와 LDA가 각각 61.0%와 70.7%로 LDA가 9.7% 우수한 성능을 보였다.

[그림 2] 보간법에 따른 얼굴인식률

[그림 2(b)]는 양선형 보간법을 이용해 얼굴영상을 정규화한 후 얼굴인식을 실행한 결과이다. 실험결과 근거리에서는 PCA와 LDA가 각각 91.4%와 91.9%로 LDA가 0.5% 우수한 성능을 보였다. 원거리에서는 PCA와 LDA가 각각 64.9%와 75.0%로 LDA가 10.1% 우수한 성능을 보였다.

[그림 2(c)]는 양3차회선 보간법을 이용해 얼굴영상을 정규화한 후 얼굴인식을 실행한 결과이다. 실험 결과 근거리에서는 PCA와 LDA가 각각 92.1%와 88.8%로 PCA가 LDA보다 3.3% 우수한 성능을 보였다. 하지만 원거리에서는 64.8%와 74.8%로 LDA 가 10.0% 우수한 성능을 보였다.

[그림 2(d)]는 Lanczos3 보간법을 이용한 실험 결과이다. 실험결과 근거리에서는 PCA와 LDA가 각각 92.3%와 92.9%로 LDA가 0.1% 우수한 성능을 보였다. 원거리에서는 PCA와 LDA가 각각 64.9%와 73.8%로 LDA가 8.9% 우수한 성능을 보였다. 실험결과 보간법을 사용한 영상 정규화 방법이 1~2m의 경우에는 PCA와 LDA의 얼굴인식률이 유사하였지만, 거리가 멀어질수록 LDA 기반 얼굴인식이 더 우수함을 확인할 수 있었다.

[그림 3]은 보간법에 따른 1m~5m의 평균 얼굴인식률이다. 1m~5m의 거리별 얼굴영상을 학습으로 사용한 경우에는 PCA 기반 얼굴인식에서는 Lanczos3 보간법을 사용했을 때 78.9%, LDA 기반 얼굴인식에서는 양선형 보간법을 사용했을 때 83.44%로 얼굴인식 성능이 가장 우수하였다. 일반적으로 양3차회선이나 lanczos3 보간법을 통해 영상을 개선한 경우에는 양선형 보간법을 사용할 때보다 영상의 객관적 화질이 우수하다. PCA나 LDA를 사용한 얼굴인식에서는 Lanczos3 보간법을 사용한 방법보다 양선형 보간법을 사용한 LDA 기반 얼굴인식이 원거리 얼굴인식에서 유사하거나 더 우수한 성능을 보였다. 즉, LDA 기반 원거리 얼굴인식에서는 보간법의 수행시간이나 계산 복잡도를 고려했을 때, 양선형 보간법을 사용하는 것이 가장 적합한 것으로 생각된다[10].

[그림 3] 보간법에 따른 1m~5m의 평균 얼굴인식률​​​​​​​

IV. 결론

본 논문에서는 다중거리 얼굴영상을 학습영상의 사용한 얼굴인식에서 영상 정규화 및 얼굴인식 알고리즘에 따른 얼굴인식 성능을 분석하였다. 실험결과 얼굴 인식 방법뿐만 아니라 얼굴인식을 위한 영상 정규화 방법에 따라서도 얼굴인식이 변화됨을 확인하였다.

즉, 다중거리 얼굴영상을 사용한 원거리 얼굴인식에서는 거리별 얼굴영상의 영상 정규화를 위해서는 양선형보간법을 사용하는 것이 좋고, 얼굴인식기로는 LDA를 사용하는 것이 거리별 얼굴인식률을 향상 시킬 수 있다. 결과적으로 본 연구를 통해 원거리 감시카메라 환경에는 다중거리 얼굴영상을 이용한 LDA 기반 원거리 얼굴인식이 적합하다고 판단된다.

향후에는 DB의 실험자 수를 늘리고, 다양한 조건의 학습영상의 구성을 통해 원거리 얼굴인식에 적합한 기술을 연구할 것이다.

References

  1. H.M Moon, S.H Chae, D.S. Moon, Y.W. Chung, and S.B. Pan, "Intelligent video surveillance system using two-factor human information," Telecommunication Systems, vol. 2013, no. 52, pp. 2249-2257, July 2011.
  2. Y. Yi, B. Abidi, N.D. Kalka, N. Schmid, and M. Abidi, "High magnification and long distance face recognition: database acquisition, evaluation, and enhancement," Proceedings of 2006 Biometrics Symposium: Special Session on Research at the Biometric Consortium Conference, pp. 1-6. Aug. 2006.
  3. 문해민, 곽근창, 반성범, "감시카메라 시스템에서 PCA에 의한 보간법과 거리별 얼굴인식률 분석,"한국정보보호학회 논문지, 21(6), pp. 153-160. 2011년 12월.
  4. M. Turk and A. Pentland, "Eigenfaces for recognition," Journal of Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991. https://doi.org/10.1162/jocn.1991.3.1.71
  5. P. Belhumeur, J. Hespanha, and D. Kriegman, "Eigenfaces vs. Fisherfaces: recognition using class specific linear projection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 771-720, July 1999.
  6. D. B. Alberto and P. Federico, "Towards on-line saccade planning for high-resolution image sensing," Pattern Recognition Letters, vol. 27, no. 15, pp. 1826-1834, May 2006. https://doi.org/10.1016/j.patrec.2006.02.014
  7. R.C. Gonzalez and R.E. Woods, Digital Image Processing, Prentice Hall, 3rd edition, 2007.
  8. R. D. Richard, E. H. Peter, and G. S. David, Pattern classification, wiley-interscience, 2nd edition, 2000.
  9. D. H. Kim, J. Y. Lee, H. S. Yoon, and E. Y. Cha, "A non-cooperative user authentication system in robot environments," IEEE Transactions on Consumer Electronics, vol. 53, no. 2, pp. 804-810, May 2007. https://doi.org/10.1109/TCE.2007.381763
  10. 문해민, 반성범, "디지털 영상 스케일링을 위한 하이브리드 선형-3차회선 보간법," 2012년도 한국스마트미디어학회 추계학술발표대회 논문집, 1(2), 2012년 12월.

Cited by

  1. An Experimental Study on Crack Recognition Characteristics of Concrete Structure based on Image Analysis according to Illuminance and Measurement Distance vol.14, pp.1, 2014, https://doi.org/10.9798/KOSHAM.2014.14.1.85
  2. The Long Distance Face Recognition using Multiple Distance Face Images Acquired from a Zoom Camera vol.24, pp.6, 2014, https://doi.org/10.13089/JKIISC.2014.24.6.1139
  3. A Scheme for User Authentication using Pupil vol.14, pp.9, 2016, https://doi.org/10.14400/JDC.2016.14.9.325