Quality Assessment of Fingerprint Images and Correlation with Recognition Performance

지문 영상의 품질 평가 및 인식 성능과의 상관성 분석

Abstract

In this paper, we propose a new method to assess fingerprint image quality. In the proposed method, analysis of local variance of image's gray values, local orientation, minutiae density, size and position is applied. Especially by using position information of inputted fingerprint images, partial fingerprint images are filtered and recognition performance is improved. In the experimental results, quality threshold value for improving performance can be decided by analysis of correlation between image quality and recognition rate.

본 논문에서는 지문 영상의 품질을 평가하는 새로운 방법을 제안한다. 제안한 방법은 지문 융선의 분포와 방향성, 특징점의 밀도 뿐 아니라 지문의 크기, 위치 등을 분석하여 지문 영상의 품질을 평가하게 된다. 특히 지문의 입력 위치를 분석하여 한쪽으로 치우치거나 일부만 입력된 지문을 걸러냄으로서 인식 성능을 향상시킬 수 있다. 또한 제안한 품질 평가 방법을 다양한 지문 데이터베이스에 적용하여 지문 영상의 품질과 인식 성능 간의 상관도 분석을 수행하였으며, 이를 통하여 인식 성능 향상을 위한 영상의 품질에 대한 임계값을 결정할 수 있었다.

Ⅰ. 서론

정보통신의 발전이 급속하게 진행되고 이는 가운데 통신망의 발전은 우리 개인의 생활 영역까지 확대되어오고 있으며, 일반적으로 인터넷이라고 하는 공용통신망은, 기존의 현실세계에서 이루어지던 경제적 활동 등을 가상공간에서 자유롭게 할 수 있도록 하는 방향으로 발전하고 있다. 인터넷을 통한 정보■의 교류가 활발해지고 개인의 정확한 인증에 대한 요구가 어느 때보다 커지고 있는 시점에서, 바이오인식은 보편성, 고유성, 영구성을 바탕으로 온라인 뱅킹 등의 전자상거래에서 정보 보안을 실현할 수 있을 뿐만 아니라, 출입통제, 근태관리, 기기의 사용자 제한 등과 같은 물리적 통제와 기겨】가 사용자를 인식함으로써 사용자의 요구에 부합하도록 기계 스스로 대응 할 수 있게 하여 편의와 안전을 제공할 수 있는 기술이다. 바이오인식 기술을 적용함에 있어 가장 중요시 되는 것은 인식성능이라 할 수 있으며, 인식성능은 등록되어 있거나 인증 시 입력되는 개인의 바이오정보의 품질과 매우 밀접한 상관관계가 있다. 즉입력된 바이오정보의 품질이 저하되면 인식성능 역시 저하될 가능성이 매우 높다.

따라서 본 논문에서는 바이오정보 중 지문 인식 분야를 대상으로 하여 품질 평가 알고리즘과 관련 도구의 개발을 통해 지문 정보를 객관적으로 정량화하여 시스템 성능을 최대로 이끌어낼 수 있는 이상적인 방법론을 제시하고자 한다.

본 논문의 구성은 다음과 같다. II장에서는 지문 영상의 품질을 평가하기 위한 방법들을 제시하고, in장에서는 이를 바탕으로 지문 영상의 품질을 평가하여 인식성능과의 상관관계를 알아본다. IV장에서는 제안한 방법을 통해 한국정보보호진흥원이 보유한 지문 데이터베이스의 품질을 평가해본다. 마지막으로 V장에서 결론을 제시한다.

Ⅱ. 지문 영상의 품질 평가 방법

지문인식 시스템의 성능은 입력된 지문 영상의 정보가 불충분하거나 결점 유무에 따라 많은 영향을 받기때문에, 고품질의 영상을 얻기 위해서 입력된 지문 영상의 품질을 평가할 필요가 있다. 본 절에서는 지문 융선의 분포와 방향성, 노이즈 뿐 아니라, 특징점의 밀도와 입력된 지문 영상의 위치, 크기 등을 분석하여 품질을 평가하는 방법을 제시한다.

2.1 분산 스코어(Variance Score)

지문 영상을 8×8 크기의 블록으로 분할한 후 각 블록의 품질값을 종합하여 지문 영상의 품질을 평가한다. 각 블록의 품질값은 해당 블록의 그레이 값의 분산과 방향성 값에 의해 결정되는데[1], 아래 식은 각 블록내의 그레이 값의 분산 값을 이용하여 분산 스코어 %를 계산하는 방법을 나타낸다.

#(1)

#(2)

#(3)

이때, μ(3)浦)는 지문 영상의 그레이 값, 所은 최대분산값을 나타내며 bh와 bw는 블록의 크기이다.

2.2 방향성 계조 구배 분산 스코어(Direction지 Gray Gradient Variance Score)

각 블록의 방향성을 종합하여 지문 영상의 품질을 평가할 수 있다[5]. 아래 식은 각 블록의 방향성을 계산하는 방법을 나타낸다.

#(4)

#(5)

gd°, 血], 処, 卯3은 각 0, 나5, 90, 135도 방향에 대한 기울기 값이며, so, 切는 처리 속도를 향상시키기 위해 정규화된 영상을 1/2로 축소한 영상이다. 卯“服과 卯max 값을 통해 해당 블록의 방향성 과 그 방향에 대한 정확도를 계산할 수 있다. 아래 식은 이를 통해 각 블록의 방향성 스코어 Z*를 계산하는 방법을 나타낸다.

#(6)

2.3 블록 영상 스코어(Block Image Score)

블록별 계산을 통한 지문 영상의 품질값 B는 店와를 평균한 각 블록 스코어들의 합을 전체 지문 영역의 크기로 나누어서 계산할 수 있다.

#

이때, 凡는 배경 영역을 제외한 지문에 해당하는 영역의 블록수를 나타내며 曲와 nw는 가로, 세로 방향으로의 블록의 개수이다.

2.4 노이즈 스코어(Noise Score)

지문 영역 내에 존재하는 노이즈를 검출하여 그 양에 따라서 지문 영상의 품질을 평가할 수 있다. 노이즈 검출을 위해 한 픽셀을 중심으로 마스크의 크기를 다르게 하면서 방향성을 구한다. 이때 방향성 차이가 크게 난다면 그 픽셀을 노이즈로 판단할 수 있으며, 지문 영역 전체에서 노이즈의 양이 적다면 좋은 품질을 가지는 영상으로 평가할 수 있다.

2.5 지문 특징점 밀도 스코어(Minutiae Density Score)

[표 1]에서 특징점의 밀도를 분석하기 위해 임의로 분류한 품질이 좋은 지문 영상들을 사용하여 각 특징점들 간의 거리 분포를 조사하고 분석하였다.

〔표 1 ] 특징점간 간격 분포

- 가로 항은 특징점 수, 세로 항은 픽셀간격을 나타낸다.

이 분석을 통해 반경 20픽셀의 경우 약 90%가 주변에 1개 이내의 특징점을 갖고, 반경 30픽셀의 경우 주변에 3개 이내의 특징점을 갖는 것을 알 수 있으며, 아래의 식을 통해 품질을 측정하는데 이용한다.

#(8)

#(9)

sp는 스코어의 범위를 조절하기 위해 사용되었으며, Ms는 지문 특징점 밀도 스코어를 나타내고 D20과 D30 은 각각 반경20과 30 내에 존재하는 특징점의 개수를 의미한다.

2.6 위치 스코어(Position Score)

지문 입력 시에 개인의 습관에 따라 손가락이 센서의 한쪽으로 치우치거나 또는 손가락을 비스듬히 접촉시켜 지문영상이 기울어지는 경우가 발생한다. 지문의 인식성능은 이러한 지문의 회전과 이동에 많은 영향을 받는다. 예를 들어, 처음 입력 시에는 손가락의 중심을 기준으로 왼쪽 면을 입력하고, 다음에는 오른쪽 면을 입력한다면 두 영상의 품질이 아무리 좋더라도 두 영상을 하나로 매칭 시키기는 어려울 것이다. 따라서 이러한 회전과 이동의 정도를 품질 측정의한 요소로 적용하여야 하며, 이를 위해 지문의 상하, 좌우의 균형도를 측정하여 품질 평가의한 척도로 사용할 수 있다.

#(10)

이때, 。와 S는 가중치 값이며 실험을 통해 "축 방향으로 치우침이 빈번히 발생할 뿐 아니라 인식성능에도 영향을 많이 준다고 판단하여。와 戶 값을 각각 0.6과 0.4로 정하였다. 와 RDX는 지문의 중심영역에서 좌측과 우측 방향으로의 거리, UZ”와 应)X는 상, 하방향으로의 거리를 나타낸다.

2.7 면적 스코어

입력된 지문 영상의 크기를 계산하여 품질 평가의 한 척도로 사용할 수 있다. 같은 크기의 영상이라도 융선사이의 거리가 멀다면 큰 지문 중 일부만이 입력되었다고 보며, 반대로 융선 사이의 거리가 가깝다면 작은 지문 크기의 영상이 입력되었다고 판단하여 실제 특징점을 추출할 수 있는 영역의 크기가 얼마나 되는지를 평가할 수 있다. 많은 특징점을 추출할수록 인식에 유리하므로, 특징점을 추출할 수 있는 영역의 크기가 클수록 그 영상의 품질은 좋다고 할 수 있다.

Ⅲ. 품질, 인식성능 간 상관도 분석

지문 영상의 분산과 방향성을 측정한 블록 영상 스코어와 지문 영상 내의 노이즈를 검출하여 측정한 노이즈스코어, 특징점의 분포를 고려한 특징점 밀도 스코어, 상하, 좌우 균형도를 측정한 위치 스코어, 크기를 측정한 면적 스코어를 종합하여 최종적인 영상의 품질을 평가하고, 위치 스코어가 영상의 품질에 미치는 영향을 기존에 널리 사용되고 있는 품질 측정 방법인 NIST(National Institute of Standard and Technology) Fingerprint Image Quality 방법과 비교하여 분석하였다.

3.1 실험 환경

N사의 지문 데이터베이스를 이용하여 지문 영상의 품질, 인식성능 간 상관도 분석에 대해 실험하였다. 이때 지문 영상의 인식성능은 특징점 기반 방식인 N사의 정합방법을 사용하여 계산하였다. 또한 N사의 지문 데이터베이스는 광학센서로부터 입력받은 600x600 크기의 영상으로 290개의 손가락에 대한 1450장의 영상이 포함되어 있다.

3.2 실험 결과

[그림 1]은 매칭스코어와의 관계를 보여주는 그래프로 X축의 값이 증가할수록 품질이 좋은 영상을 나타내며, 품질값이 높아질수록 매칭스코어가 함께 높아지는 것을 확인할 수 있다. [그림 日에서 (a)블록 영상 스코어, (b)노이즈 스코어, (c)지문 특징점 밀도 스코어는 지문 영상 자체의 품질을 평가한 값이며, (d)면적 스코어와 (e)위치 스코어는 사용자의 습관에 의해 입력 시의 오류를 평가하는 값이라 할 수 있다. 따라서 면적 스코어와 위치 스코어를 결합하여 나머지 스코어들과 가중치합 하여 최종 품질값을 계산하였다.

[그림 1) N사 지문 데이터베이스 실험결과

#(11)

이때, [그림 1]의 결과를 통해 중요도를 판단하여 a에 0.4, 月에 0.1, 丁에 0.1, d에는 0.4의 값을 적용하여 최종적 인 품질값을 계산하였다. [그림 1(g)]에서 파란색 화살표로 표시된 품질값이 60 이상인 영상들은 대부분 높은 매칭스코어를 보였으며, 최종적으로 품질값이 60 이상인 영상은 인식에 사용하기에 적합하다고 판단하였다.

3.3 위치 스코어 분석

지문 영상의 품질을 측정할 때 위치 스코어의 중요성에 대해 분석한다. 위치 스코어를 적용했을 때의 결과 [그림 2]와 사용하지 않았을 때의 결과 [그림 3]을 비교하여 위치 스코어가 지문 영상의 품질에 미치는 영향을 확인할 수 있다. [그림 2]는 위치 스코어를 사용하지 않았을 때의 품질값과 매칭스코어 간의 관계를 나타낸다.

[그림 2) 위치 스코어를 적용하지 않았을 때 품질

[그림 3) 위치 스코어의 영향을 많이 받는 지문 영상

X축 방향으로 약 3/5정도 위치에서의 매칭스코어 약 2000의 영상과 [그림 1(g)]에서 약 1/5정도 위치에서의 매칭스코어 약 2000의 영상은 같은 것이다. 해당 영상을 [그림 3(a)]에 나타내었다. [그림 3]은 같은 손가락에서 획득한 2개의 지문 영상이다. 하지만 (a)영상을 입력시에 위치가 잘못되어 지문 영역의 일부만 획득하여 (b) 영상과는 매칭스코어가 낮게 나와 같은 손가락으로 보기 어려운 결과가 발생한다. 실험에서 위치 스코어를 적용하지 않고 (a)영상의 품질을 평가하였을 때는 75의 품질을 보였지만, 적용하였을 때 57의 품질을 보였다. 즉, (a)영상과 같이 입력 시에 위치가 잘못되어 매칭이 잘 되지 않을 수 있는 지문 영상은 위치 스코어를 이용하여 더 효율적으로 평가할 수 있었다.

또한 NIST Fingerprint Image Quality(NFIQ) 방법의 결과와 비교하여 위치 스코어의 중요성을 분석하였다. NFIQ는 융선의 흐름, 방향성, 컨트라스트 등의 지역적인 분석과 특징점의 정보를 이용하여 지문 영상의 품질을 5단계의 등급으로 나누어 출력한다. 제안한 방법의 결과와 비교하기 위해 NFIQ 방법의 결과를 품질등급과 그_에 해당하는 가중치 값을 이용하여 임의로 0~99사이의 값으로 변환하였다. [그림 4]는 NFIQ 방법의 결과인 영상의 품질 등급과 이의로 변환한 값과의 관계를 나타낸 그래프이다. 파장 형태로 표시된 품질 등급과 직선으로 표시된 변환한 값이 유사한 분포를 가지고 있으며, 이를 통해 품질 등급 대신에 변환한 값을 이용하여 제안한 방법과 결과를 비교하기에 충분하다는 것을 알 수 있다. 위치 스코어의 중요성을 분석하기 위해 [그림 3]의 두 영상의 품질을 NFIQ 방법으로 측정하였다. 이때, (a)의 영상에 대해서는 71, (b)에 영상에 대해서는 79의 품질값이 결과로 나왔다. 이를 통해 NFIQ 방법 역시 입력 시에 위치가 잘못되어 일부만 획득된영상을 분류할 수 없으며, 이로 인해 영상의 품질은 좋지만 인식성능은 낮게 나오는 경우가 발생할 수 있다. 즉, NFIQ 방법은 지역적인 분석과 특정점 분석 등의 지문 영상 자체에 대한 품질만을 평가하였지만, 제안한 방법은 지문 영상 자체에 대한 품질 뿐 아니라 지문의 중심 위치, 크기 등의 센서에 지문을 입력할 시에 발생할 수 있는 오류 또한 평가하였기 때문에 입력 시에 오류가 발생한 영상에 대해서는 각각의 방법으로부터 평가된 품질이 큰 차이를 보였다. 데이터베이스들이 가지는 다양한 특징 때문에 입력 시의 오류를 검사하는 방법의 효과를 실험 결과 그래프에서 직접 확인하기는 어렵지만, 새로운 데이터베이스를 생성하는 과정에서 각 지문 영상에 대한 품질을 평가할 때 이러한 입력 시의 오류를 검사하여 준다면 결과적으로 더 훌륭한 품질의 데이터베이스가 될 것이라는 것은 자명한 사실이다.

[그림 4〕NFIQ 품질 등급과 임의로 정한 값 사이의 관계

Ⅳ. KISA 데이터베이스 평가

본 절에서는 제안한 품질 평가 방법을 이용하여 한국정보보호진흥원(KISA)가 보유한 지문 영상 데이터베이스의 품질을 평가하였다.

[그림 5]는 센서A, 센서 B, 센서 C, 센서。, 센서 E, 센세7, 센서G로부터 수집한 데이터베이스에 대한 매칭스코어와 품질 간 관계분포와 품질에 따른 히스토그램을 나타낸다.

[그림 5〕DB의 관계분포와 히스토그램

관계분포_의 가로축은 영상의 품질, 세로축은 매칭스코어를 나타낸다. 히스토그램은 오른쪽으로 갈수록 품질이 높은 영상의 숫자를 표시한다. 즉, 맨 왼쪽의 막대는 0~10 사이의 품질을 가지는 영상의 숫자이며, 오른쪽으로 갈수록 품질 단위는 10씩 증가한다. 관계분포 그림에서 각 센서로부터 입력받은 영상의 품질이 좋아질수록 매칭스코어가 높아지는 분포를 비교적 잘 나타내고 있다. 특히 품질(가로축)이 좋은 영상들만 보았을 때 그 분포를 더욱 잘 나타내고 있음을 확인할 수 있다. (b)센서B의 경우 품질이 낮은 영상보다 높은 영상에서 매칭스코어가 높게 나타나기는 하지만, 반대로 매칭스코어가 낮게 나타나는 경우도 많아 전체적으로 인식에 사용하기에 좋은 데이터베이스라고 말하기 어렵다. 센서 C로부터 입력받은 영상의 경우 임계값이 50 이상만 되어도 인식에 사용할 수 있을 정도의 결과를 보였으며, 또 많은 수의 영상이 50~60 사이의 품질 범위에 속해 있었다. 센세)와 센서F 로부터 입력받은 영상의 경우 품질 값에 관계없이 매칭스코어가 고르게 분포되어 있는 모습을 보였지만, 임계값 60을 기준으로 영상들을 나누어 비교해보면 임계값 이상에서 품질이 좋아질수록 매칭스코어가 높게 나타나는 좋은 분포가 더 뚜렷이 형성됨을 볼 수 있었다. (g)센서G로부터 입력받은 영상의 결과에서도 품질이 좋으면서 매칭스코어가 낮은 영상이 일부 나타나지만 (b)의 경우처럼 그 수가 많지 않아 전체로 봤을 때 인식에 사용해도 좋은 데이터베이스라고 판단할 수 있다.

[표 2]는 임계값에 따른 각 센서별 EER값을 나타내다. TH숫자로 표시된 항목은 숫자 이상의 품질을 가지는 영상들에 대한 결과를 가리킨다.

〔표 2 ] 임계값에 따른 3차 DB의 각 센人」별 EER

센서A로부터 입력받은 영상에서는 품질값 60 이상인 영상들에 대한 EER값이 가장 낮았으며, [그림 5(a)]의 분포를 함께 고려했을 때 임계값을 60으로 정할 수 있다. 센서 B로부터 입력받은 영상에서는 품질 값 70 이상인 영상들에 대한 EER값이 가장 낮았으나, [그림 5(b)]의 분포를 함께 고려했을 때 임계값을 80으로 정할 수 있다, 이렇게 각 센서에 대한 임계값을 정하여 해당되는 곳에는 [표 2]에서 밑줄로 나타내었다. 즉, 밑줄이 쳐진 부분 이상의 영상들은 인식에 사용하기에 충분히 좋은 영상이라 할 수 있다.

Ⅴ. 결론

본 논문에서는 지문 영상의 품질을 평가하는 새로운 방법을 제안하였다. 제안된 방법은 지문 융선의 분포와 방향성, 특징점의 밀도 뿐 아니라, 입력된 지문의 크기와 위치에 대한 스코어를 정의하여 지문 입력 시에 발생할 수 있는 사용자의 습관에 의한 영상의 품질 저하요인까지 평가하였다. 실험을 통해 위치 스코어의 유효성을 확인하였으며, 여러 데이터베이스에 대한 품질과 인식 성능간의 상관도 분석 및 영상 품질의 임계값 선정을 수행하였다. 향후에는 이기종 지문센서 호환을 위한 표준기술을 적용하여 여러 데이터베이스에 대한 더 정확한 평가를 할 수 있도록 연구를 진행할 것이다.

* 본 연구는 한국정보통신기술협회의 “정보보호기반 및 바이오인식 표준개발(200&P1-274)6J40)” 사업의 연구결과로 수행되었습니다.