1. 서 론
지문, 홍채, 정맥, 음성, 얼굴 등 개인의 독특한 신체적 특징을 이용해 개개인을 식별하는 생체 인식 기술은 열쇠나 비밀번호처럼 타인의 도용이나 복제에 의하여 이용될 수 없을 뿐만 아니라, 변경되거나 분실할 위험성이 없어, 보안 분야에 활용도가 뛰어나 네트워크 및 금융 서비스 등 많은 분야에서 사용되고 있다. 이밖에도 2∼3개의 인식방법을 함께 사용해 각 인식방법의 단점을 보완하고 정확도를 높이는 다중생체인식 또한 개발되고 있다. 그 중 얼굴인식의 경우 사람이 눈을 통하여 사람을 보고, 그가 누구인지를 인식해 가는 과정과 닮아있어 사람에게 가장 익숙하고 열쇠나 주민등록증과 같은 물품을 가지고 다니지 않아도 신원을 확인 할 수 있어 번거롭지 않고 또한 지문 인식처럼 특정 물건에 접촉할 필요가 없어 위생적이다. 그러나 주위 조명의 변화 또는 모자나 마스크 등의 장애물 요소에 의해 영향을 많이 받아 매우 다른 영상으로 표현되기 때문에 인식 성능 저하의 문제점으로 나타난다. 본 논문에서는 조명 변화의 영향에 의해 인식 성능 저하를 개선하기 위해 좌우대칭 평균화 기법을 이용한 전처리 과정을 수행한다. 이 과정을 마친 mirror이미지를 그대로 인식에 사용할 경우 인식 성능 및 속도의 저하가 발생될 수 있다. 따라서 고차원의 영상의 특징을 최대한 유지하면서 저차원으로 변환하기 위해 2차원의 이미지 그대로 행과 열 양쪽 방향에서 차원을 축소하는 (2D)2PCA(2Directional 2Dimensional Principal Component Analysis)과정을 거친다. 이렇게 얻은 저차원의 영상을 다항식 기반 방사형 기저 함수 신경 회로망(RBFNNs : Radial Basis Function Neural Network) 패턴 분류기의 입력으로 사용하여 성능을 확인한다. 기존 RBFNNs 패턴 분류기를 확장한 다항식 기반 RBFNNs 패턴분류기는 FCM(Fuzzy C-Means)알고리즘을 통해 조건부 가우시안 함수의 형태를 표현하여 패턴분류기의 전반부 구조 동정을 수행한다. 상수항이었던 연결가중치의 값은 상수항에서 일차식, 이차식, 변형된 이차식과 같은 3가지 다항식의 형태로 확장하여 후반부 구조 동정을 수행하며, 이와 같은 다항식 형태의 연결가중치를 사용함으로서 퍼지 규칙과 같은 언어적 관점에서의 해석이 가능해졌다. 후반부 파라미터 동정은 각 규칙에 대한 파라미터를 독립적으로 구하는 가중 최소 자승법(WLSE : Weighted Least Square Estimation) 사용하였다. 빠른 학습 속도와 높은 인식 성능을 위하여 입자 군집 최적화(PSO : Particle Swarm Optimization) 알고리즘을 이용하여 RBFNNs 패턴분류기의 퍼지화 계수와 규칙의 개수를 선택해 주었다. 실험에 사용한 얼굴 데이터는 다양한 조명 변화를 고려하여 구축한 YaleB 데이터 베이스를 이용하였다, YaleB는 수평 방향인 방위각(degrees azimuth)과 수직 방향인 수평각(degrees elevation)으로 조명의 위치를 구분하여 다양한 조명 조건하에 구축된 38명의 얼굴 이미지이다. 또한 인식 성능의 통계적 신뢰도를 높이기 위해 K-묶음 교차 검증법(K-Fold Cross Validation)을 사용하여 각 이미지가 학습, 검증, 테스트에 한번 씩 쓰일 수 있도록 K개의 모델을 구성하였다. 실험 방법은 조명 변화에 따라 Case별로 나눈 이미지를 학습, 검증, 테스트 이미지로 나누어서 사용하는 경우와 각 Case의 이미지를 학습, 검증, 테스트 이미지로 나누고 선택된 각 Case의 학습, 검증, 테스트 이미지들 끼리 모두 합하여 사용하는 경우이다. 이렇게 두 가지의 실험 방법에 대해 원본 이미지 그대로 사용한 경우, 히스토그램 평활화를 사용한 경우, 평균화 기법을 사용한 경우, 평균화 기법을 하고 히스토그램 평활화를 같이 사용한 경우의 인식 성능을 확인하고 비교해 본다.
본 논문 2장에서는 다항식 기반 RBFNNs 패턴분류기의 입력으로 사용하기 위한 데이터의 전처리에 대하여 설명한다. 3장에서는 인식 성능 확인을 위한 다항식 기반 RBFNNs 패턴 분류기에 대하여 설명하며, 4장에서 최적화 알고리즘을 통해 패턴분류기의 구조 설계를 위한 파라미터 최적화에 대하여 설명한다. 5장에서 실험에 사용한 파라미터 및 각 실험 결과에 대하여 설명하고, 마지막 6장에서 결론에 대하여 설명한다.
2. 2차원 이미지의 전처리 과정
본 장에서는 2차원 얼굴인식의 단점인 조명 변화에 대한 인식률의 저하를 막기 위해 쓰이는 기법인 히스토그램 평활화, 평균화 기법에 대해 설명하고 RBFNNs 패턴 분류기의 입력으로 사용하기 위해 고차원의 이미지 정보를 유지하며 저차원의 특징 데이터로 변환하는 (2D)2PCA에 대해 설명한다. 먼저 아래 그림 1은 본 논문에서 제안한 얼굴 인식 시스템 흐름도이다.
그림 12차원 얼굴인식의 절차 Fig. 1 Procedure of the 2D face recognition.
2.1 히스토그램 평활화
2차원 이미지에서는 인공조명과 자연조명이 포함되어 조명광의 세기에 의해서 영상의 식별에 어려움을 주는 경우가 발생할 수 있다. 따라서 2차원 이미지를 이용하는 얼굴인식에 있어서 자연광과 인공조명의 변화에 따른 이미지의 명암도 변화는 얼굴 인식을 수행함에 있어 인식 성능의 저하가 발생한다. 이와 같은 2차원 얼굴인식의 단점을 보완하기 기존에는 히스토그램 평활화를 많이 사용하였다. 히스토그램 평활화의 목적은 일정한 명암 값의 분포를 균일하게 해주는 것으로 한 쪽으로 치우친 히스토그램을 재분배 과정을 거쳐 일정한 분포를 가지도록 만드는 알고리즘으로 과정은 다음과 같다. 그림 2는 히스토그램을 마치고 나온 이미지를 보여준다.
[Step 1] 입력영상의 히스토그램을 생성한다.
[Step 2] 식 1을 이용하여 히스토그램의 정규화 및 누적합을 계산한다. 여기서 G는 영상의 밝기, N은 영상의 크기 H(i)는 정규화 누적값, h(i)는 보정 값이다.
[Step 3] 입력영상의 화소 위치에 새로운 출력 매핑
그림 2히스토그램 평활화 이미지의 예 Fig. 2 Example of histogram equalized image
2.2 좌우대칭 평균화 기법
기존에 쓰이던 히스토그램 평활화 기법은 부분적으로 명암 왜곡 현상이 있을 경우 이를 제대로 보정해 주지 못하는 단점이 있다. 이를 보완하기 위해 부분적으로 명암 왜곡 현상이 있는 얼굴 영상에 대해 Mirror영상을 생성하는 좌우대칭 평균화 기법[3, 4]을 제안 한다. 평균화 기법이란 얼굴 영상의 중심을 기준으로 좌우 얼굴 영상에 대한 명암값 차를 구하고 밝은 쪽 부분을 대칭시켜 Mirror이미지를 생성하는 방법을 말한다. 먼저 얼굴은 포즈의 변화가 거의 없을 경우, 좌우가 대칭성을 가지고 있다. 따라서, 조명이 얼굴 전면에 일정하게 적용되면, 얼굴을 중심으로 좌측 부분과 우측부분이 거의 동일한 명암값을 갖게 된다. 그러나, 약간의 포즈 변화가 있을 경우 눈과 입과 같이 특정 부분의 명암값의 차이가 전체 얼굴의 명암값 차이로 인식될 수 있다. 약간의 포즈 변화에 대한 명암값의 차이를 극복할 수 있는 방법으로서, 일정 블록(6화소×6화소)의 평균 명암값으로 좌우 얼굴의 명암값을 비교한다. 즉, 36개 픽셀을 평균 내어 얼굴 영상의 좌측과 우측의 블록 평균값으로 좌우 명암값을 구한다.
그림 3은 얼굴의 좌우 구분과 명암값 비교를 위한 좌우 블록의 예를 보여준다. 얼굴의 좌측과 우측 블록의 평균 명암값을 비교하여 그 차이가 20이상인 경우의 블록 개수를 세어 만약 90개 이상일 경우, 얼굴 영상의 좌우 명암 차이가 큰 이미지로 간주한다. 이는 조명에 의한 음영이 얼굴 전체에서 약 10%이상이 발생한 경우를 의미한다. 즉, 168×192크기의 Yale B 얼굴 이미지를 6×6블록으로 재구성하여 28×32크기의 평균 명암값으로 구성된 그림 4와 같은 음영 비교 영상을 만든다.
그림 3얼굴의 좌우 명암 Fig. 3 Brightness of left and right of face
그림 4음영을 비교하기 위한 이미지 Fig. 4 Image for comparing shade
그 후 좌우 평균 명암값을 비교하여 20이상 차이 나는 블록의 개수를 세어 그 개수가 임계값 이상일 경우 그림 5와 같은 Mirror이미지를 만든다. 896화소(28×32)의 약 10%인 90을 Mirror이미지를 생성하는 임계값으로 사용하였다.
그림 5mirror 이미지의 예 Fig. 5 Example of mirror image
2.3 차원 축소 알고리즘
평균화 기법을 마친 2차원의 이미지인 Mirror이미지를 1차원의 벡터로 바꾸어 그대로 패턴 분류기의 입력으로 사용하였을 경우 많은 입력수로 인해 인식 속도가 저하되고 잡음 특징들 까지 포함되어있어 인식률의 저하를 보인다. 이러한 문제를 해결하기 위해 고차원의 데이터 정보를 유지하며 저차원으로 차원을 축소하는 차원 축소 알고리즘인 (2D)2PCA[2, 3]를 사용한다. 기존의 PCA[11]는 2차원의 이미지를 1차원 벡터로 바꾸어 공분산 행렬을 만들기 때문에 공분산 행렬의 크기가 커져 계산속도가 느리다. 그러나 (2D)2PCA는 2차원 영상을 1차원 벡터로 바꾸지 않고 그대로 행과 열 방향에서 차원을 축소하여 공분산 행렬을 두 번 계산하지만 행렬의 크기가 크지 않아 계산속도가 빠르다. (2D)2PCA의 수행과정은 아래와 같다.
[Step 1] 학습 이미지 M개, n번째 학습이미지 , 학습이미지의 평균 이미지를 로 나타낸다.
[Step 2] 학습 이미지 열의 공분산 행렬 RGt는 다음의 식 (2)과 같다.
[Step 3] 고유치 분석을 통해 의 고유값 과 이에 대응하는 고유벡터 을 계산한다.
[Step 4] [Step 3]에서 구한 고유값 에 대해 고유값이 큰 순서대로 d개의 고유치 를 선택, 선택한 고유값에 대응되는 고유벡터를 가지는 변환행렬 을 생성
[Step 5] 행의 공분산 행렬 은 다음의 식(4)과 같다.
[Step 6] 고유치 분석을 통해 의 고유 값 과 이에 대응하는 고유벡터 을 계산한다.
[Step 7] [Step 6]에서 구한 고유값 에 대해 고유값이 큰 순서대로 d개의 고유치 를 선택, 선택한 고유값의 대응되는 고유벡터를 가지는 변환행렬 을 생성
[Step 8] d만큼 차원을 줄인 벡터 와 가지고 실제 인식을 하기 위한 전체 이미지를 얻는 식은 다음과 같다.
3. 다항식 기반 RBFNNs 패턴분류기의 구조 및 학습방법
본 장에서는 얼굴인식을 위한 다항식 기반 RBFNNs 패턴분류기의 전체적인 구조에 대해 설명하고, 전반부에서 규칙에 대한 적합도를 구할 때 쓰이는 FCM 클러스터링에 대해 설명한다. 그리고 후반부에서 선택되어진 다항식의 파라미터를 동정할 때 쓰이는 가중 최소 자승법에 대해 설명한다.
3.1 다항식 기반 RBFNNs 패턴분류기의 구조
신경회로망은 주어진 패턴의 반복 학습을 통하여 스스로 지식을 획득할 뿐만 아니라 규칙이 알려지지 않은 상황에서의 패턴과 특성을 발견하기 위해 대량의 데이터를 분석할 수 있는 능력을 가진다. 구성으로는 입력층, 은닉층, 출력층으로 구성되며 각 층을 구성하는 기본적인 요소는 크게 신경소자인 뉴런과 연결 두 가지 이다. RBFNNs 패턴분류기는 신경회로망의 구조를 기반으로 기능적 모듈로서 조건부, 결론부, 추론부로 나뉜다. 조건부에서 각각의 규칙들은 가우시안과 같은 방사형 기저 함수를 활성함수로 갖는다. 조건부에서 활성함수로 변환된 각각의 규칙마다의 적합도는 연결가중치 값과 곱해져 출력층의 최종 출력으로 얻어지며, 이때 연결가중치의 값은 상수, 1차식, 2차식, 변형된 2차식을 사용한다[12].
그림 6실험에 사용한 다항식 기반 RBFNNs 패턴분류기의 전체 구조 Fig. 6 Overall architecture of polynomial-based RBFNNs pattern classifier used at experiment
본 논문에서 사용한 다항식 기반 RBFNNs 패턴분류기는 기존의 RBFNNs과 비교하였을 때 마찬가지로 기능적 모듈로서 조건부, 추론부, 결론부로 나뉜다. 또한 기존의 조건부의 활성함수로 사용하였던 가우시안 함수 대신 FCM(Fuzzy C-Means) 클러스터링 알고리즘을 사용하여 각 규칙에 대한 적합도를 구한다. 또한 결론부의 연결가중치를 상수, 1차식, 2차식, 변형된 2차식 중에서 1차식을 사용한다. 사용하는 다항식의 계수는 가중 최소 자승법(WLSE)을 사용하여 추정한다. 또한 다항식 형태의 연결가중치를 사용함으로서 아래 식의 퍼지 규칙 표현과 같은 언어적 관점에서의 해석이 가능해졌다.
모델의 출력은 아래 식에 의해 구해진다.
3.2 전반부 동정 과정 : FCM (Fuzzy C-Means) 클러스터링
RBFNNs 패턴분류기의 전반부에서 규칙에 대한 적합도를 구하기 위하여 FCM 클러스터링[5, 14] 알고리즘을 사용하였다. FCM(Fuzzy C-Means) 클러스터링 알고리즘은 비슷한 패턴, 속성, 형태 등의 기준을 통해 데이터를 분류하는 알고리즘으로, 데이터와 각 클러스터 중심과의 거리를 기준으로 소속정도를 0과1 사이의 값으로 표현하여 데이터를 분류한다. 이 때 데이터들의 각 클러스터에 대한 소속정도가 가우시안 함수의 형태를 띠어 소속 함수를 바로 규칙에 대한 적합도로 사용한다. FCM 클러스터링 순서는 아래 단계를 통해 수행된다.
[Step 1] 클러스터의 개수, 퍼지화 계수를 선택하고 소속함수 U(r)를 초기화 한다.
[Step 2] 각 클러스터에 대한 중심 벡터를 구한다.
[Step 3] 중심과 데이터와의 거리를 계산하며, 이를 통해 새로운 소속함수U(r+1)를 계산한다.
[Step 4] 오차가 허용범위 안에 도달하면 알고리즘을 종료하고, 그렇지 않으면 [Step 2]로 돌아간다.
3.3 후반부 파라미터 동정 : 가중 최소 자승법 (Weighted Least Square Estimation)
기존 퍼지 추론 시스템에서는 후반부 파라미터 동정 시 주로 각 규칙에 파라미터를 동시에 구하는 전역학습 방법인 Least Square Estimation(LSE)를 주로 사용하였다. 이로 인해 퍼지 규칙수가 많거나, 입력이 많은 경우에는 찾고자 하는 파라미터들이 늘어나서 연산시간이 오래 걸리고 오차제곱의 합이 최소가 되도록 다항식의 계수를 추정하기 때문에 데이터에 따라 규칙수가 많아질수록 근사화 성능(PI)은 좋아지나 일반화 성능(EPI)은 발산하는 단점이 있다. 본 논문에서는 이를 보완하기 위해 WLSE(Weighted Least Square Estimation)[13]를 사용하였다. WLSE는 오차제곱에 가중치를 곱하여 그 합이 최소가 되도록 다항식의 계수를 추정하고 각 규칙에 대한 파라미터를 독립적으로 구하는 지역학습 방법으로써 일반화 성능(EPI)의 발산을 방지한다[8]. WLSE에서의 성능 평가함수를 행렬식으로 표현하면 아래 식과 같다.
여기서 aj는 추정하고자 하는 j번째 다항식의 계수, Y는 출력데이터, Uj는 j번째 입력공간에 대한 입력 데이터들의 소속 값을 의미한다. Xj 는 j번째 로컬모델의 계수를 추정하기 위한 입력데이터 행렬을 의미하며 로컬모델이 Linear일 경우 다음과 같이 정의된다.
여기서 m은 데이터의 수이며, j번째 규칙에 대한 로컬모델인 다항식의 계수는 식 16에 의해 구해진다.
위와 같이 설계된 다항식 기반 RBFNNs 패턴분류기는 다차원 입, 출력 문제 해결이 용이하며, 네트워크 특성이 강인하고, 예측 능력이 뛰어나다는 장점을 지니고 있다.
4. 최적화된 RBFNNs패턴분류기의 설계
4.1 입자군집 최적화 알고리즘(Particle Swarm Optimization)
다항식 기반 RBFNNs 패턴분류기를 통해 인식을 수행하는 과정에서 학습 속도와 성능을 보다 효율적으로 하기 위해서는 인식에 사용되는 파라미터의 최적화가 필요하다. 본 논문에서는 입자 군집 최적화(PSO)[1] 알고리즘을 통해 파라미터의 최적화를 수행하였으며, PSO알고리즘은 병렬처리 특성을 가져 탐색 능력의 향상과 전역극소점으로의 빠른 접근을 보여준다. 군집과 개체는 Swarm과 Particle로 표현되고 PSO의 각Particle은 최적의 해를 얻기 위해 이전에 경험했던 최적의 위치정보를 기억하며 자신과 이웃의 경험에 대한 정보를 이용하여 초기 세대에는 높은 관성 하중 값에 의해 전역 탐색을 하다 후기 세대에는 낮은 관성 하중 값에 의해 지역 탐색을 하며 최적의 위치로 이동해 간다. 그리고 짧은 계산시간 안에 최적의 해를 찾고 다른 확률적 방법보다 안정적인 수렴특징을 나타내고 있다.
[Step 1] n개의 Particle을 탐색 공간 내에서 램덤하게 생성하고 마찬가지로 초기 Particle velocity를 [− Vkmax, Vkmax] 내에서 랜덤하게 생성
[Step 2] 초기 Particle을 pbast로 선정하며, 그 중 최적의 값은 다시 gbast로 선정
[Step 3] 아래 식을 통해 관성하중 값을 계산하며, 관성하중 값을 근거로 하여 j번째 Particle velocity를 계산
[Step 4] Particle velocity를 바탕으로 Particle의 위치정보를 수정
[Step 5] 각 Particle의 적합도와 pbast의 적합도를 비교하여 재설정하고, 최적해의 pbast와 gbast를 비교하여 재설정
[Step 6] 종료조건이 만족할 때까지 탐색을 계속하며, 최종적으로 최적의 위치정보를 가지는 gbast가 생성
위 최적화 알고리즘을 이용하여 본 논문에서의 RBFNNs 패턴 분류기 조건부에 쓰이는 FCM알고리즘의 퍼지화 계수, 그리고 규칙의 개수를 최적화 시켰다.
4.2 최적화된 다항식 기반 RBFNNs 패턴분류기의 설계
최적화 알고리즘인 입자 군집 최적화(PSO) 알고리즘을 이용하여 실험에 사용되는 RBFNNs 패턴분류기[14]의 파라미터를 최적화를 하였으며, 제안된 패턴분류기는 다음 단계를 거쳐 설계된다.
[Step 1] Yale B 데이터 베이스를 Case별로 구성 조명 변화의 정도를 고려하여 Case별로 분할, Case1의 경우 조명의 방위각 또는 수평각이 0°∼30°일 때, Case2는 31°∼50°일 때, Case3은 51°∼85°로 구성
[Step 2] Case별 이미지는 인식 성능의 통계적 신뢰도를 높이기 위해 수 K-fold Validation을 이용하여 각 각의 이미지가 학습, 검증, 테스트에 한 번씩 쓰일 수 있도록 분할
[Step 3] 입자군집 최적화 알고리즘을 통해 RBFNNs 패턴분류기의 파라미터 최적화를 수행
[Step 3-1] 첫 번째 파라미터인 퍼지화 계수를 최적화 파라미터의 탐색 범위는 2에서 3까지이며, 랜덤하게 나온 값을 사용
[Step 3-2] 마지막 파라미터인 규칙의 개수를 최적화 RBFNNs 패턴분류기 규칙의 개수를 최적화 하며, 탐색 범위는 2에서 10사이로 설정, 선택된 값을 반올림을 하여 사용
[Step 4] 다항식 기반 RBFNNs 패턴분류기를 이용하여 학습, 검증, 테스트 데이터의 인식 성능을 평가, 인식 성능 및 목적 함수는 아래 식을 이용하여 산출
[Step 5] [Step 3]와 [Step 4]를 반복하며 최적화 알고리즘을 이용하여 파라미터의 최적화를 수행하고, 인식 성능을 확인
그림 7은 다항식 기반 RBFNNs 패턴분류기의 파라미터 최적화를 수행하는 과정을 보여준다. 전반부 FCM 알고리즘의 퍼지화 계수와 규칙의 개수를 최적화 알고리즘을 통해 선택하였다. 퍼지화 계수는 PSO를 통해 선택된 값을 그대로 사용하고 규칙의 개수는 정수화하여 사용한다.
그림 7최적화된 다항식 기반 RBFNNs 패턴분류기의 구조 설계 Fig. 7 Design of optimized polynomial-based RBFNNs pattern classifier
5. 실험 및 결과고찰
5.1 실험의 전체 개요
본 논문의 실험 과정으로는 전처리 과정으로 좌우대칭 평균화 기법을 사용하였고 고차원의 데이터 정보를 유지하며 차원을 줄이기 위해 (2D)2PCA를 사용하였다. 다음과 같은 전처리를 마치고 나온 저차원의 데이터를 최적화된 다항식 기반 RBFNNs[9][10] 패턴 분류기의 입력으로 사용하여 실험하였다.
표 1각각의 Case별 데이터 이미지 Table 1 In each case data images
실험에 사용한 얼굴 영상은 다양한 조명변화 환경에서 구축된 Yale B 공인 데이터 베이스를 이용하여 실험하였고, 데이터 구성은 아래 그림과 같이 조명 변화의 정도를 고려하여 case별로 나누었다. case1의 경우는 방위각 또는 수평각이 0°∼30°일 때의 이미지이고 한 사람당 19장씩 38명이 있어 총 722개의 이미지로 구성되어있고 Case2는 방위각 또는 수평각이 31°∼50°일 때의 이미지이고 한 사람당 14장씩 38명이 있어 총 532개의 이미지로 구성되어있다. Case3의 경우는 방위각 또는 수평각이 51°∼85°이고 한 사람당 16장씩 38명이 있어 총608장의 이미지로 구성되어있다. 또한 효율적인 학습을 위한 파라미터의 탐색 범위 및 최적화 알고리즘의 파라미터는 표 2와 같이 설정하였다.
표 2최적화 파라미터의 설정 및 파라미터의 탐색 범위 Table 2 Setting of initial optimization parameters and search range of parameters
5.1.1 실험 방법 1
각 Case별로 제안된 방법과 원본 이미지 그대로 사용한 방법, 히스토그램을 사용한 방법, 히스토그램과 평균화 기법을 함께 사용한 방법의 인식률을 비교해본다. 또한 패턴 분류기 성능의 통계적 신뢰도를 높이기 위해 K-묶음 교차 검증법(K-Fold Cross Validation)을 사용하였고 실험데이터는 5-fold cross validation을 이용하여 아래 표와 같이 이미지가 학습, 검증, 테스트에 한 번씩 쓰일 수 있도록 5개의 모델을 구성하였다. 그리고 각 모델에서 얻은 성능의 평균을 최종 인식률로 정한다. 입력의 개수는 7×7크기의 저차원 특징데이터로 변환하여 총 49개를 사용한다. 표 3은 각 실험 방법1의 학습, 검증, 테스트 이미지 비율을 보여준다.
표 35-묶음 교차 검증법을 위한 데이터의 분할 Table 3 Split dataset for 5-fold cross validation
5.1.2 실험 방법 2
두 번째 실험 방법으로는 학습, 검증, 테스트로 사용할 이미지에 다양한 조명의 변화가 있는 이미를 고려하여 사용하기 위해 각 Case의 이미지를 학습, 검증, 테스트 이미지로 나누고 선택된 각 Case의 학습, 검증 테스트 이미지들 끼리 모두 합하여 RBFNNs 패턴분류기를 통해 인식 성능을 확인한다. 학습에 사용된 이미지의 총 수는 874장, 검증에 사용된 이미지는 570장, 테스트에 사용된 이미지는 418장을 사용하였다. 그리고 실험 방법 1과 마찬가지로 인식 성능은 5-fold cross validation을 통해 나온 각 모델 인식률의 평균을 최종 인식률로 정하고. 최적화 알고리즘을 사용하여 최적의 퍼지화 계수 값과 규칙의 개수를 구한다. 표 4는 각 실험 방법2의 학습, 검증, 테스트 이미지 비율을 보여준다.
표 45-묶음 교차 검증법을 위한 데이터의 분할 Table 4 Split dataset for 5-fold cross validation
5.2 각 실험 방법들의 결과
학습, 검증, 테스트에 사용하는 이미지를 바꾸면서 두 가지의 실험 방법으로 실험해 본 결과이다. 두 가지 실험 모두 5-fold cross validation을 사용하여 각 모델에서 나온 인식률의 평균을 최종 인식률로 정한다. 또한 최적화 알고리즘을 사용하여 최적의 퍼지화 계수 값과 규칙의 개수를 구한다. 첫 번째 실험 방법은 각 Case에서 학습, 검증, 테스트 이미지를 나누어 실험하고, 두 번째 실험 방법으로는 각 Case의 이미지를 학습, 검증, 테스트 이미지로 나누고 선택된 각 Case의 학습, 검증 테스트 이미지들끼리 모두 합하여 인식 성능을 확인한다.
5.2.1 실험 방법 1의 결과
Case별로 원본 이미지를 그대로 쓴 경우, 히스토그램 평활화 방법을 쓴 경우, 평균화 기법을 쓴 경우, 평균화 기법과 히스토그램 평활화 방법을 같이 사용한 경우의 이미지를 다항식 기반 RBFNNs 패턴분류기를 사용하여 인식 성능을 확인하였다.
표 5는 조명 변화의 환경에서 실험을 진행하기 위해 각 Case로 나눈 이미지의 인식 성능과 PSO를 사용하여 선택되어진 퍼지화 계수 값과 규칙의 개수를 보여준다.
표 5※ OI:Original image, HE:Histogram equalized, AM:Average method FC:Fuzzification coefficient, BP:Brightness preprocessing
그림 8은 case1부터 3까지의 학습, 검증, 테스트 인식 성능을 그래프로 나타낸 것이다. Case1은 조명 변화가 거의 없기 때문에 검증 및 테스트의 이미지가 학습에 쓰이는 이미지와 비슷한 이미지이다. 그 결과 검증 및 테스트의 인식 성능 또한 높은 결과가 나왔으나 조명의 변화가 심해지는 Case2 및 Case3의 경우는 검증 및 테스트의 이미지가 학습에 쓰이는 이미지와 많이 달라짐에 따라 인식 성능 또한 나빠지는 것을 확인했다. 이와 같은 2차원 얼굴인식의 단점을 보완하기 위해 쓰이는 이미지 전처리 방법인 히스토그램 평활화, 평균화 기법, 평균화 기법과 히스토그램 평활화 기법을 같이 사용한 경우의 인식 성능을 확인한 결과, 조명 변화가 생길 경우 원본 이미지를 그대로 사용한 경우 보다 전체적으로 조금 더 높은 인식 성능을 보였고 평균화 기법을 사용한 경우 인식 성능에 향상에 더 많은 도움이 되는 것을 확인하였다.
그림 8첫 번째 실험의 비교 결과 그래프 Fig. 8 Comparative result graph of first experiment
5.2.2 실험 방법 2의 결과
두 번째 실험 방법으로는 각 Case의 이미지를 학습, 검증, 테스트 이미지로 나누고 선택된 각 Case의 학습, 검증 테스트 이미지들 끼리 모두 합하여 RBFNNs 패턴분류기를 통해 인식 성능을 확인한다. 이번 실험에서는 실험 방법 1과 마찬가지로 인식 성능은 5-fold cross validation을 통해 나온 각 모델 인식률의 평균을 최종 인식률로 정하고. 최적화 알고리즘을 통해 퍼지화 계수 값과 규칙의 개수를 구한다. 다항식 형태 또한 Linear를 사용한다. 이번 실험 입력의 개수는 5×6크기의 저차원 특징데이터로 변환하여 총 30개를 사용한다.
표 6은 학습, 검증, 테스트로 사용할 이미지를 다양한 조명의 변화가 있는 이미지를 사용하여 실험한 인식 성능의 결과, 최적의 퍼지화 계수, 최적의 규칙 개수를 보여준다. 두 번째 실험 방법 또한 실험 방법 1과 마찬가지로 평균화 기법을 사용한 경우 인식 성능의 향상에 도움이 되는 것을 확인하였다.
표 6두 번째 실험 비교 결과 Table 6 Comparative results of second experiment
6. 결 론
본 연구에서는 조명에 의한 인식 성능의 저하를 막기 위해 전면 얼굴에 대해 Mirror이미지를 생성하는 평균화 기법을 적용한 RBFNNs패턴분류기를 제안하였다. 인식률을 확인하기 위한 다항식 기반 RBFNNs 패턴분류기는 학습 속도와 성능을 보다 효율적으로 하기 위해 입자 군집 최적화(PSO) 알고리즘을 이용하여 퍼지화 계수와 규칙의 개수를 최적화 해주었다. 그리고 조건부에서 규칙의 적합도를 구하기 위해 FCM알고리즘을 사용하였고 후반부의 다항식 차수는 Linear를 사용하였다. 그에 해당하는 계수는 가중 최소 자승법(WLSE)에 의해 구해지고 이렇게 최적화된 다항식 기반 RBFNNs 패턴분류기를 사용하여 인식률을 확인한다. 인식률은 K-묶음 교차 검증법을 사용하여 얻은 각 모델의 평균 인식률을 최종 인식률로 정한다. 실험은 학습과 검증, 테스트에 쓰이는 이미지를 다양하게 구성하여 두 가지 경우의 실험 방법으로 실험을 했고 실험 결과 부분적으로 조명의 변화가 있을 경우 제안된 방법이 히스토그램 평활화를 사용한 경우보다 조명의 변화에 강인한 것을 확인했고, 평균화 기법과 히스토그램 평활화 기법을 같이 사용한 경우 더 좋은 인식률을 보이는 것을 확인했다. 결과적으로 평균화 기법은 제한적이기는 하지만 정면 이미지에 대해서는 평균화 기법이 인식 성능의 향상에 도움이 되는 것을 확인했다.