I. 서론
최근 개인을 식별하기 위한 방법으로 지문, 홍채, 목소리, 얼굴 등 사용자의 생체정보를 활용한 인증방법이 다양한 분야에서 활용되고 있다[1]. 사용자가 비밀번호를 잊어버리거나 독립된 하드웨어 형태의 보안토큰을 분실할 경우, 타인에 의해 쉽게 명의가 도용될 수 있는 문제점이 존재하는 전통적인 인증방법에 비해, 지문, 홍채 등의 각 개인에게 종속적인 생체 정보를 이용한 인증방법은 분실의 위험이 없고 노출되었을 경우에도 타인에 의해 도용될 수 있는 가능성이 상대적으로 낮아 기존 인증방법들 보다 편리하고 안전하다는 장점이 있기 때문이다. Thorpe 등[2]는 생체인식 시스템이 만족시켜야 하는 요구사항에 대해다음과 같이 정리하고 있다.
∙ 가변성 (Changeability): 사용자의 인증정보가 유출되었을 경우, 다른 정보로 대체할 수 있어야 한다. (예, 비밀번호 변경)
∙ 유출 저항성 (Shoulder-surfing resistance):사용자가 인지하지 못한 상태에서 악의적 사용자나 비디오 기록 장치에 의해 인증정보가 노출된 경우에도 명의가 도용되지 않아야 한다.
∙ 도난 방지 (Theft protection): 인증정보의 물리적 도난이나 컴퓨터에 의한 예측 공격에 의해 명의가 도용되는 것을 방지하기 위해 인증시스템의 엔트로피(entropy)가 프로세스의 속도를 능가하는 확장성을 보장해야 한다.
∙ 의도적 유출 방지 (Protection from usernon-compliance): 인증정보의 유출을 방지하기위해서 사용자가 손으로 쓰거나 하는 방식으로 자신의 인증정보를 다른 사용자와 쉽게 공유할 수 없어야 한다.
그러나 지문인식이나 홍채인식으로 대표되는 기존 생체인식 기반 인증기술은 해당 매체의 외형적 특징 정보에 의존적이기 때문에 악의적인 사용자에 의해 도용될 수 있는 가능성이 항상 존재하고(예, 지문의 경우 실리콘으로 다른 사람의 지문 만들어 출입 시스템에 도용한 사례가 있음[17]), 물리적 사고에 의해 신체에 직업적인 손상(예, 지문, 망막 손상)을 입을 경우 해당 생체정보를 인증목적으로 다시 활용하기 힘들다는 문제점 때문에 위에서 언급된 요구사항 중특히 가변성과 유출 저항성 요구사항을 만족시키지 못한다.
이와 같은 문제의 대안으로 뇌파를 활용한 인증방법이 제안되었다. EEG (electroencephalography)로 대변되는 뇌파 데이터는 이전 연구에 의해 서로 다른 사용자들을 구분할 수 있는 고유 특징 정보를 제공할 수 있고 재현 관점에서도 인증수단으로 사용하기에 충분하다는 것이 증명되었다[2, 3, 4]. 또한, EEG는 지문이나 홍채와 달리 외부로 드러나지 않는 무형의 데이터로서 측정 장비의 착용이 전제되지 않고는 확인할 수 없기 때문에 도난이나 유출의 가능성이 낮고, 비밀번호를 변경하듯이 주기적으로 또는 필요에 따라 사용자에 의해 변경할 수 있기 때문에 [2]에서 언급된 요구사항을 모두 만족하는 이상적인 생체인증 수단으로서의 잠재력을 인정받고 있다[5].
EEG 기반 인증기술은 다른 생체인식 기술과 마찬가지로 EEG 데이터 수집을 위한 추가적인 하드웨어가 뒷받침되어야 한다. Fig.1.에서 볼 수 있듯이, 일반적으로 정확한 EEG 데이터 수집을 위해서는 20개 이상의 전극이 Fig.1.에 표시된 두피와 귀 부분에 접지 되어야 하나, 최근 EEG 센서 기술의 발전으로 전극의 수가 20개 이하로 적고 간편하게 휴대할 수 있는 EEG 측정 장비들이 소개되었다.
Fig. 1. Standard electrode map, illustrating the commonly deployed 10-20 system [7]
EEG 측정을 위한 전극수의 감소는 뇌파 인증기술의 실용화 측면에서는 긍정적인 변화이지만 측정된 EEG 신호의 정확도 감소 여부와 이에 따른 인증정확도의 저하 문제가 해결되어야 한다. 해당 EEG 측정 장비들을 활용해서 수행된 관련 연구들의 실험결과들을 살펴보면 약 95~98%의 인증정확도를 보이는 것으로 확인 되지만[7~12], 본 연구에서 수행한실험에 따르면 실제로 전극수의 감소에 따른 인증정확도 저하 문제뿐만 아니라 시간 변화에 따라 동일 사용자에 대한 EEG 신호의 변화 문제 또한 존재하는 것으로 파악되었다.
따라서 본 논문에서는 EEG 기반 인증기술의 실용화를 위해 해결 되어야 하는 문제점들을 도출/분석하고 이를 해결하기 위한 점진적 EEG 샘플 제거 방법을 제안한다. 우선 EEG 기반 인증기술의 발전 동향에 대해 살펴보고 기술적 한계와 문제점에 대해 분석한다. 이를 해결하기 위한 점진적 EEG 샘플 제거 방법을 설명하고 실험결과를 토대로 제안하는 방법의 효과를 증명한 뒤, 결론을 맺는다.
II. 관련 연구
본 장에서는 EEG 기반 인증기술을 EEG 측정 장비의 발전 동향을 비롯하여 EEG 수집에 사용된 장비의 형태에 따라 다채널 EEG 수집 장비를 활용한 연구와 단일채널 EEG 수집 장비를 활용한 연구로 구분하여 각각에 대해 기술한다.
2.1 EEG 측정 장비의 발전
EEG는 뇌의 활동을 기록하는 기법으로 Table 1.에 정리되어 있는 것 같이 대역별로 총 4 종류의 사인파로 구성되어 있다[18]. 각 종류의 EEG 신호에 대해 간략히 설명하면, Alpha는 특별한 활동 없이 사용자가 안정(relaxation)을 취하는 동안 발생하는 신호이고 Beta는 사용자의 워킹 리듬(workingrhythm)을 통해 발생한다. Theta는 사용자의 깊은 명상을 통해 생성되는 신호이며 Delta는 숙면을 취할 때 발생한다.
Table 1. Four groups of EEG signal
EEG를 활용한 사용자 인증기술은 EEG 측정 장비를 통해 수집된 데이터로부터 푸리에 변환을 통해 인증에 사용하고자 하는 대역의 신호들만 추출하여 등록되어 있는 EEG 신호와의 유사도 비교 등을 통해 인증여부를 결정한다. 따라서 지문이나 홍채인식과 마찬가지로 사용자로부터 EEG 데이터를 수집하기 위한 장비가 필수적이다.
Fig. 2.는 EEG 데이터를 수집할 수 있는 다양한 형태의 EEG 측정 장비들을 보여주고 있다. 기본적으로 EEG를 측정하기 위해서는 사용자의 두피와 귀에 전극(electrode)을 밀착시켜서 뇌의 활동에 따른 전기신호를 기록해야 하며, Fig.2.에서 확인할 수 있듯이 다수의 전극이 신호측정 장치에 직접 연결된 형태(그림 왼쪽)에서 점차 전극의 수가 감소하고 측정된 신호도 전선을 통해 직접 연결되어 있는 저장장치에 기록하던 방식이었기 때문에 뇌파 데이터를 수집 하기 위한 비용과 노력이 상당했다. 따라서 Thorpe등[2], Berkhout 등[3] 등의 연구결과를 통해 뇌파를 이용한 사용자 인증이 가능하다는 것이 학술적으로 증명된 후에도 실생활에 적용하는 데에 회의적이었다.
Fig. 2. Development of EEG collecting devices
그러나 EEG 수집 센서의 발전으로 뇌파 데이터 수집에 필요한 전극의 수가 감소하고 블루투스와 같은 무선통신을 통해 스마트폰이나 랩탑 등에 전달이 가능한 형태(그림 오른쪽)로 발전하였다. 대표적인 예로 EMOTIV의 EPOC+[19]와 NeuroSky의MindWave[20]이 있으며, EEG 측정을 위한 전극의 개수가 각각 14 채널과 단일 채널로 간소화 되었고, 이와 같은 EEG 수집 장비의 발전은 정체되어 있던 뇌파 기반 인증기술에 대한 연구가 활발히 수행되는데 기여하였다[7-12].
2.2 다채널 기반 EEG 인증기술
일반적으로 EEG 기반 사용자 인증기술 프레임워크는 Fig. 3.에서 볼 수 있듯이, 앞에서 기술된 EEG 측정 장비를 통해 사용자별로 수집된 EEG 데이터로부터 대역별 사인파를 추출하는 전처리 단계, 추출된 사인파로부터 특징을 추출하는 단계, 사용자 별로 템플릿을 생성해서 저장하는 단계, 저장된 템플릿과의 비교를 통해 사용자를 인증/식별하는 단계로 구성되어 있다.
Fig. 3. EEG based user authentication framework
이중 가장 활발한 연구가 이루어진 부분은 선형판별분석이나 인공신경망, 서포트 벡터 머신 같은 기계학습 기술들을 활용한 사용자 인증/식별 단계이며, EPOC+와 같은 하나 이상의 전극을 통해 EEG 데이터를 수집하는 장비를 사용하여 수행된 연구들이 대부분이다. 각 기법들에 대한 논의는 다음과 같다.
Riera 등[7]과 Palaniappan[8]은 선형판별분석(linear discriminant analysis) 기법을 활용한 사용자 인증기법을 제안하였다. 선형판별분석 기법은 두 집단을 가장 잘 분리시키는 선을 찾아 정사영(projection) 시키는 방법으로 2 class 인증에 활용되기에 적합한 기법이다. 구체적으로, Riera 등[7]은 선형판별분석 기법 중 집단 간 산포 측도로 인해 정규화 된 평균들의 거리차이를 극대화 시키는 Fisher’s discriminant analysis 기법을 활용하고 EEG 뿐 만 아니라 ECG(electrocardiogram) 데이터로 인증 과정에 포함시키는 복합형 생체인식 기반 사용자인증 기술을 제안한 것이 특징이다. Riera 등[7]과 Palaniappan [8]에서 제안된 기법들의 인증정확도는 각각 97.9%와 97.4%로 측정되었다.
Sun[9]는 인공신경망을 활용한 EEG 기반 사용자인증기법을 제안하였다. 인공신경망은 입력노드와 출력노드에서 주어진 입력값에 대해 가장 적합한 출력값이 나오는 가중치 값을 조정하는 학습과정을 통해 최적의 선형 분리 함수의 계수를 찾아내는 기법이다. 구별하고자 하는 그룹의 개수에 따라 다양한 차원의(n-class) 인증에 활용될 수 있다. Sun[9]는 실험에 참가한 사용자들이 양손의 손가락을 움직이는 상상을 할 때 수집된 EEG 데이터들로부터 CSP (commonspatial patterns)을 통해 특징 벡터를 추출한 뒤 인공신경망을 학습 시키고 테스트 하였다. 1개의 은닉계층과 1개의 출력계층으로 구성된 인공신경망의 인증 정확도는 실험 참가자 왼쪽 손가락을 움직였을 때95.6%, 오른쪽 손가락을 움직였을 때 94.81%로 측정되었다.
Ashby 등[10]은 두 개의 서로 다른 그룹을 가장 잘 구분하는 최적의 초평면(optimal Hyperplane)을 구하는 서포트 벡터 머신을 활용한 EEG기반 사용자 인증기법을 제안하였다. EEG 데이터로부터 AR 계수(autoregressive coefficient),PSD(power spectral density), SP(spectralpower), IHPD(interhemispheric powerdifference), IHLC(interhemispheric channellinear complexity), 총 5종류의 특징 벡를 추출하여 서포트 벡터 머신을 학습시키고 테스트 하였고 5명의 실험 참가자들을 대상으로 97.69%의 인증 성공률을 보였다.
2.3 단일 채널 기반 EEG 인증기술
앞서 설명된 EEG 기반 사용자 인증기법들[7-10]는 14 채널의 EPOC+ 나 그 이상의 장비들로 수집된 데이터를 기반으로 수행되었다. 적절한 특징 추출 기법들이 뒷받침 되고 인증 목적에 적합한 기계학습기법들을 활용되었을 경우 상당 수준의 인증정확도를 달성할 수 있다는 것이 증명되었으나 실용화를 위해서는 더 간소화 EEG 측정 장비의 활용이 요구된다.
MindWave는 현재까지 시판된 EEG 측정 장비들 중 가장 간소한 단일 채널 장비이며 가격 경쟁력이나 착용의 편의성 측면에서 가장 우수한 기기이다. 이 장비를 기반으로 진행된 사용자 인증기술에 대한 연구는 다음과 같다.
Chuang 등[11]은 단일 채널 EEG 측정 기기의 사용자 인증목적으로의 사용 가능성을 최초로 검증한 연구 결과를 소개하였다. 앞서 설명한 EEG 기반 사용자 인증기법들에서 다양한 특징 추출 기법과 기계학습 기법을 사용한 것과는 달리, 푸리에 변환(Fourier transform)과 대역 필터(bandpass filter)로 Alpha, Beta 대역의 신호만 추출하고 각각의 중앙값 (median value)만 취한 뒤, 중앙값들 간의 코사인 유사도(cosine similarity)를 측정하여 비교하는 방법으로 인증 프로세스를 구현하였다. 특정 사용자에 속한 중앙값들 중, 다른 사용자들의 중앙값과 유사도가 더 높은 중앙값들은 실험에서 배제하는 customized threshold 기법을 통해 외부자극 없이 수집된 15명의 EEG 데이터에 대해 94%의 인증정확도를 달성하였다.
Abo-Zahhad 등[12]는 EEG 데이터 이외에 사용자의 눈 깜빡임에 의해 발생되는 EOG(eletrooculogram) 데이터를 추가로 수집하여 EEG와 EOG로부터 추출된 특징을 CCA(cannonical correlation analysis)로 합성하여 선형판별분석 기법을 통해 사용자 인증을 수행한다. EOG와 EEG의 특징을 모두 사용한다는 측면을 제외하고는 방법론에서 기존 연구[7-10]와 큰 차이가 없으며 31명의 실험 참가자를 대상으로 수행한 실험에서 97.3%의 인증정확도를 달성하였다.
III. EEG 측정 채널 수 감소에 따른 인증정확도 저하 문제
EEG 기반 사용자 인증기술이 실제 생활환경에서 적극적으로 사용되기 위해서는 EEG 측정 및 수집에 필요한 장비를 착용하고 수집하는 행위가 지문을 인식하거나 홍채를 인식하는 수준의 편의성이 보장되어야 한다. 이런 관점에서 단일 채널 EEG 수집 기기를 활용한 기존 연구들의 문제점에 대해 구체적으로 분석해보면 다음과 같다.
EEG 기반 사용자 인증기술 동향에서 파악할 수 있듯이 모든 관련 연구[7-12]의 공통점은 사용자 식별을 위한 고도화된 알고리즘에 대한 연구보다 수집된 EEG 데이터로부터 특징 정보를 추출하는 부분에 연구의 초점이 집중되어 있다는 것이다. 이것은 EEG 데이터가 지문이나 홍채 같은 생체인식매체의정보와 비교할 때 눈에 보이지 않는 형태의 정보로서 뚜렷한(tangible) 특징을 추출해내기 어렵다는 것을 반증한다. 특히, EEG 측정 장비의 전극 수가 적을수록 이런 문제는 더 가중된다. 실제로 단일 채널 장비인 MindWave의 경우 자체적인 데이터 품질제어(quality control) 기능을 탑재하고 있으며 EEG수집 시, poorSignal이 50 이상일 경우 신뢰할 수 없는 데이터로 매뉴얼에서 명시하고 경험적으로 25이하일 경우에 유효하다고 알려져 있다[21].
Chuang 등[11]은 이와 같은 단일 채널 장비의 문제점을 고려하지 않고 EEG 데이터를 수집했을 뿐 만 아니라, 수집된 EEG 데이터 중에서도 극히 일부인 2개의 신호값 [median_alpha, median_beta]만을 사용자 식별을 위해 사용하기 때문에 해당 논문의 실험 참가자 수인 15명을 넘어 불특정 다수의 사용자에 대한 인증에 적합한지 여부를 확인하고자 재현 실험을 다음과 같이 수행하였다.
실험 참가자는 총 11명으로 20세 이상 대학생 남녀로 구성되어 있으며, MindWave를 사용하여 EEG 데이터 수집을 개인 당 한 번에 15초씩 10번, 총 10일에 걸쳐 진행하였다.
Fig.4.는 수집된 EEG 데이터 중 첫째 날 수집된 실험 참가자들의 데이터 분포를 보여준다. 위의 그래프가 MindWave의 데이터 품질제어를 무시한 데이터 분포이며 아래 그래프가 poorSignal이 25 이하인 데이터를 배제한 [median_alpha, median_beta]의 분포이다. 육안으로도 뚜렷이 확인할 수 있듯이, poorSignal 처리를 하지 않은 데이터가 개개인을 구분하기에 더 유용함을 알 수 있으며 아래 그래프의 분포의 경우 실험 참가자의 수가 증가함에 따라 특정 영역에 집중된 [alpha, beta]의 분포로 인한 인증정확도 저하 문제가 예상된다.
Fig. 4. Comparison of EEG signals (w/o vs. w/noise filtering)
Fig.5.는 다양한 기계학습 기법들 중 성능이 뛰어난 것으로 분류되는 서포트 벡터 머신(SVM, support vector machine)과 딥러닝의 일종인 다중 계층 퍼셉트론(MLP, multi-layer perceptron)을 사용하여 본 논문에서 수집한 EEG 데이터를 바탕으로 인증정확도를 측정한 결과이다. 기존 연구들의 실험은 EEG 데이터 수집이 기간이 1~2일 정도 이고 인증테스트를 실시할 때도 다른 날 측정된 EEG 데이터들 간의 교차 검증을 수행하지 않은 반면, 본 논문에서 수행한 실험은 총 10일에 걸쳐 수집된 EEG 데이터를 활용하여 각 날짜 별 데이터를 한 번씩 학습 데이터로 사용하고 나머지 데이터로 인증 테스트를 수행하는 교차 검증 방식으로 진행되었다.
Fig. 5. Authentication accuracy of SVM and MLP for EEG collected via single-channel device
Fig. 5.의 그래프에서 볼 수 있듯이, 서포트 벡터머신(SVM)의 경우 대부분 HTER (half totalerror rate) 기준 0.5에 수렴하는 것으로 측정되었는데, 본 실험의 인증정확도를 측정하기 위해 사용된 HTER은 FAR (false acceptance rate)과 FRR(false rejection rate)의 평균이기 때문에 HTER 이 0.5라는 것은 FAR이나 FRR이 1.0으로 측정된 경우에 해당하는 것으로 사용자를 인증/식별하는 것이 불가능함을 의미한다. 다중 계층 퍼셉트론(MLP) 의 경우, 특정 실험 참가자에 한정된 결과(dschoi-2day)이지만, HTER이 0.2까지 측정되는등 서포트 벡터 머신에 비해 더 좋은 인증정확도를 달성하였다. 그러나 전체적인 인증정확도 차원에서는서포트 벡터 머신과 마찬가지로 대부분 HTER이0.5에 수렴하는 것으로 파악되었다. 이는 기존 연구들의 주장하는 95% 이상의 인증정확도와는 큰 차이가 나는 것을 확인할 수 있다.
이러한 인증정확도 저하 문제는 사용자 편의성을위해 단일 채널 EEG 측정 장비를 활용한다고 가정했을 경우, 본 실험 결과를 통해 확인했듯이 인증방법의 정확성에 직접적인 영향을 주기 때문에 스마트폰, 금융 등의 실제 환경에서 EEG 기반 사용자 인증기술을 활용하기 위해서 반드시 해결되어야 한다.
IV. 점진적 EEG 샘플 제거 방법
단일 채널 기기를 활용한 연구들인 Chuang 등[11]과 Abo-Zahhad 등[12]뿐만 아니라 다른 관련연구[7-10]의 EEG 수집 방법을 살펴보면, EEG를 수집할 때 실험 참가자들게 특정 자극을 주거나 과업(task) 수행을 요구한다. 예를 들면, 특정 색깔이나 이미지를 보여준다던지 음악을 들려주는 등의 외부자극을 주거나, 실험 참가자에게 노래를 부르게 하고 심지어는 눈 깜빡임을 요구하는 경우도 있다. 그리고 실험에서 의도하는 외부자극이나 과업 수행 이외에 실험 참가자들에게 영향을주는 요소들이 최대한 차단된 곳에서 수집된 것을 알 수 있는데, 이것은 실험 참가자의 EEG 수집 시의 집중도에 영향을 줄수 있는 잡음, 시선분산 등의 외부적 요인에 따라 동일한 조건에서 수집된 EEG 데이터라도 노이즈가 포함되거나 왜곡될 수 있는 가능성이 존재함을 반증하며 EEG 측정 채널수의 감소와 함께 인증 프로세스에 포함되지 말아야할(garbage) EEG 샘플이 존재할 가능성이 있음을 의미한다.
본 논문에서는 제안하는 점진적 EEG 샘플 제거방법은 실험 참가자 별로 수집된 EEG 샘플들을 대상으로 특정 EEG 샘플이 주장하는 실험 참가자의 나머지 EEG 샘플들과 다른 실험 참가자들의 EEG샘플들 간의 유사도 측정을 기반으로 수행된다. 서로 다른 EEG 샘플들 간의 유사도 측정은 내적공간의 두 벡터 간 각도의 코사인 값을 이용하여 측정된 벡터간의 유사한 정도를 의미하는 코사인 유사도를 사용하며, 수식은 (1)과 같다.
\(\operatorname{Sim}=\frac{A \cdot B}{\|A\|\|B\|}=\frac{\sum_{i=1}^{n} A_{i} \times B_{i}}{\sqrt{\sum_{i=1}^{n}\left(A_{i}\right)^{2}} \times \sqrt{\sum_{i=1}^{n}\left(B_{i}\right)^{2}}}\) (1)
점진적 EEG 샘플 제거 방법을 간략히 설명하면 특정 EEG 샘플이 주장하는 실험 참가자를 ‘Self’, 나머지 실험 참가자들을 ‘Others’라고 했을 때, 위의 유사도 측정방법을 통해 ‘Self’의 나머지 EEG 샘플들과의 유사도 평균값을 구하고 ‘Others’의 EEG 샘플들과의 유사도 평균값을 구한 뒤 두 개의 유사도 sample elimination평균값의 차이를 특정 EEG 샘플의 값으로 취한다. 이와 같은 방법으로 모든 EEG 샘플들에 대해 ‘Self’와 ‘Others’의 유사도 차이를 구하고 ‘Self 유사도 -Others 유사도’의 값이 가장 작은 EEG 샘플을 제거하는 과정을 반복해서 수행하는 것이다. 이것을 의사 코드(pseudocode)로 정리한 내용은 Table 2와 같다.
Table 2. Incremental EEG sample elimination
의사 코드를 바탕으로 더 구체적으로 설명하면, EEG 샘플들은 수집된 실험 참가자들의 ID로 구분된다. 3장에서 언급했듯이 본 논문에서는 총 11명의 실험 참가자들로부터 각각 매일 10번씩 EEG 샘플을 수집하였다. 따라서 하루에 총 110개의 EEG 샘플이존재하며 편의상 실험 참가자 별 EEG 샘플이 순차적으로 리스트 변수(samples)에 저장되어 있다고 가정하고 의사 코드를 작성하였다.
입력으로 주어지는 EEG 샘플들이 리스트 변수EEG_list에 저장되고(line 2), 각각의 EEG 샘플에 대한 ‘Self 유사도 – Others 유사도’ 저장을 위한 리스트 변수 sim_diff가 선언된다(line 3). 특정 EEG 샘플 EEG_sample이 EEG_list로부터 선택되고(line 4) 해당 EEG 샘플에 대한 ‘Self’ EEG샘플 그룹과 ‘Others’에 포함되는 EEG 샘플 그룹에 대한 구분이 수행된다(line 5~6). 각각의 그룹에 대한 유사도가 측정된 후(line 7~8), EEG_sample의 ‘Self 유사도 – Others 유사도’ 값이 리스트 변수 sim_diff에 저장된다(line 9).
모든 EEG 샘플들에 대한 유사도 차이 측정 작업이 끝난 뒤(line 10), sim_diff에 저장된 값 중 가장 작은 값에 해당되는 인덱스 값을 참조하여 EEG_list로부터 ‘Self 유사도 – Others 유사도’값이 가장 작은 EEG 샘플을 찾는다(line 11). 그리고 해당 EEG 샘플을 전체 EEG 샘플에서 제거한다(line 12). 마지막으로 EEG 샘플 하나가 제거된 EEG_list를 입력 값으로 사용하여 동일한 프로시저를 재귀 호출한다. 이렇게 재귀인 방법으로 특정 EEG 샘플을 하나씩(점진적으로) 제거하는 방식을취하는 이유는, 제거되는 EEG 샘플이 어떤 것이냐에 따라 그 다음 worst가 되는 EEG 샘플이 변하기때문이다.
Table 2.의 의사 코드에는 포함되지는 않았지만, 실제 소스코드에서는 반복문(line 4~10) 수행 전, EEG_list에 모든 실험 참가자의 EEG 샘플이 하나 이상 있는지를 파악하여 특정 실험 참가자의 EEG 샘플의 개수가 0이 되면 해당 프로시저를 멈추는 로직이 포함되어 있다.
V. 실험 결과 및 분석
본 논문에서 제안하는 점진적 EEG 샘플 제거 방법의 효과를 검증하기 위해서 수행된 실험에 대해 설명한다. 우선 점진적 EEG 샘플 제거 방법에 의해 제거된 EEG 샘플 리스트 중 최적의 인증정확도를 달성하는 EEG 샘플들을 찾는 실험에 대해 설명하고, 단일 채널 EEG 수집 기기를 사용한 관련연구인 Chuang 등[11]과 딥러닝 기법 중 하나인 Auto-encoder [13]을 대상으로 수행된 인증정확도 측정 및 비교 실험에 대해 설명한다.
실험에 사용된 EEG 데이터는 3장의 EEG 측정 채널 수 감소에 따른 인증정확도 저하 문제를 확인하기 위해 사용된 데이터로서 공주대학교 학생 및 교수, 11명을 대상으로 하루에 15초씩 10번 수집하는방식으로 각자의 비밀번호를 생할때 발생하는 뇌파를 10일 동안 수집되었다. 기존 연구들이 뇌파를 수집할 때 외부자극에 대한 노출이 최대한 차단된 장소에서 수행한 반면 본 논문은 실용적 뇌파 인증에 초점을 맞추고 있기 때문에 뇌파 수집 장소에 제약을 두지 않고 실험 참가자들의 일상생활에 관련된 장소 (카페, 강의실, 교수연구실 등)에서 뇌파 수집을 수행하였다. 이에 따라 생활소음이나 시각적 자극 등 외부자극에 노출된 상태에서 실험에 사용된 EEG 데이터들이 수집되었다.
5.1 최적 EEG 샘플 리스트
점진적 EEG 제거 방법에 의해 제거된 EEG 샘플의 수가 많다고 해서 인증정확도가 좋아지는 것은 니다. 이를 검증하기 위해서 Chuang 등[11]을 대상으로 점진적 EEG 제거 방법을 적용시켰을 때 제거되는 EEG 샘플에 따른 인증정확도를 측정하였다. Fig.6.의 그래프는 실험을 위해 총 10일 동안 수집된 공주대학교 EEG 데이터 중 1~5일에 대한 인증정확도 변화를 나타낸다.
Fig. 6. HTER according to EEG elimination
가장 위에 있는 그래프부터 순서대로 실험에 사용된 EEG 데이터 중 첫째 날 측정된 EEG 샘플을 대상으로 실험한 결과부터 다섯째 날정된 EEG 샘플들에 대한 실험 결과를 나타낸다. 다섯 개의 그래프 모두에서 확인할 수 있듯이 EEG 샘플이 수집된날 별로 점진적 EEG 제거 프로시저의 종료 시점이 다르다. 첫째 날은 33개의 EEG 샘플이 제거된 후 종료된 반면 둘째 날부터 다섯째 날은 50개 이상의EEG 샘플이 제거된 후에 종료되었다.
최적의 인증정확도가 측정된 시점도 차이가 난다. 첫째 날의 경우 EEG 샘플이 1개 제거된 시점에서 측정된 HTER 기준 0.2464가 가장 좋은 인증정확도였고, 둘째 날에는 51개의 EEG 샘플이 제거된 시점의 HTER 기준 0.2525, 셋째 날은 49개가 제거된 시점에서의 HTER 기준 0.2315, 넷째 날은 11개가 제거된 시점의 HTER 기준 0.2250, 마지막으로 다섯 째 날은 42개가 제거된 시점의 HTER 기준 0.1987이 가장 좋은 결과로 측정되었다.
다섯 개의 결과 모두 점진적 EEG 샘플 제거 프로시저가 종료된 시점의 인증정확도가 가장 정확한 인증정확도로 측정된 것과 큰 차이가 있다. 특히, 셋째날의 결과를 제외하고는 가장 좋지 않은 인증정확도에 가까운 결과를 보이는데, 첫째 날의 경우 33개의 샘플이 제거되었을 때 HTER 기준 0.4615이고, 둘째 날, 다섯째 날도 각각 60개와 62개의 샘플이 제거되었을 때 HTER 기준 0.4412와 0.4633로 매우 좋지 않은 인증정확도가 측정되었다. 또한, 각 그래프에 빨간색 실선으로 표시된 전체 인증정확도의 평균의 변화를 살펴보면, 소수의 EEG 샘플 제거에도 인증정확도가 매우 민감하게 변하는 것을 확인할 수 있다. 특히, 다섯째 날 그래프의 인증정확도 평균을 보면 1~2개의 EEG 샘플 제거에 따라 인증정확도가 매우 큰 폭으로 변동하는 형태를 띠고 있음을 확인할수 있으며, 나머지 그래프에서도 변동 주기의 차이가 있지만 유사한 결과를 보이고 있음을 알 수 있다. 따라서 점진적 EEG 샘플 제거 프로시저로부터 가장 좋은 인증정확도를 결과로 갖는 EEG 샘플 리스트를 최종 결과로 사용하기 위한 방법이 필요하다. 이를 위해 본 논문에서는 3장에서 기술된 점진적 EEG 샘플 제거 프로시저가 재귀 호출될 때마다의 HTER 기준 인증정확도와 EEG 샘플 리스트를 저장하여 해당 프로시저가 종료될 때 가장 좋은 HTER을 갖는EET 샘플 리스트의 결과를 사용하였다. 이렇게 측정된 인증정확도 비교는 4.2에 기술되어 있다.
5.2 인증정확도 비교
인증정확도 측정 및 비교를 위해서 단일 채널 기기를 사용한 관련연구인 Chuang 등[11]의 방법과 딥러닝 기법 중 하나인 Auto-encoder [13]을 사용하였으며 각각에 점진적 EEG 샘플 제거 방법을 적용한 것과 적용하지 않은 경우에 대해 측정된 인증정확도는 Fig. 7.과 Fig. 8.의 그래프와 같다.
Fig. 7. Chuang et al.[11] vs. Chuang et al.[11] with incremental elimination
Fig. 8. Auto-encoder vs. Auto-encoder with incremental elimination
Chuang 등[11]은 15명의 실험 참가자를 대상으로 손가락을 움직이거나 노래를 들려주거나 특정 색깔을 보여주는 등의 서로 다른 7개의 과업을 정해 한 사람당 5번씩 2회 측정하여 EEG 데이터를 수집하였다. 공정한 비교를 위해 이 중 본 논문의 EEG 데이터 수집 방법과 동일한 실험 참가자가 자신의 비밀번호를 생각하는 과업을 수행하면서 측정된 EEG 데이터에 대한 HTER 값을 비교 대상으로 삼고 Chuang 등[11]에 기술되어 있는 본문내용을 바탕으로 customized threshold 기법을 직접 구현하였다. Fig. 7.에서 위 그래프가 Chuang 등[11]에 기술되어 있는 customized threshold 기법을 사용하여 본 논문의 실험을 위해 수집된 EEG 데이터들에 대한 인증정확도를 측정한 결과이다. 3장의 실험을 통해 결과를 확인한 SVM, MLP와 마찬가지로 대부분의 실험 참가자에 대한 인증정확도가 HTER 기준 0.5에 수렴하고 있는 것을 확인할 수 있다. 구체적으로 전체 실험 참가자의 평균 HTER 값으로 해당 그래프에 빨간색으로 표시 되어 있는 ‘Total’의 평균값은 0.4875로 측정 되었다.
이것은 실험 참가자의 몇몇 경우를 제외하고 수집된 EEG로 인증을 시도할 때 다른 참가자뿐만 아니라 본인도 ‘reject’ 시키는 FRR이 1.0인 경우가 대부분이라는 것을 의미한다. 이와 같은 인증정확도는 3장에서 실험한 SVM과 MLP의 경우와 마찬가지로
인증 목적으로 사용할 수 없는 수준이며 Chuang 등 [11]에서 실험 참가자 자신의 비밀번호를 생각할 때 수집된 EEG 데이터에 대한 HTER 0.060과 비교해 볼 때도 큰 차이가 나는 것을 확인할 수 있다.
반면, Fig. 7.의 아래 그래프에 해당하는 Chuang 등[11]에 점진적 EEG 샘플 제거 방법을 적용한 실험결과는 HTER이 0.5로 측정되는 경우 (예, dwkim-2day, jaseol-3day)도 종종 존재하지만, 본 논문에서 제안하는 방법을 적용하지 않은 결과에 비해 전체적으로 HTER 값이 향상된 것을 확인할 수 있다. 구체적으로 평균 HTER 값이 0.2339로 측정되었으며, 위 그래프에서 측정된 Chuang 등 [11]의 결과와 비교해볼 때 정확도가 108% 향상된 것으로 확인되었다. 이것은 점진적 EEG 샘플 제거 방법을 통해 단일 채널 기기를 통해 수집된 EEG 데이터 중 실험참자가 본인과 다른 실험 참가자를 구분하는데 도움이 되지 않는 것들이 필터링 되었기 때문인 것으로 분석된다.
Auto-encoder [13]은 Chuang 등[11]을 비롯한 다른 EEG 기반 인증방법들[11-14]가 본인과 다른 사용자를 구분하는 2-class 분류기법의 한 종류인 것과는 달리 1-class 분류기법에 속한다. 2-class 분류기법은 인증테스트의 대상인 임의의 EEG 데이터가 본인이라고 주장하는 사용자의 학습 EEG 데이터에 더 가까운 지 아니면 다른 사용자들의 학습 EEG 데이터에 더 가까운 지를 판별하는 문제라면, 1-class 분류기법은 전자만을 판별하는 문제이다. 이런 특성 때문에 Auto-encoder는 음성인식 [14], 문자인식 [15] 등의 분야에서 잡음제거의 목적으로도 사용되었으며, 온라인 서명 기반 인증기술을 위해서 도 사용되었다 [16].
본 실험에서 사용된 Auto-encoder의 매개변수는 입력 노드와 출력 노드의 크기는 51로 동일하고 1개의 은닉계층이 존재하며 은닉계층의 노드는 52이다. 각 실험 참가자들의 EEG 데이터 학습을 위해 총 100번의 반복학습을 수행하였다. Fig.8.의 위 그래프가 Chuang 등[11]의 인증정확도를 측정할 때 사용된 EEG 데이터를 대상으로 Auto-encoder를 테스트한 결과이다. Chuang 등[11]의 결과와 비교했을 때 점진적 EEG 샘플 제거 방법을 적용하지 않은Auto-encoder 결과가 전체적으로 높은 인증정확도를 보였다. 정확하게는 평균 HTER 값이 0.3487로 측정되었으며, Chuang 등[11]의 0.4875보다 40% 향상 된 결과이다. Auto-encoder에 점진적 EEG샘플 제거 방법을 적용하여 실험한 결과는 Fig.8.의 아래 그래프에 정리되어 있는데 평균 HTER 값이 0.3082로 측정되어 해당 기법을 적용하지 않은 결과에 비해 13% 정도 향상된 것으로 확인되었다. 이 결과는 Chuang 등[11]에 대해 108% 의 인증정확도 향상 효과를 보인 것과 비교할 때 많이 떨어지는 수치이다. 이런 차이가 나는 이유는 Chuang 등[11]과 Auto-encoder의 기술적인 차이 때문인데 Chuang 등[11]이 각 실험 참가자에 대해 주어진 EEG 데이터 집합에 대한 FAR과 FRR의 최적 지점을 찾는 기법인 반면 Auto-encoder는 자체적으로 입력 데이터에 대한 잡음처리 기능이 있기 때문에 본 논문에서 제안한 점진적 EEG 샘플 제거 방법을 적용한 효과가 상대적으로 작게 측정된 것으로 판단된다.
5.3 실험결과 분석 및 고찰
본 논문에서 수행한 모든 실험들에 대한 결과는 다음 Fig. 9.와 같이 정리할 수 있다. SVM과 MLP는 단일 채널 기기 사용 시 문제점 분석을 위해 수행되어 Fig. 5.에 정리된 실험결과를 의미하고, CT와 AE는 Chuang 등[11]의 인증방법과 Autoencoder[13]에 대한 실험결과를 편의상 줄여서 표현한 것이다. ‘w/ Inc_Elim’은 본 논문에서 제안하는 점진적 EEG 샘플 제거 방법이 적용된 실험 결과라는 것을 의미한다. 전체적인 관점에서 위의 실험결과에 대한 분석을 요약해보면 우선 단일 채널 기기로 수집된 EEG 데이터는 전처리 관점에서의 고민 없이 인증 목적으로 사용할 경우, 일반적으로 성능이 우수하다고 검증된 기법을 사용한다고 해도 유효한 인증정확도를 기대할 수 없다. 이것은 SVM과 MLP의 HTER 기준 인증정확도 0.4994와 0.4760의 확인을 통해 검증되었다. 또한, 점진적 EEG 샘플 제거 방법을 통해 실험에 사용된 두 가지 EEG 기반 사용자 인증방법, CT w/ Inc_Elim과 AE w/ Inc_Elim모두 기존 Chuang 등[11]과 Auto-encoder [13]보다 결과가 향상되었다.
Fig. 9. Comparison of experiment results
Chuang 등[11]의 경우처럼 입력 데이터에 대한 필터링 기능 없이 단순 유사도 측정 기반의 방법에 대해서는 인증정확도의 향상 폭이 상당히 큰 반면, Auto-encoder와 같이 전처리 단계에서 필터링 되지 못한 입력 데이터에 대해서 자체적인 잡음제거 기능이 있는 인증방법에서는 상대적으로 작은 인증정확도 향상 효과를 보였다. 본 실험을 통해 측정된 HTER기준으로는 Chuang 등[11]에 점진적 EEG 샘플제거 방법을 적용한 결과가 0.2339로 Auto-encoder의 0.3082보다 좋은 결과를 보였으나 인증 대상의 수가 늘어나 불특정 다수의 사용자를 대상으로 인증 기능을 수행할 때의 안정성 측면에서 볼 때 최근 다양한 분야에서 괄목할 만한 성능을 보이고 있는 딥러닝 계열의 기법들과 협력적으로 활용할 수 있는지에 대한 연구가 필요하다고 판단된다.
VI. 결론
본 논문에서는 최신 EEG 기반 사용자 인증기술의 발전 동향을 살펴보고 기존 연구들의 한계와 문제점을 분석하였다. 특히, EEG 기반 사용자 인증기술의 실용화를 위해 EEG 측정 장비의 간소화가 요구되는데 이 때 발생할 수 있는 인증정확도의 저하 문제를관련 연구와 동일한 단일 채널 EEG 측정 장비를 사용하여 수행한 실험을 통해 경험적으로 증명하였다. 이 문제를 해결하기 위해서 점진적 EEG 샘플 제거 방법을 제안하고 실험결과를 통해 제안하는 방법의 인증정확도 향상 효과에 대해 정량적으로 분석하였다. 본 논문에서 제안하는 방법은 EEG 데이터 수집, 전처리, 사용자 구별/인증 단계로 구성되는 EEG 기반 사용자 인증 프레임워크에서 전처리 단계에 적용될 수 있는 방법으로서 Chuang 등[11]과 Auto-encoder에 각각 적용되어 가능성이 증명되었으나, Auto-encoder와 같이 자체적으로 입력 데이터에 대한 잡음제거 기능을 갖춘 기법들에 대해서는그 효과에 제한이 있었다. 따라서 향후 Auto-encoder뿐만 아니라 입력 데이터에 대한 분류/식별 문제에 있어서 탁월한 성능을 보이는 딥러닝 계열의 합성곱 신경망이나 순환 신경망 등, 전처리 이후 사용자 구별/인증 단계의 기법들과 점진적 EEG 샘플 제거 방법을 상호보완적으로 사용하는 연구를 수행하여 단일 채널 EEG 수집 장비 기반의 사용자 인증기술의 상용화에 기여할 계획이다.
* 본 연구는 2015년 공주대학교 학술연구지원사업의 연구지원 에 의하여 수행 되었습니다.
참고문헌
- A.K. Jain, A. Ross, and S. Prabbakar, "An Introduction to Biometric Recognition," IEEE Transactions on Circuits and Systems for Video Technology, vol. 14, no. 1, pp. 4-20, Jan. 2004. https://doi.org/10.1109/TCSVT.2004.839484
- J. Thorpe, P.C. van Oorschot, and A. Somayaji, "Pass-thoughts: Authenticating with Our Minds," Proceedings of the 2005 Workshop on New Security Paradigms, pp. 45-56, Sep. 2005.
- J. Berkhout, D.O. Walter, "Temporal Stability and Individual Differences in the Human EEG," IEEE Transactions on Biomedical Engineering, vol. BME-15, no. 3, pp.165-168, Apr. 2008.
- H. Van Dis, M. Corner, R. Dapper, G. Hanewald, and H. Kok, "Individual Differences in the Human Electroencephalogram during Quiet Wakefulness," Electroencephalography and Clinical Neurophysiology, vol. 47, no. 1, pp. 87-94, Jul. 1979. https://doi.org/10.1016/0013-4694(79)90035-X
- J. Ma, J.W. Minett, T. Blu, and W. Wang, "Resting State EEG-Based Biometrics for Individual Identification Using Convolutional Neural Networks," Proceedings of the 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 2848-2851, Aug. 2015.
- T. Pham, W. Ma, D. Tran, P. Nguyen, and D. Phung, "A Study on the Feasibility of using EEG Signals for Authentication Purpose," ICONIP 2013, LNCS 8227, pp. 562-569, Nov. 2013.
- W. Khalifa, A. Salem, M. Roushdy, and K. Revett, "A Survey of EEG Based User Authentication Schemes," Proceedings of the 2012 8th International Conference on Informatics and Systems, pp. 55-60, May 2012.
- S. Marcel, J.R. Millan, "Person Authentication Using Brainwaves (EEG) and Maximum A Posteriori Model Adaptation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 4, pp. 743-748, April 2007. https://doi.org/10.1109/TPAMI.2007.1012
- S. Sun, "Multitask Learning for EEG-Based Biometrics," Proceedings of the 2008 19th International Conference on Pattern Recognition, pp. 51-55, Dec. 2008.
- C. Ashby, A. Bhatia, F. Tenore, and J. Vogelstein, "Low-Cost Electroencephalogram (EEG) based Authentication," Proceedings of the 2011 5th International IEEE/EMBS Conference on Neural Engineering, pp. 442-445, Apr. 2011.
- J. Chuang, H. Nguyen, C. Wang, and B. Johnson, "I think, therefore I am: Usability and Security of Authentication using Brainwaves," Proceedings of the 2013 Workshop on Usable Security, pp. 1-16, Apr. 2013.
- M. Abo-Zahhad, S.M. Ahmed, and S.N. Abbas, "A new multi-level approach to EEG based human authentication using eye blinking," Pattern Recognition Letters, vol. 82, no. 2, pp. 216-225, Oct. 2016. https://doi.org/10.1016/j.patrec.2015.07.034
- S. Lange and M. Riedmiller, "Deep Auto-Encoder Neural Networks in Reinforcement Learning," Proceedings of the 2010 International Joint Conference on Neural Networks, pp. 1-8, Jul. 2010.
- X. Lu, Y, Tsao, S. Matsuda, and C. Hori, "Speech Enhancement Based on Deep Denoising Autoencoder," Proceedings of the 14th Annual Conference of the International Speech Communication Association, pp. 436-440, Aug. 2013.
- K. Wu, Z. Gao, C. Peng, and X. Wen, "Text Window Denoising Autoencoder: Building Deep Architecture for Chinese Word Segmentation," NLPCC 2013, CCIS 400, pp. 1-12, 2013.
- M.R. Souza, L.R. Almeida, and G.D. Cavalcani, "Combining Distances through an Auto-Encoder Network to Verify Signatures," Proceedings of the 2008 10th Brazilian Symposium on Neural Networks, pp. 63-68, 2008.
- "Officials make fake fingers and recognize fingerprints by using them to steal night work allowances," http://www.yonhapnews.co.kr/bulletin/2016/06/14/0200000000AKR20160614175700064.html [Accessed 2017.02.17.]
- "Normal EEG Waveforms," http://emedicine.medscape.com/article/1139332-overview [Accessed 2017.02.17.]
- "EMOTIV EPOC+," https://www.emotiv.com/epoc/ [Accessed 2017.02.17.]
- "NeuroSky MindWave Mobile," http://store.neurosky.com/pages/mindwave [Accessed 2017.02.17.]
- "MindWave Mobile: User Guide," http://download.neurosky.com/support_page_files/MindWaveMobile/docs/mindwave_mobile_user_guide.pdf [Accessed 2017.02.17.]