Mobile Application for Real-Time Monitoring of Concentration Based on fNIRS

fNIRS 기반 실시간 집중력 모니터링 모바일 애플리케이션

Abstract

Learning assistance system that continuously measures user's concentration will be helpful to grasp the concentration pattern and adjust the learning method accordingly to improve the learning efficiency. Although a lot of various learning aids have been proposed, there have been few studies on the concentration monitoring system in real time. Therefore, in this study, we developed an Android-based mobile application that can measure concentration during study by using functional near-infrared spectroscopy, which is used to measure brain activity. First, the task accuracy was predicted at a maximum level of 93.75% from the prefrontal oxygenation characteristics measured while performing the visual Q&A task on 11 college students, and a concentration calculation formula based on a linear regression model was derived. Then, a survey on the usability of the mobile application was conducted, overall high satisfaction and positive opinions were obtained. From these findings, this application can be used as a customized learning aid application for users, and further, it can help educators improve the quality of classes based on the level of concentration of learners.

1. 서론

최근 코로나19로 인한 원격 수업이 활성화되면서 모바일 디바이스를 이용한 학습 환경이 점차 확대되고 있다. 이러한 환경에선 교수자가 학습 중에 학습자를 직접 대면할 수 없어 학습자가 얼마나 집중하고있는지 확인하는 것이 쉽지 않다. 따라서 기존의 모바일 디바이스용 학습 보조 애플리케이션이 유사한목적으로 사용될 수 있으나, 아직까지는 집중력을 객관적인 척도로 측정해주는 기능은 모바일 애플리케이션 형태로 구현된 바 없다. 대부분의 학습 보조 애플리케이션은 사용자가 학습하는 동안 스마트폰 애플리케이션의 알림을 해제하고 사용 못하도록 잠그거나, 학습 계획을 관리해주는 기능들을 제공하지만 [1-2], 학습 성취도에 대한 사용자의 주관적인 평가외에는 사용자의 집중 정도를 측정하고 모니터링할수 없어 집중력의 변화를 객관적으로 평가할 수 없다는 한계를 가진다.

뇌의 활동을 측정하는 방법에는 크게 침습적 방법과 비침습적 방법이 있다. 침습적인 방법은 수술을필요로 하여, 일반적으로 환자나 동물 실험에서 사용하며 두개골 속에서 뇌의 신호를 직접 측정하는 방법으로 신호 대 잡음 비율(Signal-to-NoiseRatio;SNR) 이 높은 신호측정이 가능하다. 반면 비침습적인 방법은 수술을 하지 않고 머리 밖에서 뇌의 신호를 측정하는 방법으로 비교적 편리하고 위험성이 적어[3] 일상 생활에서 사용할 목적의 애플리케이션 개발에 적절하다. 기존의 집중 정도를 객관적으로 측정하는 지표로는 비침습적인 뇌 활동 및 기능 측정 방식인 뇌파(Electroencephalogram; EEG)와 기능적 자기공명영상(functionalMagneticresonanceimaging; fMRI) 이 대표적이다 [4-5]. 또한 최근에는 휴대성을 높이고 뇌 활동을 혈류 내 산소 포화도를 통해 측정할수 있는 기능적 근적외선 분광법 (functionalNear Infra-RedSpectroscopy; fNIRS)이 각광을 받고 있다[6]. fNIRS는 EEG에 비해 비교적 장비의 시간 해상도가 떨어지고, fMRI에 비해 공간 해상도가 낮다는 단점이 있지만, 최근 개발된 무선 헤드셋 타입의 경우 휴대성이 매우 높아 일상에서의 뇌 기능을 확인하기 위한 인지 실험에 활용 여지가 높다는 장점이 있다[7].

fNIRS를 이용하여 사용자의 집중 정도를 판별한 연구는 아직 발표된 바 없으나, 유사하게 인지 부하정도를 fNIRS를 이용하여 분류한 연구가 발표된 바 있다 [8]. 이 연구에서는 인지 부하 실험으로 n-back task를 수행하는 동안 fNIRS로 측정한 산소화된 헤모글로빈 농도에 대해 간단한 선형 판별 분석(Linear discriminantanalysis;LDA)을 하였는데, task시작 10초 이후의 데이터를 이용하여 휴식 상태와 작업상태를 81%의 성능으로 분류할 수 있었다. 해당 연구는 3가지 난이도에 대해서 인지 부하 정도의 분류를 수행한 것으로, 사용자의 집중 정도를 fNIRS를 통해 정량화하고자 하는 본 연구와는 근본적인 목적에서부터 차별점이 있다. 또 다른 유사 연구로 fNIRS 와 기계학습을 이용하여 개별 맞춤형 학습 시스템이 제안된 바 있다[9].이 연구에서는 곱셈의 난이도에 따른 휴식 상태와 작업 상태 분류를 fNIRS로 시도하였는데, 낮은 난이도에서는 53%로 휴식 상태와 문제를 푸는 상태의 구별이 힘들지만, 높은 난이도에서는 69%로, 비교적 정확하게 구별할 수 있음을 밝혀냈다. 따라서, 연산의 난이도가 어려울수록 휴식 상태와 작업 상태 간 사용자의 인지 부하 정도의 차이가 크게 발생하고, 이를 fNIRS로 측정하여 분류가 가능함을 알 수 있다. 그러나 이 연구 역시 사용자의 집중정도를 정량화하지는 않았으므로 본 연구와는 차이가 있다.

본 연구에서는 집중력을 요구하는 인지 태스크를 제시하고 태스크를 수행하는 동안 측정한 fNIRS신호를 통하여 집중력이 발휘되는 동안의 뇌 전전두엽혈류 내 산소포화도를 관찰하고, 사용자의 집중 정도를 정량화하여 실시간으로 분석하고 모니터링할 수있는 안드로이드 기반의 모바일 애플리케이션을 개발하였다. 보다 구체적으로, 시각 자극이 제시되는 동안 집중력이 높을수록 이후에 진행되는 시각 자극과 관련된 질문에 대한 응답의 정확도가 높을 것이라고 가정하였다. 따라서 시각 자극이 제시되는 동안 측정된 fNIRS신호로 집중력 정도를 정량화하고, 응답 정확도를 예측할 수 있는지를 기계학습 기반의 분류 문제를 통하여 검증하였다. 이 애플리케이션을 통해, 학습자는 정량화된 집중 점수를 통해 본인의 학습 과정을 객관적으로 분석할 수 있고, 교수자는 학습자의 학습 상태를 모니터링함으로써 개개인에게 맞는 학습법을 제안하는 등 학습 환경을 개선할수 있을 것으로 기대한다.

본 논문의 구성은 다음과 같다. 2장에서 실험 방법을 소개한다. 여기에서는 데이터 수집을 위한 실험설계 방법과 취득된 데이터의 전처리 및 분석 기법을 소개한다. 3장에서 실험 데이터 분석에 기반한 집중력 측정을 위한 정량화 규칙을 제안하고 검증한다. 그리고 4장에서는 집중력 측정 모바일 애플리케이션의 사용자 인터페이스와 기능들을 서술하고, 사용성평가 결과를 서술하고, 5장에서 결론을 맺는다.

2. 실험 방법

2.1 실험 설계

본 연구에서는 피험자의 집중을 요구하는 인지 태스크를 실험에 사용하였다. 시각적 질의응답(Visual QuestionAnswering, VQA)[10]은 시각 자료를 일정 시간 동안 제시한 후, 그 시각 자료와 관련된 질문을 제시하는 태스크이다. VQA는 직전에 본 이미지를 기억해내며 질문을 이해하고 답변을 해야하므로 집중력과 관련된 인지 실험 연구에서 많이 활용되고있다[11]. 본 연구에서는 질문 없이 이미지를 응시하는 session1과, 이미지를 응시한 후 해당 이미지와 관련된 문제를 푸는 session2로 구성되었다. session1과 session2에 사용된 질문은 VQA의 demo이미지와 질문을 참고하여 만들어졌으며, 동일한 순서로 유사한 이미지가 제시되었다. 피험자들은 먼저 실험에 대한 충분한 설명을 들은 후 baseline 측정을 위해 검정 화면에 안내 문구가 적힌 화면을 33초 동안 응시 하였고, 이후 5초 동안 15개의 이미지를 응시하는 session1을 수행한 후 30초의 rest를 수행하였다. 마지막으로 15장의 이미지를 5초간 응시하고 5초간 해당 이미지에 대한 객관식 문제를 푸는 session2 를 수행하면, 30초의 rest이후 실험이 끝나게 된다.

실험에는 총 15명의 건강한 피실험자가 참여하였는데 4명의 연구대상자가 실험 중 과도한 움직임으로 인하여 분석에서 제외되었다. 따라서 피험자는 20~25세의 여성 11명으로 구성되어 있으며, 실험 전 피실험자들에게 실험 목적과 절차를 충분히 전달하였고 임상 시험 사전 동의서를 통해 자발적인 의사에 따라 실험에 참여할 수 있도록 하였다. 또한 피험자들은 실험 중 신체적, 정신적 문제가 발생할 시 바로 연구자에게 보고하도록 교육받았으며 모든 실험 절차는 숙명여자대학교 생명윤리위원회의 승인을 받아 진행되었다(승인번호:SMWU-1910-HR-097-02).

2.2 데이터 취득 및 전처리

먼저 사용자의 fNIRS데이터를 측정하기 위한 장비로서 OBELAB사의 Portable fNIRS Device인 NIRSIT (OBELAB, Seoul, Korea)을 사용하였다. NIRSIT은 765nm와 865nm의 두 파장을 사용하여 HbO와 HbR의 농도 변화를 출력한다. Detector와 source의 거리는 3cm이며, 신호는 8.138Hz로 샘플링되었다. 데이터는 11명의 피험자로부터 실험의 session2전체 150초 구간 동안 fNIRS신호를 측정하여 얻었다. 다음으로, 데이터 전처리는 Fig.1과 같은과정으로 진행되었다. 먼저 전전두엽 영역의 활성화정도를 대표할 수 있고 상대적으로 신호 취득이 용이한 영역으로 Fig.2 에서와 같이 48개의 채널 중 전전두엽의 가운데 영역인 17∼32번 채널을 선택하었다. 16개의 채널은 인접한 4개의 채널끼리 서브 영역으로 묶어 총 4개의 영역 정보가 분석에 사용되었다. Fig.2 에서 표시된 바와 같이 채널 17, 18, 21, 22를 R1, 19, 20, 23, 24를 R2, 25, 26, 29, 30을 R3, 27, 28, 31, 32를 R4로 명명하였다.

Fig. 1. Pre-processing Procedure.

Fig. 2. NIRSIT channels.

fNIRS로 취득된 두 파장에 따른 빛의 흡광도에 MBLL(Modified Beer-Lambert Law)을 적용하여 옥시헤모글로빈과 디옥시헤모글로빈의 농도로 변환하였다[12]. 저역 통과 필터(tau=0.1)를 사용하여 데이터 측정 과정에 발생할 수 있는 잡음을 제거하였다 [13]. 이후 movingaverage(windowsize=10)를 통해 한 번 더 잡음을 제거하고 각 영역에 해당하는 네 개의 채널들의 농도값으로 평균을 구하여 각 영역의 대푯값으로 삼았다.

또한 fNIRS신호가 측정된 session2의 전체 150초구간 중 초반의 25초 구간만을 분류에 사용하였다. 이는 정답률이 높은 그룹과 낮은 그룹의 농도 변화를 시각화 해보았을 때, 두 그룹 간의 차이가 session2 시작 직후 25초간 가장 명확하게 나타났기 때문이다. 분류에 사용하는 fNIRS신호는 구간 전체를 사용하기 보다는 분류 정확도를 향상시킬 수 있는 시간 구간을 찾아내기 위하여 25초 전체의 데이터를 10초구간으로 나누었다 [14]. 그 결과, 각 피험자의 데이터에서 10초 구간의 데이터가 4개씩 생성되었다(i.e., [0,10], [5,15], [10,20], [15,25]). 10초 window의 농도값의 변화 데이터에서 신호 기울기(slope), 신호 평균 (mean), 신호 분산(var), 피크의 합(pk_sum), 피크의 수(pk_num), 피크의 평균(pk_mean), 신호 첨도(skew), 신호 편포도(kurtosis)등 여덟 가지 시간 영역 특성을 추출하여 분류에 사용하였다. Table1에서 볼 수 있듯이, slope, peak(pk_sum, pk_num, pk_mean), skew, kurtosis는 python scipy의 curve_fit, find_peaks, skew, kurtosis 함수를 사용하였고, mean과 variance는 pythonnumpy의 mean과 var 함수를 사용하여 계산되었다.

Table 1. Extracted signal features and calculation tools.

추출된 특징 값들은 아래의 수식(1)을 통해 0-1 사이의 값으로 스케일링 되었다.

\(z^{\prime}=\frac{z-\min z}{\max z-\min \boldsymbol{z}}\)       (1)

여기서 z는 각 특징의 값이고, z'는 0과 1사이로 스케일된 값들이다.maxz는 가장 큰 값, minz는 가장 작은 값을 의미한다.

3. 데이터 분석

3.1 사용자 그룹 분류

본 연구에서는 session2의 정답률과 집중력 간에 상관관계가 있다는 가정에 따라 진행되었다. 실험에 참가한 피험자 11명의 평균 정답률은 0.88로, 평균정답률보다 정답률이 높은 6명과 평균 정답률보다 정답률이 낮은 5명의 두 그룹으로 나누었다. 이렇게 나눈 두 그룹을 연구 가설에 따라 fNIRS신호 특징으로의 분류를 시도하였다.

Fig.3의 x축은 시간(초)을 나타내고, y축은 \(\mathrm{HbO}_{2}\) 농도를 나타낸다. 파란색 선은 정답률이 높은 그룹의 평균 농도를 나타내고, 빨간색 선은 정답률이 낮은 그룹의 평균 농도를 나타낸다. 하이라이트 된 첫 구간은 실험에서 session1 을, 두 번째 구간은 session2 를 나타낸다. 정답률이 높은 그룹은 문제 풀이가 없는 session1 에서부터 시각 자극에 대한 옥시헤모글로빈 농도 변화가 정답률이 낮은 그룹보다 큰 것을 확인할 수 있다. 그리고 session2 가 진행되면서 두그룹간 농도 차이가 시간이 지날수록 점점 줄어드는 것으로 나타났다.

Fig. 3. Concentration graphs for each region, R1, R2, R3, and R4 from the top to the bottom.

네 개의 시간 구간마다 여덟 개의 시간 영역 특징을 추출하였고, 각 구간마다 특징 조합을 늘려가면서 분류성능을 비교해보았다. 분류기는 fNIRS-BCI연구에서 가장 일반적으로 사용되는 분류인 LDA를 사용하였다. 많은 fNIRS연구에서 BCI에 대한 LDA의 사용을 성공적으로 입증하였으며 분류 정확도에서도 우수한 성능을 제공하고, SVM이나 ANN에 비해 계산 비용이 낮다[13]. 따라서 4-fold교차검증을 통해 얻은 평균 성능을 Table2에 시간 구간과 특징개수에 따른 LDA분류 정확도를 정리하였다. 각 시간 구간별로 특징 1개부터 4개까지의 조합 중 상위 정확도에 해당하는 조합 5가지를 보여준다. Session2의 5∼15초 구간([5,15])에서 var, pk_mean, skew의 특징 조합과 var, pk_sum, skew의 조합, var, pk_mean, pk_sum, skew의 조합이 93.75%의 정확도로 가장 높은 정확도를 보였다. 15∼25초 구간에서는 mean, pk_mean, pk_sum, skew의 조합은 91.67%의 정확도를 나타내었다. Table 2를 통해 4가지 구간 (i.e., [0,10], [5,15], [10,20], [15,25]) 중 [5,15]구간이 다른 구간에 비해 대체로 높은 정확도가 나타남을 알 수 있다.

Table 2. Summary of the classification accuracy over time window and feature combinations.

3.2 정량화 규칙 설계

3.1의 결과를 토대로 의미있는 혈류 내 \(\mathrm{HbO}_{2}\)농도변화를 [5,15]구간에서 얻을 수 있을 것으로 판단하고, 이 구간동안 측정된 \(\mathrm{HbO}_{2}\)농도 변화를 나타내는 시계열 데이터를 이용하여 집중력 정량화 규칙을 설계하였다. 기 선택한 전전두엽 중앙 부분의 4개의 영역에 대한 특징들의 조합으로 정답률과의 상관관계를 나타낼 수 있는 정량화 규칙을 설계하기 위해 lin- ear regression방식을 사용하였다. 이때 linear re- gression은 python sklearn의 LinearRegression을 사용하였다. 4개의 영역과 8개의 특징, 총 32개의 속성에 대하여 선형 모델을 피팅하여 타겟에 해당하는 정답율과 선형 근사에 의해 예측된 값과의 잔차 제곱합을 최소화했다. 모바일 애플리케이션에 적용될 것을 감안하여 계산 효율을 위하여 상관계수가 높은 속성들만을 남기고 최종 정량화 수식(2)을 세웠다. 최종적으로 선택된 속성인 x₁은 R3의 kurt, x₂는 R2 의 skew, x₃은 R4의 skew를 의미한다. x₁의 가중치는 0.1357, x₂의 가중치는 -0.1755, x₃의 가중치 값은 -0.3079, 절편은 1.0367로 나타났다.

\(\begin{array}{l} y=\alpha x_{1}+\beta x_{2}+\gamma x_{3}+\delta \\ \text { where } \alpha=0.1357, \beta=-0.1755, \gamma= -0.3079, \text { and } \delta=1.0367 \end{array}\)       (2)

4. 모바일 애플리케이션

4.1 시스템 구성

시스템 구성도는 Fig.4에서 볼 수 있듯이 먼저 애플리케이션을 통해 얻어온 raw data를 MBLL, LPF, MovingAverage와 같은 과정을 통해 전처리한다. 이후 각 영역에 해당하는 신호를 추출하여 주기마다 5∼15초 구간의 Skewness와 kurtosis를 계산하여 정량화 수식에 적용한다. 각 특징값을 사용한 정량화된 집중 점수는 최종적으로 안드로이드 애플리케이션에서 레포트 형태로 사용자에게 제시된다.

사용자는 안드로이드 기기를 통해 NIRSIT과 통신하여 전전두엽의 혈류 변화를 측정할 수 있다. 학습을 시작하기 전 애플리케이션을 열어 타이머를 눌러 학습 시간을 계산하기 시작하고, 실시간 뇌 혈류변화 데이터를 측정한다. 애플리케이션 설정을 통해 사용자는 집중 점수를 몇 분마다 산출할지를 의미하는 집중 점수 측정 주기를 분 단위로 설정할 수 있으며 이때 사용자가 설정한 주기를 바탕으로 정량화 규칙에 따른 집중 점수가 계산된다.

Fig. 4. System configuration.

4.2 사용자 인터페이스

사용자는 학습이 끝난 후, 결과 화면에서 Fig.5(a) 에서 보이는 것처럼 뇌 혈류 변화 기반의 집중 레포트를 확인할 수 있다. 각 레포트별로 타이머로 측정된 전체 학습 시간, 사용자가 지정했던 집중 측정 주기, 집중 점수 정보가 제공된다. Fig.5(b)에서 나타나는 세부 레포트 페이지에서는 해당 학습에 대한 전체학습 시간, 최고 집중 구간, 최저 집중 구간 및 시간에 따른 집중 점수 그래프 등 결과 화면에서 확인할 수 없었던 세부적인 정보들을 확인할 수 있다. 집중 점수 그래프는 집중 측정 주기를 바탕으로 전체 구간을 나누어 각 부분별로 계산된 집중 점수 변화를 나타내는데 점수가 가장 높았던 구간이 최고 집중 구간이고, 점수가 가장 높았던 구간이 최저 집중 구간이 된다. 집중 점수는 모든 구간에서의 집중 점수의 평균값을 의미한다. 사용자는 이를 통해 본인의 집중 정도 및 학습 패턴을 파악할 수 있다.

Fig. 5. Application user interface: (a) report summary screen and (b) detailed report screen.

4.3 사용성 평가

본 실험이 끝난 후 모든 피실험자에게 애플리케이션에 대한 사용성 조사를 실시하였다. 사용성 조사는 공통 문항과 유용성, 사용성, 매력성, 학습성에 대한 문항들로 이루어져 있으며 설문 문항은 기존 연구에서 애플리케이션 사용성 평가에 사용되는 문항들을 참고하여 구성하였다 [15-17]. 사용자는 문항마다 1 부터 5까지의 점수로 응답하였으며, *표시는 점수가 낮을수록 사용성이 높은 문항임을 의미한다.

사용성 조사의 결과는 다음 Table3과 같다. 사용성 1번 문항인 ‘Is the overall screen composition comfortable to see?’와 사용성 3번 문항인 ‘Can you quickly and easily check reports on learning?’문항에서 피험자들이 대부분 ‘매우 그렇다’를 선택하면서 각각 4.57과 4.0의 높은 점수를 기록했다.

Table 3. Usability evaluation questionnaire.

피험자들은 fNIRS에 대한 사전 지식이 없는 대학생들로 구성되어 어떻게 fNIRS장비를 착용하는지, 어떻게 집중 점수가 산출되는지에 대해 익힐 필요가 있었다. 하지만 학습성 1번 문항인 ‘Is it easy to learn how to learn this app?’과 3번 문항인 ‘Can you easily use it without help when using it again?’의 점수는 각각 4.14와 4.50으로 피험자 대부분이 ‘매우 그렇다’를 선택했다. 또한, 공통 문항 3번 문항인 ‘I think this app is easy to use.’와 6번 문항인 ‘I think many people will easily learn how to use this app.’을 통해 일반인이 애플리케이션의 원리와 사용 방법을 배우기만 한다면 누구나 쉽게 사용할 수 있다는 것을 유추해낼 수 있다.

5. 결론

본 논문에서는 사용자가 학습을 하면서 집중 정도를 실시간으로 모니터링할 수 있는 학습보조 애플리케이션을 개발하였다. 기존 학습보조 애플리케이션은 학습 중 스마트폰을 사용 못하도록 돕거나 공부계획을 직접 관리할 수 있는 기능들은 갖추었지만, 사용자의 집중력을 측정하여 학습에 얼마나 집중하고 있는지 모니터링할 순 없다. 따라서 본 논문에서는 집중도를 객관적으로 측정하고 학습자가 모니터링 할 수 있도록 비침습적인 뇌신호 측정 방법인 fNIRS를 이용하여 뇌전두엽 영역의 산소 포화도를 관찰 및 분석하였다. 11명을 대상으로 인지 실험인 VQA를 수행한 후 정답률과 집중 정도 간에 상관관계가 있다는 가정에 따라 뇌혈류 변화 데이터에서 정답률을 기반으로 정답률이 낮은 그룹과 높은 그룹으로 LDA 기반의 분류를 수행한 결과, task시작 직후 [5,15] 초 구간에서 두 그룹이 가장 잘 분류됨을 알아냈다. 해당 구간에서 4개의 영역의 신호 특징들의 조합을 이용하여 집중 정도를 산출해 낼 수 있는 linearregression 기반의 정량화 규칙을 만들어 집중정도를 점수화하였다. 이를 바탕으로 사용자에게 레포트 형식으로 전체 학습시간, 사용자가 직접 지정한 집중 측정 주기, 집중 점수 등의 정보와 최고 집중구간, 최저 집중구간 등의 세부적인 정보를 제공하는 안드로이드 애플리케이션을 개발하였다. 본 논문에서 진행한 실험에서는 총 11명의 피험자의 결과 데이터를 사용하여 실험 결과를 일반화할 수는 없지만 후속 연구에서 실험인원을 보강하여 집중도 모니터링의 결과를 확인한 후 애플리케이션을 개선시키고자 한다. 이 애플리케이션을 통해 사용자는 해당 애플리케이션을 이용함으로써 본인의 학습 패턴을 파악할 수 있고, 이를 바탕으로 본인에게 적합한 학습법을 찾을 수 있을 것이다. 더 나아가 향후 교육기관이나 학교 등에서 사용될 경우, 수업 방향 조정등의 대중적인 활용 또한 기대할 수 있다.