An Untrained Person's Posture Estimation Scheme by Exploiting a Single 24GHz FMCW Radar and 2D CNN

단일 24GHz FMCW 레이더 및 2D CNN을 이용하여 학습되지 않은 요구조자의 자세 추정 기법

Abstract

Purpose: In this study, We aim to estimate a untrained person's three postures using a 2D CNN model which is trained with minimal FFT data collected by a 24GHz FMCW radar. Method: In an indoor space, we collected FFT data for three distinct postures (standing, sitting, and lying) from three different individuals. To apply this data to a 2D CNN model, we first converted the collected data into 2D images. These images were then trained using the 2D CNN model to recognize the distinct features of each posture. Following the training, we evaluated the model's accuracy in differentiating the posture features across various individuals. Result: According to the experimental results, the average accuracy of the proposed scheme for the three postures was shown to be a 89.99% and it outperforms the conventional 1D CNN and the SVM schemes. Conclusion: In this study, we aim to estimate any person's three postures using a 2D CNN model and a 24GHz FMCW radar for disastrous situations in indoor. it is shown that the different posture of any persons can be accurately estimated even though his or her data is not used for training the AI model.

연구목적: 본 연구에서는 단일 24GHz FMCW레이더를 사용하여 수집된 적은 양의 학습데이터로 학습된 AI 모델을 사용하여 학습되지 않은 사람의 3가지 자세를 구분하고자 한다. 연구방법: 실내에서 학습 대상자들의 3가지 자세(서기, 앉기, 눕기)에 대한 FFT데이터를 수집하여 2D 이미지로 변환시킨 후 제안하는 2D CNN 모델로 학습시켜 학습에 사용되지 않은 새로운 대상자들의 자세를 잘 구분할 수 있는지 실험을 통해 정확도를 분석하였다. 연구결과: 제안하는 기법을 통해 3가지 자세의 평균 정확도가 89.99%임을 보였고, 기존의 1D CNN이나 SVM 보다 성능이 향상되었다. 결론: 실내에서 재난이 발생하는 경우 단일 FMCW 레이더와 AI 기법을 통해 요구조자의 자세를 추정하고자 하였으며, 학습되지 않은 대상자의 자세도 높은 정확도로 추정이 가능함을 실험을 통해 확인하였다.

서론

재난 상황에서의 요구조자의 위치나 자세에 대한 정보는 구조팀에 의한 신속한 구조과정에서 매우 중요하다. 또한 최근 국내에서 독거노인이 급격히 증가하고 있는 추세에서 비 재난 상황에서도 낙상이나 생활 안전사고 등이 심각한 위기 상황으로 진행하는 것을 사전에 방지하기 위해 실내 거주자의 위치나 자세 추정에 대한 연구가 최근 주목을 받고 있다. 한국과 일본의 경우에는 초고령 사회에 진입하고 있는 상황이고 이러한 노인의 상당수는 혼자 살고 있는 1인 가구의 형태가 증가하고 있다. 이러한 상황에서 노인들이 낙상이나 생활 안전사고 등으로 인해 신속한 도움이 필요한 경우가 종종 발생하게 되지만 응급 상황을 인식하고 신속한 대응을 위해 반드시 필요한 정확한 자세 정보를 수집하기 매우 어려운 상황이다. 병원과 같은 의료기관에서는 환자의 자세를 모니터링하기 위하여 다양한 정보통신 기술을 활용하여 비정상적인 자세가 감지되면 간병인이나 의료 전문가에게 경고를 보내 신속한 대응을 할 수 있다(Abdu et al., 2023). 하지만 현재의 환자의 자세 또는 생체정보를 모니터링하는 시스템은 카메라나 웨어러블 센서에 의존하는 형태이다. 카메라를 활용한 시스템은 비교적 비용이 많이 들며 조명과 이미지 배경 등 환경 요인에 민감하며(Tong et al., 2022), 사생활 침해도 심각한 문제를 야기할 수 있다는 한계가 있다(Luo et al., 2019; Nalci et al., 2022.).

카메라 및 영상 활용 기술의 한계를 해소하기 위해 다양한 비 영상 센서들을 활용하는 기술이 소개되고 있다. 사람의 자세 및 행동 추정을 위한 웨어러블 센서는 사람의 신체 부위에 부착되거나 손목이나 손에 들고 있는 조건을 가정하는데, 웨어러블 센서는 사용자의 피부에 접촉되거나 소지해야하는 불편함이 있고, 부착된 위치에 따라서 정확성이 달라지는 한계가 있다(Lee et al., 2021). 비 웨어러블 센서는 물리적 접촉이 필요로 하지 않고 자유롭기 때문에 사용자의 관점에서 높은 편의성을 제공할 수 있으며 데이터의 획득 용이성, 장거리 조작성, 비침습성 등 다양한 장점을 제공한다 (Khatun et al., 2022). 이러한 장점으로 인해 비 웨어러블 센서 방식은 인간-컴퓨터 상호 작용, 스마트 감시 시스템 및 군사 보안을 포함한 광범위한 응용 분야에서도 연구되고 있다(Cui et al., 2020).

비 웨어러블 센서 중 대표적으로 이용하는 것은 레이더 기술이다(Yun et al., 2023; Yang et al., 2023). FMCW(FrequencyModulated Continuous-Wave) 레이더는 사람, 로봇 등의 실내 위치와 활동 인식용으로 많이 사용되고 있으며 자율주행 등 자동차 관련 연구에도 많이 사용되고 있다. FMCW 레이더는 목표물의 속도, 범위 정보를 파악할 수 있어 인체의 자세를 추정할 수 있는 데이터를 수집할 수 있다. 하지만 수신 신호를 복잡하게 만드는 다중 경로 효과로 인하여 기존의 FMCW 레이더만을 사용하여 자세를 정확하게 추정하기는 어렵다.

최근 이미지 데이터를 기반으로 SVM(Support Vector Machines) 및 DNN(Deep Neural Networks)와 같은 인공지능(artificial intelligent, AI) 기법을 활용하여 컴퓨터가 스스로 학습한 자세를 분류하는 연구가 소개되었고(Neili et al., 2017; Chin et al., 2019), 이를 기반으로 FMCW 레이더로 수집된 비 이미지 데이터와 CNN(Convolutional Neural Network) 기법을 활용하여 사람의 위치 및 자세 구분 연구도 소개되었다(Yang et al., 2023). 하지만 기존 2D CNN 모델을 이용한 위치 및 자세 연구에서는 학습데이터로 AI 모델을 학습시키는 지도학습 방식을 적용하였는데, 학습데이터를 구축하는데 참여한 사람의 위치와 자세 데이터의 일부를 학습시킨 후, 다른 일부의 데이터로 동일한 사람의 위치와 자세를 정확하게 추정할 수 있는지를 평가하여 학습에 참여하지 않은 다른 사람에 대해서는 적용하기 힘들다는 한계가 있음을 실제 실험을 통해서 확인하였다. 따라서 본 연구에서는 새로운 2D CNN 모델을 통해 학습에 참여하지 않은 다른 사람의 자세를 구분하고자 하였으며, 다양한 신체 형태를 가진 사람들의 자세 특징을 제안하는 2D CNN 모델에 학습시킨 후, 실제 실험을 통해 제안 기법의 유효성을 확인하였다.

연구 이론과 시스템 설명

FMCW Radar 원리

고 전력 펄스(Pulse)를 방출하고 에코 반환(Echo reception)을 수신하는 기존 펄스 레이더 시스템과 달리 FMCW 레이더는 변조 주파수(Modulated Frequency)를 사용하여 연속파(Continuous Wave)를 전송한다. FMCW 레이더에서 대상까지의 거리 측정은 전송 신호와 수신 신호 간의 주파수 차이를 평가하여 수행한다. 주파수 차이는 정적 대상까지의 거리를 측정할 수 있게 한다. 식 (1)은 FMCW레이더에서 전송된 신호의 주파수로 다음과 같이 표시한다.

\(\begin{align}f_{T}(t)=f_{0}+\frac{2 B}{T c} t\end{align}\)       (1)

f0는 반 송파 주파수이고 B는 chirp 신호의 대역폭이고, T_c는 chirp 지속 시간이다. 식 (2)는 수신 신호 주파수로 실험 대상자에서 반사된 후 전파 지연으로 인해 약간 다른 주파수를 나타낸다.

\(\begin{align}f_{R}(t)=f_{0}+\frac{2 B}{T c}(t-\Delta t)\end{align}\)       (2)

\(\begin{align}\Delta t=\frac{2 R}{C}\end{align}\)는 목표로부터의 반사 지연이고 이를 통해서 송신 신호와 수신 신호의 사이의 차이를 통해 거리 측정을 한다. 이 때 R은 거리, C는 빛의 속도이다. 식 (3)은 비트 주파수로 전송 주파수와 수신 주파수 차이로 비트 주파수를 구하는 공식이다.

\(\begin{align}f_{b}=\frac{2 B}{T c} \Delta t\end{align}\)       (3)

Fig. 1은송신 주파수와 톱니 모양의 수신 주파수의 차이를 나타내는 FMCW 레이더의 기본 원리를 보여주고 있다.

Fig. 1. FMCW radar transmitted and received signal and bit frequency

FFT 측정 행렬 생성 및 자세 이미지 변환

FMCW 레이더를 사용한 표적 탐지 및 거리 측정에서의 프로세스는 Chirp 신호의 방출 시간과 Echo 수신의 두 가지 단계로 전개된다. 이 두 가지 단계(방출 및 수신)에 걸리는 시간을 펄스 반복 간격(Pulse Repetition Time, PRT)이라고 한다. 레이더가 지속적으로 Chirp 신호를 보내고 받을 때(또는 일련의 PRT를 실행할 때) 일련의 FFT Bins들을 수집할 수 있고 레이더가 다중 Chirp를 사용하는 경우 수신된 신호의 강도가 향상되어 대상의 위치와 상태를 더 명확하게 파악할 수 있다. 각 PRT 내에서 FFT가 계산이 되어, 이 FFT는 대상의 자세 및 위치에 대한 주파수 정보를 제공한다. 여러 PRT에 대해 이 작업을 수행하여 레이더는 일련의 FFT를 수집하며, 수집된 FFT는 측정 행렬(Measurement Matrix)을 형성하기 위해 순서대로 정렬되거나 적층된다. 이렇게 형성된 측정 행렬은 고정된 한 순간에 대상의 위치와 상태에 대한 데이터를 가져오는 것이 아닌 일정 기간 동안 이 데이터를 지속적으로 기록한 값을 의미한다. 시간이 지남에 따라 대상의 자세가 변경되면 이러한 변경 사항이 기록되어 행렬 형태로 갖추어진 것이 측정 행렬이라고 할 수 있다.

본 실험에서 사용한 측정 행렬 생성 과정은 Fig. 2를 통해 설명하고 있는데 측정 행렬은 FMCW 레이더를 이용하여 FFT 데이터를 모으면 평균적으로 분당 대략300개 가량의 레이더의 Chirp 신호를 모으게 된다. 이렇게 모은 대략300개의 FMCW 레이더 Chirp는 Row(PRT의 양)로 할당하고 1번의 Chirp당 모으는 FFT Bin의 개수는 128개이기 때문에 Column을 FFT Bins으로 가지는 하나의 큰 행렬로 적층시킨다. 이렇게 적층한 행렬을 각각의 사람과 자세(Lie, Sit, stand)별로 3개씩 생성한다. 각 생성한 행렬들은 각 사람의 자세 주파수 정보를 담은 측정 행렬이라고 할 수 있다. 레이더 센서에 대한 거리와 상대 각도에 따른 인체 반사의 변화는 FFT 측정 범위 내에서 뚜렷한 특징이 되고 이는 같은 거리에서 서로 다른 사람의 인체 반사가 FMCW 레이더 신호의 뚜렷한 위상 변이와 진폭 변화로 이어진다는 것을 시사한다. 이러한 위상 및 진폭 변화를 사용하여 자세 주파수와 같은 특정한 정보를 나타내는 고유한 행렬을 만들어낸다. 이 FFT 행렬들은 사람의 자세에 대한 주파수 정보를 담고 있으며 각 사람마다 사람의 몸의 형태에 대한 자세 주파수 정보는 조금씩 다르지만 일반적인 사람이 앉고, 서고, 일어나는 자세에 대한 진폭과 위상 변화를 담은 행렬이라고 할 수 있다. 그리고 이렇게 영역 내에서 대상의 상태 및 자세를 캡슐화(Encapsulation)하는 행렬은 이미지와 동일시될 수 있다. 이 측정 행렬은 이미지와 같아질 수 있고 여기서 각 FFT bins들의 값은 이미지나 영상의 픽셀(Pixel) 값에 비유가 될 수 있다(Yang et al., 2023). 본 연구에서는 이런 식으로 행렬 형태의 데이터를 이미지 형태로 변환하여 2D CNN을 통하여 인간의 자세를 분류하고자 하였다. 데이터 수집을 위해서 실내 환경에서의 같은 위치에서 3명의 대상자의 자세에 대한 FMCW 레이더 반사 및 주파수 정보를 수집한다. 그 후 이러한 FFT 측정 행렬은 이미지와 같은 구조로 변환 및 인간의 자세 이미지에 대한 이미지 데이터 세트를 생성한다.

Fig. 2. Schematic diagram of making measurement matrix

시스템 개요

제안된 시스템의 전체적인 개요는 Fig. 3을 통해 설명을 할 수 있는데 ‘S’사의 24GHz FMCW레이더 EVALKIT SMR-334와 Raspberry Pi 2 Model B를 사용하여 전체적인 시스템을 구성하였고, 한 개의 Raspberry Pi 2 Model B는 FMCW 레이더의 작동 및 전원 공급을 담당하고 다른 하나의 Raspberry Pi 2 Model B는 서버 역할을 하여 데이터를 수집하는 데이터베이스 역할을 한다. Raspberry Pi 2 Model B로 서버와 작동 및 전원 공급을 함으로써휴대가 가능해지고 장소에 구애받지 않음으로써 사건 현장이나 응급 상황 같은 곳에서도 사용할 수 있게끔휴대성을 높였다. 데이터 수집 과정 및 학습은 FMCW 레이더와 연결된 Raspberry Pi 2 Model B에서 레이더를 작동시키고 Wi-Fi를 통하여 레이더로 수집한 데이터를 다른 Raspberry Pi 2 Model B(Server)에 전송 후 서버 안의 데이터베이스에 저장한다. 저장한 데이터는 FMCW 레이더의 24GHz 주파수에서 비트주파수로써 이 주파수에는 각 사람에 대한 자세에 대한 정보를 가지고 있음은 앞에서 설명을 하였다. 측정된 FFT 행렬을 FFT 이미지로 변환하는 Python 모듈로 데이터 전처리를 수행한 후 제안 시스템은 2D CNN 모델을 사용하여 자세를 추정한다.

Fig. 3. Proposed Simultaneous Posture Estimation System

제안된 2D CNN 모델

Fig. 4는 제안된 2D CNN 모델의 핵심 구조를 보여주며, 이는 Convolution 계층, Pooling 계층, Flatten 계층, Fully-Connected 계층의 4가지 주요 계층으로 구성되어 있다. 첫번째Convolution 계층은 이미지에서 직접적으로 특성(Feature)를 추출하기 위해 Convolution 커널을 활용한다. 각 필터는 독특한 가중치 세트를 갖추고 있어 입력 이미지에서 독립적으로 특징을 추출하는데 유용하다. 계층의 개수는 2개를 사용하였으며 첫 계층은 (3x3) 사이즈의 32개의 kernel, 두 번째 계층은 64개의 kernel을 사용함으로써 계층을 지날수록 더 깊은 특징 찾고자 하였다. 다음으로 Dropout을 통해 특정 비율의 뉴런을 무작위로 비활성 하여 모델이 특정 뉴런에 너무 의존하지 않도록 하는 정규화 기술을 사용하여 과적합을 방지한다. 두 번째로 왜곡에 대한 안정성을 향상시키고 네트워크 연산 효율성을 높이기 위해 Pooling 계층이 특성 압축을 위해 사용된다. Pooling 계층은 또한 입력 이미지의 고수준 특징을 학습할 수 있다. 세 번째는 Flatten 계층으로 다차원 데이터를 1차원으로 변환하고 Convolution 계층과 Fully-Connected 계층을 연결하는 역할을 한다. 네번째Fully-Connected 계층은 이전 계층의 결과를 직렬로 배열하고 이를 최종 출력 계층으로 변환한다. 이러한 계층들의 다 계층 구조는 분류에 필요한 고수준 특성을 추출하는데 필수적이다. 마지막 출력 계층은 ‘Stand’, ‘Sit’, ‘Lie’ 세 가지 자세를 구분하기 위해 3개의 출력 뉴런을 갖고 있으며 SoftMax 활성화 함수를 사용한다.

Fig. 4. Proposed 2D-CNN structure

이러한 구조를 가진 제안된 2D CNN 모델은 효과적으로 시각적 특성 계층을 학습하고 이미지 데이터 세트의 복잡성을 잘 이해한다. 데이터 세트는 6:2:2의 비율로 나누었으며 60%는 훈련 세트(Train-set), 20%는 검사 세트(Test-set), 20%의 유효성 검사 세트(Validation Set)로 이미지 데이터를 나누어서 성능을 평가하였다. 총 데이터는 한 자세당 900개의 자세 FFT 이미지를 가지고 총 2700개의 이미지 데이터를 가진 데이터 세트를 같은 장소 및 같은 위치에서 수집하여 학습하였고 제안된 2D CNN 모델을 평가하기 위해 Train과 Test 데이터가 안 겹치게 학습하였을 뿐만 아니라 2D CNN 모델이 학습하지 않은 다른 사람의 자세도 잘 평가하는지를 보기 위해 2D CNN으로 학습한 모델과 다른 사람의 자세 데이터도 평가를 위해 사용하였다.

실험 방법 및 결과

앞서 시스템 개요에서 언급한 바와 같이 FMCW 레이더는 ‘S’사의 24GHz FMCW 레이더 EVALKIT SMR-334를 사용하였으며 Table 1에 장치의 기술 세부 정보를 요약하였다. 실험은 A대학교 B관 6층에서 가로 6m, 세로 11m, 높이 2.55m 크기의 개방된 실내 복도에서 실시하였다. 실험에 참여한 대상자들의 신체 조건은 Table 2에 설명 되어 있다. 대상자들은 23살 부터 31살까지 서로 다른 연령대와 신체 유형을 가진 사람들로 구성되어 있으며 사람에 따라 다르지만 고유한 자세 특성을 추출 위해 몸무게와 키가 비슷하지 않은 사람들로 구성하였다. Fig. 5(a)에서는 실험 환경에 대한 세부 사항을 설명하고 있는데 각 대상은 레이더와 3m 떨어진 위치에서 실험을 하였으며 레이더의 위치는 지상에서 0.7m 떨어진 높이에서 데이터를 수집하였다. Fig. 5(b)부터 (d)까지는 실험의 자세를 보여주고 있고 자세의 종류는 서기, 앉기, 눕기 세 가지 종류의 자세이며 각 자세 별로 FFT 데이터를 같은 장소에서 고정된 자세의 1분간의 수집을 10번 반복하여 총30분간 수집하였다. FFT 데이터의 형태는 128x1의 배열로 수집하였다.

Table 1. Configuration parameters of FMCW radar

Table 2. Main physical parameters of experiment participants

Fig. 5. Experimental setting & experiment postures

데이터는 각각 세 가지 다른 자세를 취한 세 사람으로부터 수집되었다. 학습된 데이터를 기반으로 모델의 실제 자세와 추정 자세 간의 정확도를 분석하기 위해 Table 3과 Table 4와 같이 데이터를 나누었다. Table 4에서는 두 명의 대상자에 대한 자세 이미지 데이터를 학습시키고 다른 한 사람의 데이터를 사용하여 모델을 테스트하여 테스트 데이터가 훈련 세트의 일부가 아닌 것을 사용하여 평가하였다.

Table 3. Comparison of one subject's training set and others' test sets

Table 4. Comparison of two subject's training set and another test set

Fig. 6(a)는 훈련시킨 모델의 Hyper Parameter 값을 보여주고 있으며 Fig. 6(a)와 같이 구성을 한 모델이 가장 최적의 성능을 보였다. Fig. 6(b)는 각 모델의 Train, Validation의 Accuracy를 보여주고 있으며 Epoch가 25일 때부터 100%에 근접하였고, Fig. 6(c)는 각 모델의 Train, Validation Loss를 보여주고 있으며 각 모델은 과적합의 징후라고 알 수 있는 Loss 값이 불규칙한 변화를 보여주는 현상 없이 계속해서 Loss 값이 지속적인 감소를 보여주었다.

Fig. 6. Model’s appropriate parameters and Graph of accuracy and loss values for each model

Fig. 7은 Target 1, 2, 3 중 1명의 데이터로 학습시킨 각각의 모델과 나머지 학습시키지 않은 2명의 자세를 추정한 결과를 나타낸다. Fig. 7(a)는 Target 1의 데이터를 학습시킨 모델과 Target 2, 3의 자세에 대해 실제 및 추정정확도를 보여주고 있고, Fig. 7(b)와 (c)는 각각 Target 2의 데이터를 학습시킨 모델과 Target 1, 3의 자세 추정정확도를, Target 3의 데이터를 학습시킨 모델과 Target 1, 2의 자세에 대한 실제 및 추정정확도를 비교하여 나타내고 있다.

Fig. 7. Accuracy Results for One Person's Trained Posture data Model

Fig. 8은 2명의 데이터를 학습시킨 후 나머지 다른 한 명의 자세에 대해 실제 및 추정정확도를 보여주고 있다.

Fig. 8. Accuracy results for two person's trained posture data model

실험 결과를 통해 2명의 데이터를 학습시킬 때의 성능이 한 명의 데이터를 학습시키고 자세를 추정했을 때보다 향상된 성능을 얻을 수 있음을 알 수 있었다. 그렇지만 한 명의 데이터 학습을 통해 정확도를 측정했을 때도 충분히 우수한 성능을 얻을 수 있었다.

Fig. 9는 제안된 2D CNN과 다른 기법들과의 평균 정확도를 비교한 그래프이다. 본 결과는 한 명의 자세 데이터들을 학습시키는 상황을 같게 하여 정확도를 비교해 보았으며, 그림에서 보여진 것과 같이 제안된 2D CNN 기법이 다른 기법들보다 향상된 성능을 얻을 수 있음을 확인하였다.

Fig. 9. Performance comparison between the proposed scheme and other schemes

결론 및 향후 연구

본 연구는 단일 24GHz FMCW 레이더와 2D CNN 모델의 결합을 통해 비 웨어러블 방식으로 사람의 3가지 자세를 정밀하게 추정하는 기법을 제안하고, 실험을 통해 학습에 참여하지 않은 다른 사람의 자세를 정확하게 추정할 수 있음을 보였다. 제안된 기법을 적용한 실험을 수행한 결과, 3명의 참가자별 평균적인 정확도는 각각 88.88%, 90.73%, 90.37%로, 세 가지 자세에 대한 전반적인 평균 정확도는 89.99%를 기록하였다. 이 결과는 각 사람의 자세에 대한 FFT 이미지의 고유한 특성이 있음을 확인하고, FMCW 레이더와 AI 모델의 결합을 통해 이를 정확하게 추정할 수 있음을 보인다.

본 연구의 성과는 재난이나 응급 상황에서 요구조자의 자세 정보를 신속하게 습득하고 이를 통한 효과적인 구조 활동에 활용할 수 있을 것으로 기대된다. 향후에는 3가지 자세 외에 다양한 자세를 추가하여 정밀하게 추정하는 개선된 기법에 대한 연구를 수행하고자 한다. 또한 실제 재난이나 응급 상황에서의 유효성을 보장하기 위해 천정, 벽, 바닥 등의 다양한 위치에 레이더를 설치하고, 레이더 신호 반사에 영향을 미치는 중요한 요소인 인간의 키, 몸무게, 의복 유형을 더 광범위하게 포함하며 습도, 온도 등의 다양한 실내 환경에서도 높은 추정 정확도를 도출할 수 있는 기법에 대한 연구를 진행하고자 한다. 마지막으로 레이더 기술을 사용하여 여러 개인을 동시에 감지하는 모델의 기능을 더 연구할 필요도 있고 이러한 연구는 실제 상황에서 유용하게 쓰일 것으로 예상된다.