CNN-LSTM-based Upper Extremity Rehabilitation Exercise Real-time Monitoring System

CNN-LSTM 기반의 상지 재활운동 실시간 모니터링 시스템

Rehabilitators perform outpatient treatment and daily rehabilitation exercises to recover physical function with the aim of quickly returning to society after surgical treatment. Unlike performing exercises in a hospital with the help of a professional therapist, there are many difficulties in performing rehabilitation exercises by the patient on a daily basis. In this paper, we propose a CNN-LSTM-based upper limb rehabilitation real-time monitoring system so that patients can perform rehabilitation efficiently and with correct posture on a daily basis. The proposed system measures biological signals through shoulder-mounted hardware equipped with EMG and IMU, performs preprocessing and normalization for learning, and uses them as a learning dataset. The implemented model consists of three polling layers of three synthetic stacks for feature detection and two LSTM layers for classification, and we were able to confirm a learning result of 97.44% on the validation data. After that, we conducted a comparative evaluation with the Teachable machine, and as a result of the comparative evaluation, we confirmed that the model was implemented at 93.6% and the Teachable machine at 94.4%, and both models showed similar classification performance.

재활환자는 수술 치료 후 신속한 사회복귀를 목적으로 신체적 기능 회복을 위하여 통원치료 및 일상에서 재활운동을 수행한다. 병원에서 전문 치료사의 도움으로 운동을 수행하는 것과 달리 일상에서 환자 스스로 재활운동을 수행하는 것은 많은 어려움이 있다. 본 논문에서는 일상에서 환자 스스로 효율적이고 올바른 자세로 재활운동을 수행할 수 있도록 CNN-LSTM 기반의 상지 재활운동 실시간 모니터링 시스템을 제안한다. 제안한 시스템은 EMG, IMU가 탑재된 어깨 착용형 하드웨어를 통해 생체신호를 계측하고 학습을 위한 전처리 과정과 정규화를 진행하여 학습 데이터세트로 사용하였다. 구현된 모델은 특징 검출을 위한 3개 합성곱 레이어 3개의 폴링 레이어, 분류를 위한 2개의 LSTM 레이어로 구성되어 있으며 검증 데이터에 대한 학습 결과 97.44%를 확인할 수 있었다. 이후 Teachable machine과의 비교평가를 진행하였으며 비교평가 결과 구현된 모델은 93.6%, Teachable machine은 94.4%로 두 모델이 유사한 분류 성능을 나타내는 것을 확인하였다.