Evaluation and Analysis of VR Content Dementia Prevention Training based on Musculoskeletal Motion Tracking

근골격계 동작 추적 기반 VR 콘텐츠 치매 예방 훈련 평가 및 분석

Abstract

Recently, the increase in the elderly population due to an aging society has led to a relative increase in senile diseases such as vascular dementia or Alzheimer's disease, and the social burden for rehabilitation has increased. In addition, studies have been conducted for the risk assessment and prevention of musculoskeletal disorders. The purpose of this study is to suggest a system that can be used to help with dementia prevention training by tracking the movement of motion and virtual reality contents for the risk factors of musculoskeletal disorders of the elderly. We propose a training method for preventing dementia through musculoskeletal motion analysis algorithm and virtual reality content. Through motion recognition algorithm based on motion region design, we will track and analyze the moving radius of the target joint. The purpose of this study is to calculate and evaluate scores based on the time to accomplish the goals on virtual reality contents for the prevention of musculoskeletal disorders and the support of dementia prevention training, and the degree of difficulty, and to analyze the correlation between the results of performing K-MMSE and VR contents.

1. 서론

최근 고령화 사회에 따른 노령인구 증가는 혈관성 치매나 알츠하이머 등 노인성 질환의 상대적 증가로 이어짐에 따라 간병 및 재활 등을 위한 사회적 부담비용이 매우 증가하고 있다. 이로 인해 질병을 초기에 예방하고 진행 과정을 늦추기 위한 노인의 신체운동, 지속적인 보살핌, 일상생활, 건강 관리지원 등에 대한 중요성이 대두되고 있다. 이와 같은 이유로 효율적인 치매 관리 시스템의 필요성이 제기되고 있다[1]. 고령자의 대표 질환인 근골격계 질환 진단을 위해서는 의사의 임상적 검사, 이학적 검사, 방사선검사 등 직접진단이 정확한 방법이지만, 노인들의 병원 기피 현상과 더불어 시간적 공간적 한계로 환자를 직접 관찰하기 어려운 경우 간접진단을 수행하기도 한다[2]. 간접진단의 경우 녹화된 영상을 통해 진단을 수행하며 이는 직접진단보다는 낮은 정확도를 갖는다[3]. 또한, 근골격계 질환에 대한 위험도 평가 및 예방을 위한 연구들이 이루어지고 있다[4-5].

가상현실(Virtual Reality)기술은 제한된 환경에서 새롭고 지속적인 반복훈련이 가능하고, 다양한 훈련을 수행하는 동안 프로그램을 통하여 피드백(feedback)을 받을 수 있으며, 훈련의 결과를 수치화 할 수 있고 환자의 수준에 맞춰 난이도를 조정할 수 있다[6-7]. 가상 현실 기술이 현실에서는 불가능하거나 비용이 많이 드는 노출 치료를 대신하기에 유용하기 때문이다. 또한, 가상 현실 기술은 소아들이 흥미를 보이고 쉽게 몰입하도록 만들기 때문에, 주의력결핍 과잉 행동 장애와 자폐증을 앓는 소아들의 진단및 사회 훈련기술에도 적용되고 있다[8]. 기존 연구들은 Kinect를 이용하여 작업자의 자세를 측정하고, OWAS 기법을 토대로 자세를 간단히 평가하기 위한 연구[9]와 작업자의 자세를 측정하기 위해 Kinect를 활용하고, 정확한 작업 자세의 평가를 위해 RULA기법을 적용한 인간공학적 작업 분석 시스템에 관한 연구[10]가 이루어졌다. 하지만, 고령자를 대상으로 가상 현실 콘텐츠와 동작 인식을 통해 고령자의 신체활동 건강상태 측정 및 근골격계 질환 예방 훈련을 위한 근골격계 운동 유도와 치매 예방 훈련을 동시에 수행할 수 있게 하는 연구는 미흡한 상태이다. 본 연구의 선행 연구로써 근골격계 질환 예방을 위한 가상현실 기반의 근골격운동 동작 분석방법을 제안하였으나[1-12], 이미지인식의 한계로 인해 일부의 동작을 인식하지 못하여 동작 인식의 범위가 축소되는 단점을 가졌다.

본 연구에서는 근골격계 질환 및 치매 예방 훈련을 위한 VR 콘텐츠 시스템을 제안하고, 선행 연구의 단점을 보완하기 위해 손목관절의 회전운동을 추적하는 장비를 통해 근골격계 질환 분석을 위한 동작인식의 범위를 넓히고 동작 분석의 정확도를 향상하는 방법을 제안하고자 하였다. 또한, 재활 훈련 등 다양한 VR 콘텐츠 시스템에 관한 연구들이 진행되고 있지만, VR 콘텐츠 시스템에서 얻어진 결과와 현실 세계의 측정결과에 대한 연관성 분석방법 연구는 미흡한 상태이다. 따라서, 동작 인식 기반 신체 활동및 치매 예방 훈련을 위한 VR 콘텐츠 수행 결과에 대한 상관관계를 분석을 통하여 VR 콘텐츠 기반 훈련시스템의 결과 평가 분석방법을 제안하고자 하였다.

본 연구에서 제안하는 방법은 가상 현실 콘텐츠를 수행하며 발생하는 운동 동작들을 동작 인식 카메라를 이용해 분석 추적하여 평가하는 방법으로 근골격계 건강상태를 추정할 수 있도록 하였다. 동작 분석은 영역지정 기반 동작 분석방법을 이용 하였으며, 분석대상이 되는 관절의 이동반경, 가상 현실 콘텐츠상의 목표를 수행하는 시간과 달성률, 난이도 등을 토대로 점수를 산출하여 평가하는 방법이다.

2. 근골격계 운동 동작 추적 및 분석방법

2.1 근골격계 운동 동작 인식

사용자의 근골격운동 분석을 위해 가상공간 내 특정 좌표 공간을 동작영역으로 지정하고 동작영역에 대한 목표 Joint의 출입을 실시간으로 확인한다. 손,팔꿈치, 목 등 근골격 분석에 필요한 목표 Joint의 동작영역 내 출입 여부는 분석을 위해 제시된 동작의 수행상황과 수행수준을 판단하는 기준이 된다. 가상공간에 동작영역을 지정하기 위해서는 다양한 체형을 통해 생성된 골격의 일반화가 필요하다. 중심(Spine)Joint와 머리/발 Joint 사이의 거리비율을 도출하고 골격에 반영하는 수식은 식 (1), 식 (2) 와 같다.

\(U: 1=U^{\prime}: x, L: 1=L^{\prime}: y\)       (1)

\(\begin{array}{l} \text { RootJoint }\left(x_{1}, y_{1}, z_{1}\right) \\ \text { Head } \operatorname{Joint}\left(x_{2}, y_{2}, z_{2}\right) \\ \text { Right } \text { Ankle } \operatorname{Joint}\left(x_{3}, y_{3}, z_{3}\right) \\ \qquad \begin{array}{l} U=\sqrt{\left(x_{2}-x_{1}\right)^{2}+\left(y_{2}-y_{1}\right)^{2}+\left(z_{2}-z_{1}\right)^{2}} \\ L=\sqrt{\left(x_{3}-x_{1}\right)^{2}+\left(y_{3}-y_{1}\right)^{2}+\left(z_{3}-z_{1}\right)^{2}} \end{array} \end{array}\)       (2)

2.2 근골격운동 동작 분석

근골격운동 분석을 위해 기본적으로 측정이 필요한 자세는 Fig. 1과 같은 동작들로 구성되어 있으며 각 동작의 수행 결과를 확인하기 위해서 분석 대상자를 깊이 카메라로 촬영하며 실시간으로 얻어지는 골격의 19개의 관절 정보를 추적한다. Fig. 2와 같이 관절의 움직임을 판별하기 위해 상태 확인에 가장 중요한 핵심 관절(Key Joint), 분석에 필요하지만, 주요요소는 아닌 목표 관절(Target Joint), 수행의 성공/실패를 판단하도록 돕는 Relation Joint를 선정하여 분석한다. 부위별 측정을 수행한 실행은 Fig. 2와 같이 진행되며 지정된 시간 동안 측정을 반복하여 정확도를 올릴 수 있게 하였다. 측정결과는 피드백 처리를 위해 DB로 전달되고 가상공간에서의 활동상황을 기록하여 재진단이 가능하도록 Low 데이터를 함께 보관된다. DB 전달 구조는 훈련용 VR 콘텐츠와 형태를 공유하며 피드백 시스템을 위한 파라미터 값을 식별하여 JSON 형식으로 구성하였다.

Fig. 1. State of Skeleton.

Fig. 2. Joint Movement Analysis.

상태를 알아보고자 하는 부위의 근골격계 질환 여부를 관절의 움직임으로 파악하기 위한 기능과 팔꿈치관절의 경우 해당 관절이 움직이는 각도를 확인하기 위해서는 상대적으로 손목의 움직임이 요구되었다. 건강 상태분석 알고리즘의 동작 수행분석을 통한 건강상태 판단 모듈 구조에 기반하여 Target Joint는 팔꿈치(Elbow)관절이 되고 KeyPoint Joint는 손목(Wrist)이 되게 된다. 두 개의 Joint 들에 대한 각도(Degree)를 구하기 위해서는 삼각함수 공식을 통해tan(Angle) = Height / Width를 변형한 Angle= atan(Height / Width)를 이용하였다. 최종 결과 값은 실수형으로 도출되며 float Angle = Mathf.Atan2( Height, Wight ) × Mathf.Rad2Deg 로 정리될 수 있다.

깊이 카메라 기반 동작 인식의 특성상 Fig. 3 같은 내/외회전(External/Internal Rotation)의 경우 근골격 분석에 필요한 동작임에도 불구하고 동작을 판별해 내지 못해 분석을 위한 참조데이터의 결손으로 인해 분석결과의 정확도가 낮아진다.

Fig. 3. Example of rotational movement.

동작 인식 카메라의 특성상 각 평면의 움직임이 아닌 X, Y, Z 중 어느 한 축을 중심으로 하는 움직임의 경우 그 변화량을 구하는 데 어려움이 있어 근골격 분석을 위한 관절 가동범위(ROM) 동작 중 회전(Rotation)에 기반한 동작 등 식별성이 낮은 동작은 배제하였다.

2.3 근골격 회전운동 분석을 통한 동작 추적

사용자의 회전운동 정보를 얻기 위해 3축 가속도 센서, 3축 자이로센서 값을 조합한 후 각각의 센서 출력을 전달하는 관성측정장치(IMU: Inertial Measurement Unit)가 탑재된 장갑 형태의 웨어러블 장치를 착용하고 블루투스 통신을 통해서 손가락과 손
의 움직임을 60FPS의 속도로 전달받는다.

전달된 정보는 3차원 좌표로 구성된 가상공간상에 투영되어 공간상에서 손의 움직임을 시각적으로 확인할 수 있으며 이 정보를 동작 인식의 추가 회전정보로 사용한다. 깊이 카메라를 통한 사용자 동작인식과 웨어러블 장치의 위치정보가 혼합되어 사용자의 움직임을 실시간으로 분석하는 결과화면은 Fig. 4와 같으며 이를 통해 동작 인식만으로 추적할 수 없었던 팔의 회전운동에 관련한 정보 수집이 가능해진다. 근골격계 운동 동작 분석에 있어서 깊이 카메라가 추적할 수 없었던 회전운동을 웨어러블 장치를통해 분석 가능한 움직임은 Table 1과 같이 왼쪽 오른쪽을 구분하여 총 18개가 추가되었으며 기존분석가능한 동작 대비 31.5% 증가한 측정 성능을 가진다.

Fig. 4. Motion analysis screen by applying rotational motion tracking information.

Table 1. Musculoskeletal movement analysis item variation

증가한 동작 분석 항목을 통해 근골격계 질환 분석 정확도 향상도 기대해 볼 수 있으며 현재 동작 인식의 한계로 인해 측정이 어려운 항목들도 추가의 보조 장치를 통한 측정 가능성을 기대할 수 있다.

3. VR 콘텐츠 치매 예방 훈련 평가척도 분석방법

3.1 VR 기반의 근골격계 운동 및 치매 예방 훈련 시스템 구조

치매의 치료요법 연구사례들도 다양한 분야인 회상치료, 음악치료, 원예치료, 미술치료, 통합예술치료, 치료레크리에이션 등과 연계하여 발표되고 있다. 치매 치료에 대한 다양하고 체계적인 방법은 이미 고령화 사회에 진입한 선진산업사회에서는 비교적 살펴볼 수 있는데, 아직 우리나라의 경우 매우 부족한 실정이다. 특히, 치매에 대한 다양한 공학 분야, 뇌 생리학, 사회복지, 노화연구, 노인교육 등의 학문분야에서는 융-복합적 연구와 사례발표를 통한 적극적이고 포괄적인 치료방법을 제시할 필요가 있다고 보고 있다[13]. 고령인의 신체 건강과 치매 예방 및 훈련과 관련된 건강증진 프로그램 개발에 관한 연구의 필요성은 고령인의 육체적 건강을 포함한 신체적 건강관리에 대한 사회적 관심과 고령자 건강 복지를 위한 합리적인 지원을 통해 더욱 적극적인 관심과 지원이 필요할 것이다. 특히, 농업인의 농업 활동으로 인한 손상의 발생 형태로 가장 많은 비중을 차지하는 것은 ‘전도’와 ‘무리한 동작을 취하다가 삐끗함’이며, 4시간 이상 일을 못 하였거나 병원 또는 약국을 방문하여 치료가 필요했던 질병 중 농작업과 관련된 급만성 질병의 종류에서는 근골격계와 관련된 질병이 80% 이상을 차지하는 것으로 보고 있다[14]. 근골격계 부담 작업으로 인한 질병 및 사고의 발생은 농업인의 안전보건에서 중요한 요소이며, 이를 위한 예방관리 대책으로 근골격계 위험요인에 대해 동작 인식 장치 및 스마트 혈압측정기 등 멀티 모달(MultiModal) 인터페이스와 연동 가능한 VR 콘텐츠를 통해 상시로 건강상태 관리가 가능한 일상적 건강상태 모니터링 방안을 제안하고자 한다.

고령인의 건강상태 측정과 치매 예방을 위한 서비스 플랫폼의 구성은 Fig. 5와 같이 기초 건강상태 측정 및 데이터수집, 신체 활동 상태 측정 및 분석, 건강관리 및 치매 예방 훈련을 위한 VR 콘텐츠와 분석모니터링을 위한 서비스 플랫폼으로 구성하였다.

Fig. 5. Virtual Reality Based Health Status Measurement And Dementia Prevention Training System

기초 건강상태 측정 및 데이터 수집 모듈은 혈압, 체중 등 기초 건강상태를 파악하기 위한 부분과 선별검사, 간이인지기능 검사를 통해 정신 건강 상태분석을 위한 모듈로 구성된다.

동작 인식 기반의 치매 예방 훈련용 VR 콘텐츠 서비스를 위한 시스템 구성은 Fig. 6과 같이 동작 인식 카메라 모듈, VR 콘텐츠 플레이용 시스템, 데이터 수집용 DB 서버, 사용자 분별을 위한 NFC 카드 리더기, 간이인지기능 검사를 위한 태블릿으로 구성된다.

Fig. 6. Diagram of VR Contents Service System.

3.2 동작 인식 기반의 치매 예방 훈련용 VR 콘텐츠

본 연구에서는 고령자에 친숙한 소재와 환경을 고려하여 VR 콘텐츠를 개발하기 위해 논, 밭, 과수 작물 중 일반 농가에서 일반적으로 재배 중인 노지 고추, 배, 벼, 상추, 오이 등 7가지 농작물을 중심으로 농작업을 분류하였다. 제안한 시스템은 기초 건강상태 측정을 위한 모듈과 동작 인식을 통한 신체 활동상태 측정 모듈, 치매 예방 훈련 모듈, 수집된 데이터를 분석하여 사용자에서 피드백해주기 위한 시각화 모듈로 구성된다. 고령자의 일반적인 작업 환경과 작업 내용을 가상 환경에서 구현하여 신체 활동 및 치매 예방을 위한 VR 콘텐츠로 구성하였다. 건강상태 측정 및 치매 예방 훈련을 위한 서비스 플랫폼은 작업 환경을 소재로 동작 인식 및 VR 콘텐츠를 통해 근골격계 신체 활동 훈련과 치매 예방을 위해 주의집중력, 시공간 능력, 기억력, 구성능력, 언어능력, 계산능력, 소리 인지력 등 7가지 영역의 활동 목표를 콘텐츠화하여 치매 예방을 위한 정신 건강 훈련을 수행할 수 있도록 구성하여 제시하였다.

동작 인식 카메라는 관절에 대한 움직임을 추적하고 농작업 기반의 VR 콘텐츠는 근골격계 질환 예방을 위한 팔 동작, 몸통 동작, 다리 동작 등의 예방훈련 동작을 유도하도록 구성하였다. 또한, VR 콘텐츠는 과일 따기, 과일 분류하기, 과일 카드 맞추기 등을 통해 획득해야 하는 물건의 수, 획득한 물건을 어떻게 처리해야 할지, 가상공간에서 객체와의 인터페이스 수행을 위해 어느 방향으로 움직여야 할지 등을 통해 치매 예방을 위한 훈련을 수행할 수 있도록 하였다.

동작 인식 기반 신체 활동 및 치매 예방 훈련을 위한 VR 콘텐츠는 총 3개의 콘텐츠로 치매 예방 훈련을 위한 목적으로 구성되어 있으며, Fig. 7(b)의 콘텐츠 목표제시 후 기억 및 상지(어깨, 팔꿈치, 허리관련) 관련 신체 동작 수행으로 구성되어 있고, Fig. 7(c)의 콘텐츠는 목표에 따른 판단력과 사고력 및 신체 동작 수행으로 구성되어 있으며, Fig. 7(d)의 콘텐츠 기억력 위주의 카드 맞추기 형태로 구성되어 있다.

Fig. 7. VR Contents For Physical Recognition And Dementia Prevention Training.

Fig. 7(b)는 과일을 수확하는 콘텐츠로 사용자에게 수확하여야 할 과일을 개수와 정해진 시간 내에 미션을 수행하도록 유도하였다. 이때 사용자는 더미골격을 팔과 몸을 움직여 해당 과일의 위치에 도달하게 하고 약 2초 정도의 시간 동안 동작 자세를 유지하도록 하였다. 사용자가 동작을 정해진 시간 동안 유지하게 되면 손에 해당하는 더미 객체에 과일이 잡히고, 잡힌 과일 객체를 다시 상자가 있는 방향으로 움직여 담는 동작을 유도하도록 하였다. 이때 사용자는 몇 개를 담아야 할지를 기억해야 하고, 몇 개를 담았는지 또한 기억해야 하며, 주어진 시간이 얼마나 남았는지도 고려해야 한다. 이러한 콘텐츠들은 사용자의 연령 특성을 고려하여 시작 단계에는 목표 수량, 달성 수량, 남은 시간 등을 화면상에 제시해 주지만 단계가 올라갈수록 목표 수량이 몇 개인지, 달성 수량이 몇 개인지를 기억해야 하고, 주어지는 시간 또한 점차 감소하도록 하였다.

이러한 가상 현실 기반의 예방 훈련 시스템은 동작 인식 카메라와 VR 콘텐츠 구동을 위한 PC, 수행결과 분석을 위한 서버로 구성하였다.

Fig. 8은 실제 사용자가 동작 인식 기반의 근골격계 질환 예방 훈련을 위한 VR 콘텐츠를 수행하는 장면으로 가상공간에 배치된 객체를 사용자가 동작 인식 인터페이스를 통해 신체 활동과 치매 예방 훈련을 수행하고 있다.

Fig. 8. VR Contents Training Based on Motion Recognition.

3.3 K-MMSE와 VR 콘텐츠 평가척도 연계 방법

K-MMSE와 VR 콘텐츠 평가척도에 대한 분류는 Table 1과 같이 4개의 구간으로 나누었다. K-MMSE는 총 30점 만점에 정상, 경도, 경중증, 중증으로 나누고, VR 콘텐츠 평가척도는 80점과 60점 사이의 10점 단위로 구간을 나누었다.

4. VR 콘텐츠 기반 치매 예방 훈련 결과 분석

4.1 VR 콘텐츠 기반 치매 예방 훈련

고령 농업인이 많은 전남 농촌 지역에 거주하는 고령자 50명을 대상으로 스마트 설문 시스템을 이용한 간이인지기능검사와 치매 예방 훈련을 위한 VR콘텐츠를 수행하도록 하였다. 이중 간이인지기능검사를 시행하지 않았거나 치매 예방 훈련을 위한 VR 콘텐츠를 5회 이상 수행하지 않은 대상자 10명을 제외한 40명에 대한 성별, 연령대별 참가자 분포는 다음 Table 2와 같다. 참가자 중 75세∼79세 연령대 참가자가 14명으로 가장 많았고, 그다음으로 70세∼74세 참가자가 10명, 60세∼69세와 80세 이상 참가자가 각각 6명씩 참가하였다.

4.2 K-MMSE 스마트 설문 결과

K-MMSE 기반의 스마트 설문 시스템을 통한 설문 결과 분포는 Table 3과 같다. Table 2에서 26점 이상 응답자가 26명(65%)으로 가장 많았고, 다음으로 25점∼21점이 12명(30.0%), 20점∼16점과 15점 이하가 각각 1명(2.5%) 순으로 나타났다.

Table 2. K-MMSE and VR Content Rating Scale Classification

Table 3. Distribution of Demonstrators by Gender/Age Group

4.3 VR 콘텐츠 기반 치매 예방 훈련 수행 결과 분석

동작 인식 기반 신체 활동 및 치매 예방 훈련을 위한 VR 콘텐츠 수행에 관한 결과 분포는 Table 3과 같다. Table 4에서 65점∼61점 사이의 대상자가 18명(45%)으로 가장 많았고, 다음으로 70점∼66점이 15명(37.5), 71점 이상이 5명(12.5%), 60점 이하가 2명순으로 나타났다.

Table 4. Distribution of MMSE Smart Survey Results by Gender/Age Group

5. 결론

본 연구에서는 고령인의 근골격계 질환 위험요인에 대해 운동 동작 추적 및 가상현실콘텐츠를 통해 치매 예방 훈련이 가능한 시스템을 제안하고자 하였다. 이를 위해, 고령인의 근골격계 질환 예방을 위한 건강상태 측정을 위한 운동 동작 분석 알고리즘을 제안하고, 이를 통해 근골격계 질환 예방 및 치매 예방 훈련을 위한 가상현실콘텐츠 기반의 훈련 방법을 제안하였다. 가상 현실 콘텐츠를 수행하며 발생하는 운동 동작들을 동작 인식 카메라를 이용해 분석 추적하여 평가하는 방법으로 근골격계 건강상태를 추정할 수 있도록 하였다. 동작 분석은 영역지정 기반 동작 분석방법을 이용하였으며, 분석대상이 되는 관절의 이동반경, 가상 현실 콘텐츠 상의 목표를 수행하는 시간과 달성률, 난이도 등을 토대로 점수를 산출하여 평가하는 방법이다. 가상 현실 콘텐츠를 수행하면서 사용자의 근골격 건강상태를 측정하고 수준별 예방 훈련을 진행할 수 있도록 하였다. 또한, 스마트설문 시스템을 통한 K-MMSE와 운동 동작 인식 기반 신체 활동 및 치매 예방 훈련을 위한 VR 콘텐츠 수행 결과에 대한 상관관계를 분석하였다. 스마트 설문 시스템을 통한 K-MMSE는 설문 당시 당사자가 인지기능 이상에 대한 병증이 있다고 답변해주신 응답자와 유사한 결과를 나타냈다. 하지만, 나이와 교육 정도에 상관관계가 고려되지 않아 실험 데이터에 대한 신뢰성을 확보하지 못하였다. 또한, 동작 인식기반 신체 활동 및 치매 예방 훈련을 위한 VR 콘텐츠 수행 결과는 61점 이상 70점 이하에 분포한 대상자가 33명(82.5%)으로 나타나, 인지기능에 대한 분별력을 확보하지 못한 점이 있었다. 이는 고령의 대상자가 정보통신 기기 사용에 대한 어려움으로 실증 당시 운영자의 도움을 받아 수행하는 경우 때문으로 분석되었다.

Table 5. Distribution of Results for VR Content Test by Gender/Age Group

향후에는 VR 콘텐츠의 다양화를 통해 동작 분석을 세분화하고 동작 인식 시에 발생하는 인식률 저하에 대한 보상방법을 구상하며 대상자에게 동작 분석을 통한 근골격계 위험요인에 대한 피드백을 제공함과 더불어 치매 예방에 효과적인 동작 분석 기반 콘텐츠에 관한 연구가 필요하다.