A VR-based pseudo weight algorithm using machine learning

Abstract

In this paper, we propose a system that can perform dumbbell exercise by recognizing the weight of dumbbells without wearing and device. With the development of virtual reality technnology, many studies are being conducted to simulate the pysical feedback of the real world in the virtual world. Accurate motion recognition is important to the elderly for rehabilitation exercises. They cannot lift heavy dumbbells. For rehabilitation exercise, correct body movement according to an appropriate weight must be performed. We use a machine learning algorithm for the accuracy of motion data input in real time. As an experiment, we was test three types of bicep, double, shoulder exercise and verified accuracy of exercise. In addition, we made a virtual gym game to actually apply these exercise in virtual reality.

본 논문에서는 어떠한 장치를 착용하지 않고 덤벨의 무게감을 인지하여 덤벨 운동을 할 수 있는 시스템을 제안한다. 가상현실 기술이 발전하면서 가상세계에서 현실 세계의 물리적 피드백을 시뮬레이션 하는 연구가 많이 진행하고 있다. 노인들에게 있어 재활 운동은 정확한 모션 인식이 중요하다. 또한, 노인들은 무거운 덤벨을 들 수가 없다. 본 논문에서는 재활 운동을 위해 실시간으로 입력되는 동작 데이터를 머신러닝을 활용하여 정확성을 판별하였다. 실험으로서 한손 덤벨 운동, 양손 덤벨 운동, 어깨 덤벨 운동 3가지를 실험하였으며, 재활 운동이 정확히 이루어지는가에 대해 실험하였다. 가장 안정적인 운동은 양손을 활용한 덤벨 운동이었으며 가장 적은 오차율을 나타내었다. 마지막으로, 가상에서 실제 적용하기 위해 가상 체육관 콘텐츠를 개발하였다.

I. Introduction

가상현실(Virtual Reality)환경에서 몰입감 기술은 매우 중요하며 다양한 영역에서 발전되고 있다. 특히, 노인을 위한 심리 장애 치료와 만성 통증 재활 치료 등과 같은 신체적인 기능을 회복할 수 있는 치료 시뮬레이션 기능성 게임 제작 등에 적용될 수 있다. 가상현실은 상상(Imagination), 상호작용(Interaction), 몰입(Immersion) 등 3가지 요소를 포함하고 있어야 한다[9]. 몰입형 멀티미디어 혹은 컴퓨터 시뮬레이션 리얼리티로 언급되고 있는 가상현실은 실세계에서 물리적 현상을 시뮬레이션하는 시스템, 혹은 인터렉션을 허용할 수 있는 가상세계와 유사한 개념을 가지고 있다[7]. 가상세계에서의 가상 객체의 제어기술은 가상세계에서의 상호작용이라는 측면에서 매우 중요한 기술이다. 가상 객체의 핸들링이라는 점에서 자연스럽게 잡고(Grasping) 들어 올리는 느낌은 매우 중요한 관점이다. 가상세계에서 사용자는 어떻게든 객체와 상호작용하면서 잡을 수 있지만, 가상 객체의 들어 올리는 느낌은 현실적인 피드백이 필요하다. 지금까지의 연구에서는 촉각 및 시각적 감각을 사용하여 가상세계의 질량을 시뮬레이션하는 데에 중점을 두고 연구를 진행해 왔다. 대부분 가상세계에서 질량의 감각을 얻기 위해서 신체에 부착된 외골격 기반의 햅틱 피드백 인터페이스를 사용하고 있다[1,2]. 다른 방법으로는 촉각·감각 혹은 고유 수용성을 느끼는 햅틱 피드백을 사용하기도 한다. 가상 물체의 종류에 따라 사용자가 피부의 압력과 쥐는 힘을 느끼는 감각을 촉 감각피드백이라고 한다. 이와 유사하게 힘이 신체의 근육과 관절에 영향을 주어 무게를 인지하는 것을 고유 수용성 힘 또는 운동 감각 피드백이라고 한다. 이러한 햅틱 피드백인터페이스들은 고가이며, 마모가 쉽고, 유선이라 복잡한 선들이 연결되어 불편한 점이 있다. 특히 노인이나 장애인을 위한 재활 운동에 사용하기에 많은 어려움이 있다.

한편, 햅틱 장치를 사용하지 않고 가상 무게의 무게감을 시뮬레이션하는 대안적인 접근 방식이 연구되고 있으며 이를 의사(Pseudo) 햅틱 피드백이라고 한다[5]. 가상 스프링, 이미지의 질감, 가상 객체의 질량과 같은 다양한 햅틱 속성은 의사 햅틱 피드백을 통해 시뮬레이션 된다[4]. 본 논문에서는 의사 무게감 인지기술을 위한 하나의 알고리즘을 제안한다. 의사 무게감 인지기술은 실제적인 햅틱 인터페이스를 사용하지 않고 인지만으로 가상 질량을 느낄 수 있는 기술이지만, 여전히 특정 장치를 착용하거나 손에 부착해야 하며 가상 객체의 정확한 양력을 알기는 어렵다[5]. 의사 무게감 인지기술을 구현하기 위해서는 덤벨 운동과 같은 상체 움직임을 인식하여 머신러닝을 통해 운동의 정확한 움직임을 통해 힘의 크기를 알아내는 작업이 중요하다. 이후로는 사용자에게 무게를 인지할 수 있는 시각적 피드백을 보여주어야 한다[6]. 본 연구에서는 머신러닝을 이용한 의사 무게감 인지기술 시스템을 개발하였고, 응용콘텐츠로서 실제 노인들을 위한 가상 체육관(Virtual Gym) 콘텐츠를 개발하였다. 가상 체육관은 가상현실의 몰입성을 최대로 적용하여 노인들에게 가상의 체육관을 제공하고 있다. 가상 체육관의 가장 큰 특징은 무게감을 모델링한 가상 덤벨을 사용하여 정확한 재활 운동을 하는 것이 목적이다. 노인들에게 실제 덤벨을 사용하여 발생할 수 있는 부상의 두려움 없이 가정에서 쉽게 접근 가능하다. 본 시스템은 신체에 어떠한 햅틱 피드백 인터페이스를 부착하지 않고 덤벨의 무게를 인지할 수 있도록 한 것이다.

본 논문의 구성은 다음과 같다. 2장에서는 전 세계적으로 가상세계에서 무게감 인지기술에 대한 관련연구를 소개하고 3장에서는 머신러닝을 활용한 의사 무게감 인지기술에 대해 논의한다. 4장에서는 무게감 알고리즘에 대한 실험에 대해 논의한다. 마지막으로 5장에서는 결론에 대해 논의하고 향후 연구에 대해 기술한다.

II. Related Works

1. Force Feedback System

본 논문에서는 가상 무게감에 대한 기존연구에 대해 두 가지 관점에서 비교 분석하였다.

Table 1. List of studies related to virtual weight

그림 1의 (좌)는 복잡한 트래킹 장비를 사용한 피드백시스템이다. 미국 루이지애나 대학의 연구원들은 그림 1과같이 가상 물체를 잡고 조작하는 물리적 햅틱 피드백 사용한 연구를 진행하였다. 선형 및 비틀림 스프링 뎀퍼 시스템을 사용하여 손 관절 제어가 가능한 트래킹 시스템을 개발하였다. 그림 1의 (우)는 프랑스 국립과학원에서는 신체 부위에 탄성 전기자를 기반으로 하는 수동 햅틱 피드백을 사용한 인터렉션 방식을 연구하였다[2,3].

Fig. 1. (L) Interaction using spring demper (R) Elastic-based Interaction

도쿄대학에서는 물체를 잡는 동안 무게감 인식이 시각적 인식에 대해 영향을 받는다는 심리학 연구를 진행하였다. 그림 2는 이러한 연구를 보인다. 가상 무게감 심리 연구를 기반으로 메카트로닉 기반의 물리적 특성 없이 물체의 밝기 값을 조절하여 무게 인지 및 피로감 측정을 HMD 를 사용하여 개발하였다[10,11].

Fig. 2. Psychological study using virtual weight

2. Virtual Weight

구글에서 제안한 VR 가상 무게감 방법은 현재까지 VR 기반의 인터렉션 방법 가운데 매우 구체적으로 구현했다고 볼 수 있으며, 이러한 인터렉션 방법을 지속적으로 연구하고 있다. 구글에서의 가상현실 기반의 인터렉션 방법의 핵심은 두 가지이다. 첫 번째로는 속도에 기반 잡아 올리는 동작(객체를 너무 빨리 잡아 올리면 떨어진다)과 자기 쪽으로 끌어당기는 시각적 피드백이다. 구글에서 제안한 방법은 일반적으로 가상의 무게감을 시각적으로 표현하기 위한 보편적인 방법이라고 할 수 있다[16].

Fig. 3. Google’s Virtual Weight

시각적 피드백이 양손에 쥐어진 모션 컨트롤러에 의해서 무게감의 체험을 더해주고 있다. 인터랙션 기술은 물체를 픽킹하고 그 이후 물체에 대한 무거운 물체는 느리게 들어 올리고 가벼운 물체는 빨리 들어 올리는 가장 보편적인 방법으로 시각적으로 표현했다고 할 수 있다. 그러나 구글이 제안한 가상 무게감 표현 방식은 픽킹과 속도에 근거한 객체 움직임이기 때문에 정확한 무게감을 나타내는 점에 한계가 있다.

III. Pseudo Weight System

1. System Architecture

그림 4는 의사 무게감 인지 방법에 대한 전체 시스템 아키텍처이다. 동작 인식 센서(키넥트)로부터 모션 데이터값이 서버로 전송된다. 취합된 모션 데이터값은 가속도 정보, 회전 정보, 방향 정보, 시간 정보 등이 입력된다. 의사 무게감 인지 방법은 5가지 단계로 처리된다. (1) 첫 번째 단계로 팔의 움직임에 대한 방향 보정을 한다. 덤벨 운동의 경우 팔의 움직임이 왼쪽으로 혹은 오른쪽으로 너무 치우치는 것을 방지하기 위한 목적으로 1차 보정 작업을 수행한다. (2) 두 번째 단계로는 DBSCAN 알고리즘을 사용하여 움직임에 대한 정확도에 대해 군집화 과정을 처리한다. (3) 세 번째 단계는 DBSCAN 알고리즘을 통해서 나온 군집화된 데이터를 사용하여 선형회귀 방법을 통해 팔의 움직임에 대한 정확한 방향성을 선정한다. (4) 네 번째 단계로서 정확한 팔 동작에 대한 움직임을 기반으로 힘을 계산해 내도록 한다. (5) 마지막 단계에서는 힘에 대한 정량값에 따라 시각적으로 표현한다.

Fig. 4. Pseudo Weight System Architecture

그림 6은 5가지 단계를 처리하는 순서도이다. 그림에서 보는 바와 같이 알고리즘은 크게 2단계로 나누어진다. 머신러닝 단계와 운동 단계이다. 머신러닝 단계는 실제 체험하기 전에 학습하기 위한 사전 작업을 말한다. 운동 단계에서는 학습한 머신러닝 단계를 거쳐 운동할 때 적용하는 단계이다.

Fig. 5. Orientation Correction Algorithm

Fig. 6. Pseudo Weight Process Flowchart

2. Force Feedback

본 연구의 목적은 사용자가 VR 환경에서 운동하는 동안무게감을 느끼는 것이다. 사용자는 가상공간에서 운동을 위해 덤벨을 잡을 때 순간적인 가속을 얻는 것이 필요하다. 실제로 체육관에서 10 Kg 덤벨을 움켜주고 있을 때 한 손 운동, 어깨 덤벨 운동 또는 양손 덤벨 운동 시 특별히 가속이 필요하지만, 가상공간에서는 무게감을 느낄 수 없다. 본 연구에서는 가상공간에서 운동을 수행하기 위해 혹은 특정한 물체를 들어 올릴 때 특정 가속도가 필요함을 알게 되었고 이러한 특정 가속도를 시각적 피드백을 사용하여 구현하였다. 본 논문에서는 원형 게이지(혹은 다른 도형) UI를 통해 사용자 가속과 필요한 가속을 보여주고 있다. 시스템 다이어그램인 그림 7에서 보면 UI를 만드는 과정을 보여 준다[7].

Fig. 7. Pseudo Weight GUI

가상공간에서 물체를 들어 올리기 위해서는 2개의 가속도 값이 필요하다. 첫 번째는 덤벨(무게가 있는 물체)을 잡고 운동에 필요한 가속도이고, 두 번째는 운동 시 실시간적으로 입력되는 사용자로부터의 가속도 값이다. 본 시스템은 다른 여러 가지 운동을 기반으로 하기 때문에 팔의 다른 회전도 필요하고 그 회전에 따른 가속이 필요하다. 아래의 공식들은 가상에서 무게감을 활용하여 힘을 계산하기 위한 공식들이다.

\(\begin{aligned} &V_{\text {current }}=\frac{\left(P O S_{\text {current }}-P O S_{\text {old }}\right)}{\Delta \text { Time }} \\ &A_{\text {current }}=\frac{\left(V_{\text {current }}-V_{\text {old }}\right)}{\Delta \text { Time }} \end{aligned}\)

우선 손의 현재 속도 및 가속도를 구할 수 있다.

\(\begin{aligned} L P E R=&(7.545904398 f+\\ &\left(\operatorname{Rot} X^{*} 0.006794564 f\right)+\\ &\left(\operatorname{Rot} Y^{*} 0.22510499 f\right)+\\ &\left.\left(\operatorname{Rot} Z^{*}-0.027043028 f\right)\right) \end{aligned}\)

\(\text { LPER } \rightarrow \text { | ar Regression Equation Result }\)

DBSCAN과 선형회귀를 통해서 만든 선형회귀방정식을 기반으로 가상의 객체를 들어 올릴 때 움직여야 하는 적절한 가속도(가이드 된 가속도)를 구한다. DBSCAN과 선형회귀에 사용될 데이터들은 실제 덤벨을 들고 운동을 하는 장면을 키넥트를 활용하여 데이터화 한다. 선형회귀 방정식은 운동의 종류, 손의 종류(오른손, 왼손, 양손)에 따라 달라진다. 입력값은 팔의 회전 값이고, 출력값은 가이드 된 가속도 값이다. 여기에서 DBSCAN은 데이터의 노이즈를 제거하는 용도로 사용된다. 선형회귀는 입력값에 따라 적절한 결과 값을 반환하는 식을 만드는 용도로 사용된다.

\(A_{g u i d e d}=\frac{L P E R^{*} \text { Weight }_{\text {real-object }}}{\text { Weight }_{\text {virtual -object }}}\)

선형회귀 방정식을 만들 때 데이터들은 현실 덤벨의 무게를 기준으로 측정한다. 사용자가 들어 올리는 가상 객체의 무게와 연관된 가이드 된 가속도가 필요한 거지, 현실 무게를 기준으로 측정된 가속도가 필요한 것이 아니므로 기존의 출력값을 적절하게 수정할 필요가 있다. F=m*a에 따르면 가속도에 m을 곱하면 F를 구할 수 있다. a는 선형회귀 방정식으로 얻는 가속도이다. m은 데이터를 얻을 때 사용한 덤벨의 무게이다. 즉,

· 가이드 된 가속도 * 실제 사용했던 덤벨 무게 / 가상객체 무게

식을 이용하면 가상 무게에 따른 다른 가이드 된 가속도 값을 구할 수 있다.

\(\begin{aligned} &A_{u s e}=A_{c u r r e n t} * 0.6+A_{o l d} * 0.4 \\ &\text { AssistAmount }=\text { Clamp }\left(A_{u s e}, 0,0.15 f / 0.15 f\right) * 0.3 f \\ &A_{u s e}=\left(A_{u s e} *(1.0 f-\text { AsssistAmount })\right)+ \\ &\left(A_{\text {guided }}+\text { AssistAmount }\right) \end{aligned}\)

실제로 키넥트를 사용하면 정확한 트래킹이 안되어 손의 위치가 튕귀는 경우가 많이 발생한다. 손을 가만히 있어도 손의 속도와 가속도가 갑작스럽게 큰 폭으로 바뀌는 현상이 많이 발생하는데 이런 문제를 해결하기 위해서는 현재 가속도와 이전 가속도의 값에 대한 적절한 보간 작업이 필요하다[14]. 가속도를 구하는 주기가 매우 짧기 때문에 보간 작업으로 인해 가속도가 느리게 변화된다는 체감을 주지 않아야 한다.

DBSCAN과 선형회귀 방정식을 만들었지만 팔의 회전 값을 기준으로 하기 때문에 항상 정확한 가이드 되어진 가속도가 나오지 않는다. 정확한 이유는 사람이 가상 물체를 들어 올릴 때의 회전 값이 항상 이상적으로 이루어지지 않기 때문이다. 키넥트 센서와 선형회귀의 독립 변수의 문제로 이상적인 값을 받기는 정말 힘들다. 사용자가 UI 따라서 덤벨을 들라고 해도 앞서 말한 문제들 때문에 쉽지가 않다. 그렇기 때문에 최종 결과 값에 사용될 가속도를 가이드 된 가속도로 이용하여 조금 보간을 해준다. 보간이 될 정도는 최대 30%이고 최소 0%이다. 보간이 될 정도는 가속도의 크기에 따라 달라진다.

\(\text { Results }_{\text {final }}=\frac{\left(A_{u s e} * 0.5 f\right)}{A_{\text {guided }}}\)

두 번의 보간 작업을 통해서 UI는 사용자의 움직임에 따라 융통성 있게 무게감을 반영한 들어 올리는 작업을 보여 줄 수 있다. 사용자가 적절한 속도로 움직였다고 판단되면, UI는 가운데로 게이지를 이동 한다.

3. UI Visualization

가상 무게감의 시각화 방법은 우선 힘에 대한 분포를 시각적으로 나타내야 한다. 다양한 시각적 표현이 있지만(선형 바, 원형 바 등) 본 논문에서는 힘에 대한 분포를 원형으로 표시하였다. 색에 대한 분포에 맞게 시각적으로 표현하였다[7]. 또한, 가상 무게감을 인지하기 위해서는 인지적으로 출발점과 목표지점을 정확하게 표시해야지만 해당 영역에서 힘을 주어 운동을 해야 한다는 목표의식이 생기게 된다. 본 논문에서는 머신러닝 학습으로부터 들어온 모션 인식 데이터를 기반으로 힘(F=ma)을 계산하여 시각적으로 표현하였다.

IV. Evaluations

본 논문에서는 3가지 운동 형태에 대해서 실험하였다. 실험 환경으로서는 표2 와 같이 환경을 셋팅하였다.

Table 2. System Environment

3가지 운동 형태는 한 손 덤벨 운동, 양손 덤벨 운동, 어깨 덤벨 운동이다. 추출한 데이터 값은 각각의 운동에 대해서 가이드 된 가속도(guidedAccel), 실제 사용자의 운동 속도(userAccel), 팔의 축 회전 정보(rotationArmX, rotationArmY, rotationArmZ), 가상에서의 힘 계산(weightDumbell), 잘못된 움직임(incorrectExercise), 정확한 움직임(correctExercise), 그리고 마지막으로 한번에 한번 씩 움직인 주기 시간(makeOneSetTime)에 대한 값을 측정하였다.

그림 8은 한 손 덤벨 운동에 대한 운동 데이터이다. weightDumbbell의 값을 20으로 했을 때 35회 중 8번의 오류가 발생한 것을 알 수 있다. 약 22%의 오차율을 보이고 있다.

Fig. 8. Bicep exercise results screen

Fig. 9. Exercise data from Bicep

그림 10은 양손을 활용한 덤벨 운동이다. weightDummbbell의 값을 10으로 하였을 때 25회 운동 회수 중 2번의 오류를 나타내었으며 약 8%의 오차율을 나타내었다. 마지막으로 어깨 덤벨 운동 운동에서는 weightDumbbell의 값을 10으로 했을 때 15회를 했을 때 8회의 오류가 발생하였고 약 40%의 오차율을 나타내었다.

Fig. 10. Double exercise results screen

Fig. 11. Exercise data form Double

Fig. 12. Shoulder exercise results screen

Fig. 13. Exercise data from shoulder

3가지 실험을 통해 운동을 여러 번 시도했을 때 오류의 확률이 적은 것을 알 수 있으며, 한손 덤벨 운동 운동보다 어깨 덤벨 운동 운동이 정확도가 떨어진다는 것을 알 수 있었다. 가장 안정된 값을 나타내는 것은 양손을 활용한 덤벨 운동이라는 것을 확인할 수 있다.

V. Conclusions

논문에서는 가상세계에서 물리적 무게감 인식을 위해 의사 무게감 알고리즘에 대해 논의하였다. 기존 연구에서는 착용 기반의 물리적 인터렉션 방법이 대부분이었다. 이러한 방법은 정확성은 높지만 착용이 불편하고 노인들에게는 착용하여 운동의 효과를 보기가 어렵다.

본 논문에서는 머신러닝을 사용하여 모션 움직임에 대한 정확성을 보장하는 알고리즘을 개발하였다. 실험으로서 한 손 덤벨 운동, 어깨 덤벨 운동, 양손 덤벨 운동을 수행하였고 이에 대한 운동에 대한 정량치 값을 추출하였다. 본연구에서는 사용한 센서는 정적인 방법으로서 키넥트 기반의 모션 데이터를 활용한 방식이다. 향후연구로서 근전도 센서의 활용이 가능한 웨어러블 디바이스를 활용하여 의사 무게감 알고리즘을 개발할 것이다. 이러한 향후 연구는 본 논문에서 제안한 의사 무게감 알고리즘을 적용하여 가상세계에서 실제 작업현장에서 이루어지는 다양한 인터렉션 방법에 대해 실세계의 동일한 체험을 적용하기 위한 방식을 제공하기 위한 것이다.