Optimization Technique to recognize Hand Motion of Wrist Rehabilitation using Neural Network

신경망을 활용한 손목재활 수부 동작 인식 최적화 기법

Abstract

This study is a study to recognize hand movements using a neural network for wrist rehabilitation. The rehabilitation of the hand aims to restore the function of the injured hand to the maximum and enable daily life, occupation, and hobby. It is common for a physical therapist, an occupational therapist, and a security tool maker to form a team and approach a doctor for a hand rehabilitation. However, it is very inefficient economically and temporally to find a place for treatment. In order to solve this problem, in this study, patients directly use smart devices to perform rehabilitation treatment. Using this will be very helpful in terms of cost and time. In this study, a wrist rehabilitation dataset was created by collecting data on 4 types of rehabilitation exercises from 10 persons. Hand gesture recognition was constructed using a neural network. As a result, the accuracy of 93% was obtained, and the usefulness of this system was verified.

본 연구는 손목 재활을 위한 신경망을 이용하여 수부 동작 인식해주는 연구이다. 수부의 재활은 손상을 받은 수부의 기능을 최대로 회복시켜 일상생활과 직업, 취미생활을 가능하게 하는 것을 목표로 한다. 하지만 어느 장소를 찾아 치료를 하는 것은 경제적, 시간적으로 매우 비효율적이다. 이런 문제점을 해결하고자 본 연구에서는 환자가 직접 스마트 기기를 이용해 재활 치료를 하고자 한다. 이를 활용하면 비용이나 시간적인 면에서 매우 도움이 될 것이다. 본 연구에서는 총 10명의 사람으로부터 4 종류의 재활 운동에 대한 데이터를 수집하여 손목재활 데이터셋을 만들었다. 수부 제스쳐 인식은 신경망을 이용하여 모델을 구성하였다. 그 결과 93%의 정확도를 얻었으며, 본 시스템의 유용성을 검증하였다.

Ⅰ. 서론

수근관절은 인체에서 가장 복잡한 윤활관절이다. 기본적으로 15개의 뼈와 27개의 관절면 그리고 수 많은 인대들이 연결되어 구성되어 있으며, 24개의 건(tendon), 2 개의 중요 동맥, 5개의 중요 말초 신경 및 가지들이 지난다. 정확한 손목뼈의 동력학(kinectics)과 운동학(kinematics), 그리고 서로 다른 인대 구조물들의 역할이 아직까지 모두 규명되지 못한 상태이지만, 수부 및 수근관절이 우리몸에서 매우 중요한 부분임에는 틀림없는 사실이다.^[1]

수부 재활의 목적은 질병이 발생하였거나 손상을 받았거나 수술을 받은 손 또는 상지의 기능을 최대로 회복시켜 일상생활과 직업, 취미생활을 가능하게 하는 것에 있다.[2] 이를 위해 지금까지 의사가 중심이 되어 물리치료사, 작업 치료사, 보장구 제작자등이 하나의 팀을 이루어 접근해야만 했다. 그래서 저자들은 환자가 직접 스마트기기를 이용해 재활 치료를 시행 받는다면 비용이나 시간적인 면에서 매우 도움이 된다.^[3]

본 연구에서는 손목 재활 프로그램에서 환자의 운동을 분석하기 위한 손목 재활 제스처 분류에 대한 연구를 진행하였다.

사람의 움직임을 추적하기 위해 많은 센서들이 개발되었고 연구되고 있다.^[4][11][15] 대표적인 센서인 키넥트, 립모션 컨트롤러, 웨어러블 센서^[17], 자이로센서, 근전도 센서, 자기장 센서^[16] 등 많은 센서들이 상용화되었으며 활발히 사용되고 있다. 키넥트, 립모션 컨트롤러, fit의 경우 가상현실이나 직접 몸을 움직여 플레이하는 게임이 있고 여기서는 “ Let's Dance”와 같은 게임이 있고, 활발히 사용되고 있다.

하지만 fit의 경우 fit에서 개발한 닌텐도사의 닌텐도 본체가 없으면 사용이 어려우며, kinect의 경우 멀쩡한 손과 손가락의 움직임을 추적하는 것에 실패했으며, 사람의 손의 움직임을 읽어오기 위해 별도의 학습을 필요로 한다.^[5]

그에 반해, 립모션 컨트롤러는 작고 가벼우며 usb 전원 장치로 어느 컴퓨터에 연결하던지 사용할 수 있는 센서이다. 설치 프로그램이 유저 친화적이며, 전문적인 지식이 없어도 사용할 수 있고 손에 부착하는 마커도 필요하지 않다. 다른 가상현실 기기와 비교해도 훨씬 효율적이다. 또한, 비교적 립모션 컨트롤러는 다른 컨트롤러에 비해 값이 싸며, 집에서 간단하게 설치하여 사용할 수 있다.^[6] 따라서 재활을 필요로 하는 사람들이 사용하기 편하고 경제적으로 저렴하여 본 연구에서는 립모션 센서를 이용하였다.

키넥트와 닌텐도 wii의 fit을 손목 재활에 사용할 수있지만, 이 기기들은 온전한 손과 손가락의 움직임을 추적하는데 어려움이 존재한다. 많은 연구에서 키넥트와 fit을 이용하여 연구를 진행했지만, 상업적으로 사용할수 없었다. 상업적으로 이용할 수 있는 장치인 립모션 컨트롤러는 낮은 가격, 낮은 복잡성으로 접근이 쉬우며 손의 움직임을 잘 쫓는다.^[6]

Yang et al^[4]에서는 Dynamic hand gesture를 인식의 정확도를 높이기 위해 Leap Motion Controller와 Two-Layer Bidirectional Recurrent Neural Network의 연구를 제안하였다. 제안한 시스템에서는 American Sign Language dataset (ASL dataset)의 360과 480 샘플과 Handicraft-Gesture dataset에서 360과 480 샘플들을 사용하였다. ASL dataset 360은 96.3%, 480 샘플에서는 95.2%의 정확도를 보였다. Handigraft-Gesture dataset의 경우 96.7%의 정확도를 보여주었다.

본 논문에서는 수근관절의 재활에 필요한 재활 운동 4 종류를 선택하여 손목재활 데이터셋을 만들었다. 손목재활 데이터셋은 립모션 컨트롤러를 이용하여 각각 왼손과 오른손의 손과 손목의 동작에 따른 데이터를 수집하였다. 수집한 데이터는 신경망을 이용하여 학습하였다.

본 연구는 다음과 같이 구성된다. 2장에서는 관련 연구에 대한 설명을 하고, 3장에서는 실험 방법에 대한 설명을하고 4장에서는 실험결과에 대해서 보여주고 5장에서는 결론에 대한 설명을 한다.

Ⅱ. 관련 연구

1. 제스처의 분류

사람의 제스처는 크게 정적인 제스처와 동적인 제스처로 나뉜다. 정적인 제스처는 시간의 값을 갖고 있지 않는 제스처이며, 반대로 동적인 제스처는 시간을 계산할 수 있는 제스처를 말한다. 사람의 제스처를 구분하기 위한 연구는 많이 진행되었으며, 그 중 Aigner et al.^[10] 에서는 hand gesture regognition의 종류를 목적과 상황에 따라 5가지로 나누어 정리하였다.

• 포인팅(pointing) – 물체를 가르키거나 방향을 구별할 때 사용한다.

• 세마포릭(semaphoric) – 제스처 자세와 제스처의 역학으로 구성된 그룹으로 특정 의미를 전달하는 데 사용한다. 세마포릭은 다시 정적, 동적, 스트로크의 세 가지로 구별된다. 정적 동작이란 엄지 손가락을 올리는 것과 같은 특정 자세와 의미가 있는 제스처를 말한다. 동적 세마포릭은 누군가를 맞이하기 위해 손을 흔드는 동작을 의미한다. 마지막으로 스트로크 제스처는 동적 세마포릭과 매우 유사하지만, 기계에 대한 스와이프 제스처와 같은 빠른 스트로크와 같은 제스처를 말한다.

• 상징(iconic) – 개체의 모양이나 크기, 곡률을 보여주기 위해 사용된다. 세마포릭 제스처와 달리 레이아웃 또는 동작 경로는 그 의미와 엄격하게 관련된다. 상징적인 제스처는 정적 및 동적으로 나눌 수 있다. 전자 그룹은 엄지와 양손의 집게손가락으로 형성된 직사각형과 같은 손 자세로 수행한다. 후자의 그룹은 모션 경로를 통해 개체의 가장자리 선을 매핑하는 데 자주 사용된다. 예를 들어 손가락 움직임으로 단순화된 사인 함수 특성을 보여준다.

• 몸짓(pantomimic) – 도구나 개체없이 특정 작업또는 활동의 수행을 모방하는데 사용한다. pantomimic 제스처는 자세와 움직임의 높은 가변성이 특징입니다. 이 제스처 유형의 예로는 무기 재장전 또는 빵을 자르는 칼의 움직임이 있다.

• 조종(manipulation) – 공간에서 개체 또는 개체의 위치, 회전 및 배율을 제어에 사용한다. 조작 제스처는 조작된 객체와 손 또는 제스처를 수행하는 도구 간의 직접적인 상호작용을 구성한다. 따라서 조작된 물체의 움직임은 동작 제스처에 엄격하게 의존한다.

2. 수근 관절

수근관절의 인대는 복잡한 수근관절의 안정된 운동이 가능하게 하는 요소들의 중심이다. 수근관절의 인대는 외재성(extrinsic) 인대와 내재성(intrinsic) 인대로 나뉜다. 외재성 인대는 관절막의 일부가 조직화되고 비후된 형태로 존재하며 내재성 인대는 관절 내 수근골 사이에 존재하는 인대이다. 각각의 수근열 내에 존재하는 골간인대와 위치에 따라서 전방, 요측, 척측, 후방으로 나누어 볼 수 있다.^[2]

수근골의 골간 인대는 같은 수근열 내와 관절 내에 존재한다. 골간 인대는 크게 근위 골간 인대와 원위 골간인대로 나뉜다. 근위 골간 인대에는 주상월상 골간 인대와 월상삼각 골간 인대가 있다. 원위 골간 인대는 모두 비슷한 구조를 가지고 있다. 공통적으로 전, 후방 구역으로 구성되어 있고 횡적 배열을 갖는 연속된 시트(sheet) 구조로 되어있다.^[2]

수근관절의 전방과 후방에는 수근관절을 지나는 건들이 탈구되지 않도록 잡아주는 도르래 역할을 하는 섬유성 구조물들이 있다. 이 구조물들은 수근관절의 요측에서 가시하여 척측에 부착해 골과 이 사이에 공간을 형성하는데 이 공간은 건과 혈관 및 신경이 포함된다. 손목의 전방에는 수근관과 척골관(ulnar tunnel of Guyon’s tunnel)이 존재한다.^[2]

그림 1. 수근관절의 인대 ^[12]

Fig. 1. Ligaments of the carpal

수근관절은 굴곡-신전(flexion-extension), 요측-척측사위(radial-unlear deviation), 회내-회외전 (pronation- supintaion)의 세 축에서 움직이는 자유도가 큰 관절이다. 수근관절의 관절운동은 각각의 수근골들 사이에서 일어나는 움직임의 총합이라고 할 수 있다. 이들 8개의 수근골들은 수근관절이 움직이는 방향에 따라 전체적으로 의도하는 방향으로 움직이지만 조금씩 다른 움직임을 보이면서도 부하가 골고루 전달될 수 있도록 움직인다. 이러한 수근골과 수근관절의 운동학과 동력학은 매우 복잡하고 아직 밝혀지지 않은 부분이 많지만 결국 수근골 질환과 그 치료법을 이해하는 바탕이 된다.[7]

수부 재활 치료 프로그램의 목표는 앞서 말했듯이 편안한 상태에서 수부의 정상적인 동작을 가능하게 하고, 상지의 기능을 최대로 회복시켜 일상생활과 직업, 취미생활을 가능하게 하는 것에 있다. 손의 기능을 최대로 회복시키기 위한 재교육도 중요하지만, 관절운동 범위를 증가시키고 일생 생활에 필요한 동작이 가능하도록 훈련을 할 필요가 있다.^[2]

수부의 관절운동 범위가 감소하는 원인은 크게 관절또는 관절 주위 조직의 유착같이 관절 자체에 원이 있는 경우와 관절 이외에 원인이 있는 경우가 있다. 또한, 장기간의 관절 고정은 인대를 경직시켜 관절운동 범위를 감소시킨다.^[2]

관절운동은 조기 시행하는 것만으로도 손목의 운동 범위가 감소하는 것을 예방할 수 있다. 고정이 반드시 필요한 경우가 아니면 가능한 빨리 관절운동을 시작해야 한다. 관절운동은 환자가 통증없이 능동적으로 관절운동범위 전체를 움직일 수 있을 때까지 시행한다. 손상의 정도나 수술의 범위에 따라 운동 범위의 제한이 필요한 경우가 있으므로 재활 운동 전 반드시 확인해야 한다.^[2]

3. 신경망

신경망(NN)은 인간인지 또는 신경 생물학의 수학적모델의 일반화로 개발된 정보 처리 시스템이다. 신경망은 뉴런 간의 연결 패턴, 연결에 대한 가중치를 결정하는 방법 및 활성화 기능이 특징이다. 신경망은 정적 및 동적제스처 모두에 사용할 수 있다.^[13]

드롭아웃(Dropout)은 2014년에 발표된 신경망의 과적합 문제를 해결하는데 매우 뛰어난 알고리즘이다. 드롭아웃은 훈련 단계에서 반복마다 지정된 확률로 신경망의 layer 간의 연결을 말 그대로 떨어뜨린다. 이 알고리즘은 객체 분류, 숫자 인식, 음성 인식, 문서 분류 및 전산 생물학 데이터 분석을 포함한 다양한 응용 분야에서 신경망의 성능을 향상하는 것으로 밝혀졌다. 드롭아웃을 적용하는 경우, 무작위로 일부 뉴런을 생략하여 여러 개의 모델을 만드는 효과를 얻을 수 있다. 다양한 모델을 학습시키는 것과 같은 원리가 되기 때문에 모델 결합의 효과도 얻을 수 있다. 여러 개의 모델을 만드는 대신 드롭아웃 알고리즘을 이용하였다.^[14]

4. 립모션 컨트롤러

립모션 컨트롤러는 제스처와 위치 추적 시스템으로 소프트웨어 어플리케이션과 상호작용하며 손의 움직임과 손가락의 움직임을 추적하도록 디자인했다. 립모션 컨트롤러는 광학 센서와 적외선 센서를 사용한다. 광학 센서는 컨트롤러가 표준 작동 위치에 있을 때 위쪽을 y축으로하며, 약 150도의 시야를 가지고 있다. 립모션 컨트롤러의 유효 범위는 장치 위로 약 25 ~ㅤ600mm이다.^[8]

그림 2. 립모션 컨트롤러

Fig. 2. Leap Motion Controller

그림 3. 립모션 좌표계

Fig. 3. The Leap Motion coordinate system

립모션 시스템은 오른손 데카르트 좌표계를 사용하며, 원점은 립모션 컨트롤러의 상단 중앙에 있다. x축과 z축은 수평면에 놓여 있으며, x축은 장치의 긴 가장자리에 평행한다. y축은 수직이며 양수 값이 위쪽으로 증가한다. z축은 사용자 쪽으로 값이 증가한다. 립모션 컨트롤러는 물리 값을 아래 표와 같이 측정한다.^[8]

표 1. 립모션 API 물리 측정^[8]

Table 1. The Leap Motion API measures physical quantities^[8]

립모션 컨트롤러는 개발자가 메인 데이터에 접근하는것이 가능하며 이 데이터는 립모션 API를 통해 제공하고있다. 한 프레임 안에는 손, 손가락, 위치 정보를 포함하고 있다. 손의 공간 정보는 손 중앙의 값, normal vector, direction vector를 포함하고 있으며 손가락의 경우 손 끝의 위치, poiting direction vector, 길이와넓이를 포함하고 있다.^[9]

Ⅲ. 신경망을 이용한 수부 제스쳐

본 장에서는 신경망을 활용한 수부 제스쳐에 대해서 설명을 하고 3.1 에서는 데이터 셋에 대한 설명이다.

1. 수부 데이터

립모션 컨트롤러는 손과 손가락을 시야 범위에서 추적하고, 데이터의 집합이나 프레임을 업데이트하여 제공한다. 프레임을 나타내는 각 프레임 객체에는 추적된 손이 포함하고 있으며, 추적하는 그 순간에 해당 속성을 보여준다. 프레임 객체는 본질적으로 립모션 데이터 모델의 root이다.

립모션의 손 객체는 손 모델을 통해 손의 정보를 위치, 독자성, 그리고 추적된 손의 특성, 손이 부착된 팔 및 손과 관련된 손가락 목록에 대한 정보를 제공한다.[8]

그림 4. 손바닥의 일반적인 벡터 및 방향 벡터의 정의^[8]

Fig. 4. The Hand Palm_normal and direction vectors define the orientation of the hand.^[8]

그림 5. 손가락 끝 _ 위치 및 방향 벡터의 손가락 끝 위치와손가락이 가리키는 일반적인 방향^[8]

Fig. 5. Finger tip_position and direction vectors provide the position of a finger tip and the general direction in which a finger is pointing.^[8]

손가락 객체는 각 해부학적 손가락 뼈의 위치와 방향을 설명하는 Bone 객체를 제공한다. 엄지 손가락 모델은 표준 해부학적 명명 시스템과 일치하지 않는다.

실제 엄지는 다른 손가락보다 뼈가 하나 적다. 그러나 프로그래밍의 용이성을 위해 Leap Motion 엄지 손가락모델에는 길이가 0 인 중수골 뼈가 포함되어 엄지 손가락이 다른 손가락과 같은 색인에 동일한 수의 뼈를 갖는다. 결과적으로 엄지 손가락의 해부학적 중수골 뼈는 근위 지골로 레이블이 지정되고 해부학적 근위 지골은 Leap Motion 손가락 뼈 모델에서 중간지골로 레이블이 지정된다.^[8]

그림 6. 립모션 뼈 객체^[8]

Fig. 6. Leap Motion bone object^[8]

립모션 센서와 립모션에서 제공하는 라이브러리 (LeapmotionAPI)와 파이썬 언어를 사용하여 립모션 컨트롤러에서 받아들이고 있는 손가락의 좌표값들을 불러와 저장하여 모델의 학습에 필요한 손목재활 데이터셋을 제작하였다. 손목의 재활 운동으로는 그림 7과 같은 종류가 있으며, 여러 재활 운동의 자세 중 손목의 신전 운동, 굴곡운동, 오른쪽 운동, 왼쪽 운동의 데이터를 수집하였다.

그림 7. 손목의 재활 운동 - (A) 신전 운동 (B) 굴곡 운동 (C) 오른쪽 운동 (D) 왼쪽 운동

Fig. 7. Rehabilitation exercise of wrist - (A) Extension Exercise (B)Flexion exercise (C) Right Exercise (D) Left Exercise

손목의 운동은 동료들 10명으로부터 수집하였으며 팔꿈치를 바닥에 고정한 상태로 각각 오른손과 왼손을 한번씩 운동하여 수집하였다. 수집한 데이터로는 손가락뼈 객체의 모든 3차원 좌표와 손목의 3차원 좌표 그리고 어깨의 3차원 좌표가 있다. 이 좌표는 50fps로 수집했으며, 모든 데이터는 시간의 흐름에 따라 수집하였다.

2. 신경망을 이용한 학습

수집한 데이터는 각각의 손의 좌표의 값을 실시간으로 받아들였으며, 모든 손가락의 중수골, 근위지골의 3차원 좌표를 가져와 신경망으로 학습시켰다.

신경망은 tensorflow를 백엔드로 하는 keras를 이용했다.

신경망은 Dropout을 이용하여 과적합을 피했으며, 완전 연결 계층으로 구성하였다. 모델에 사용한 활성화함수는 relu 함수이고 마지막 완전 연결 계층은 softmax 함수를 사용했다.

그림 8. 신경망의 구성

Fig. 8. Composition of Neural Networks

Ⅳ. 실험 및 결과

신경망의 성능은 학습률, 레이어의 개수 등 데이터 뿐만 아니라 훈련 방식에도 큰 영향을 받는다. 신경망의 학습 결과를 비교하기 위해 매개변수의 값을 변경해가며 그 값을 비교하였다. 신경망의 Dropout과 학습률을 조절해가면서 신경망의 학습을 진행하였으며, 그 매개변수의 값은 다음과 같다.

표 2. 신경망의 매개변수

Table 2. Parameter of Neural Networks

dropout = 0.2, batch_size = 128, epoch = 200의모델을 학습한 결과 93%의 정확도를 얻었다. dropout = 0.3, batch_size = 128, epoch = 200의 모델은 정확도 92%의 결과를 얻었다. dropout = 0.5, batch_size = 128, epoch = 200의 모델은 92% 정확도를 보였다. dropout은 0.2 에서 가장 높은 정확도를 보였다.

총 27번의 실험을 반복하여 비교한 결과를 산점도로 나타낸 결과는 다음과 같다.

그림 9. 실험 결과의 산점도

Fig. 9. scatter plot of experiment result

색은 batch_size를 의미하며 파란색은 batch_size의값이 128, 노란색은 256, 초록색은 512의 의미한다. dropout의 값이 커질수록 정확도가 낮아지는 경향을 보였으며, 반대로 epochs는 커질수록 정확도가 올라는 것을 확인할 수 있다. batch_size의 값은 작을수록 정확도가 올랐다.

그 결과, dropout = 0.2, batch_size = 128. epoch = 200의 매개변수가 손목 재활의 최적화된 매개변수라는 것을 확인했다.

그림 10. dropout = 0.2, batch_size = 128. epoch = 200의 결과

Fig. 10. Result of dropout = 0.2, batch_size = 128. epoch = 200

Ⅴ. 결론

이 논문은 손목 재활 프로그램 개발을 위한 손목 제스처 분석에 대하여 연구하였다. 손목 재활은 그 목표가 손상이 발생한 손의 기능을 회복시키는 것을 목표로 한다. 손목의 제스처 분석은 차후 연구해나갈 손목재활 프로그램의 개발을 위한 기초 연구이다. 총 10명의 사람으로부터 손목 재활 운동의 데이터를 수집하여 데이터 셋을 구축하였다. 데이터 셋은 신경망으로 학습하여 정확도 90% 이상의 준수한 결과를 얻었다. 차후 연구에서는 손목 제스처 분석을 토대로 재활 프로그램의 이용자의 제스처를 분석해내고 이용자에 맞춰 프로그램을 제공하는 연구 진행에 큰 도움이 될 것으로 보인다.

※ 이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (NRF. 2018R1D1A1B07050697)