Motion Recognition of Smartphone using Sensor Data

센서 정보를 활용한 스마트폰 모션 인식

Abstract

A smartphone has very limited input methods regardless of its various functions. In this respect, it is one alternative that sensor motion recognition can make intuitive and various user interface. In this paper, we recognize user's motion using acceleration sensor, magnetic field sensor, and gyro sensor in smartphone. We try to reduce sensing error by gradient descent algorithm because in single sensor it is hard to obtain correct data. And we apply vector quantization by conversion of rotation displacement to spherical coordinate system for elevated recognition rate and recognition of small motion. After vector quantization process, we recognize motion using HMM(Hidden Markov Model).

1. 서 론

스마트폰의 성능이 높아지고, 보급이 증가하면서 기존 기기들의 다양한 기능들이 스마트폰 하나에 집적되고 있다. 스마트폰은 전통적인 통화 기능뿐만 아니라 인터넷 검색, 메일 확인, 문서 작업, 게임, 학습 등의 기능들이 다양하게 적용되고 있으며, 최근의SNS나 사물 인터넷의 확산과 더불어 더욱 많은 기능들이 적용되어지고 있다. 다양한 기능들이 적용되면서 이런 기능들을 효율적으로 다루기 위한 입력 수단의 필요성이 대두되었는데, 다양한 기능들에 비해 그 입력 수단은 터치스크린과 버튼 등 소수의 방법만이 사용되고 있다. 터치스크린은 터치에 의한 직접적인 사용 외에도 소프트웨어적으로 구현된 버튼 등과 연동되어 다양하게 사용할 수 있으며, 버튼은 즉각적인 반응을 얻을 수 있는 효과적인 입력수단이다. 하지만 터치스크린은 대부분의 스마트폰이 지닌 단점으로 꼽을 수 있는 작은 크기의 화면을 가림으로써 더욱 그 단점을 부각시킬 수 있으며, 버튼은 공간의 제약으로 인하여 그 개수가 한정적이라는 한계를 지니고 있다. 이 외에도 최근에는 음성 인식을 통한 입력 방법이 많이 적용 및 활용되고 있으나, 인식률과 언어의 차이에 의하여 적용이 제한적이라는 단점을 안고 있다. 따라서 최근에는 이러한 기존 입력 수단의 단점을 보완하고, 입력의 다양성을 지원할 수 있는 한 분야로서 센서 정보를 활용한 모션 인식 연구가 활발히 진행 중이다[1-5].

스마트폰이 단순히 통화하는 기능에서 벗어나 다양한 기능을 담게 되면서, 스마트폰에 내장되는 센서 역시 다양해졌다. 초기에는 간단함 움직임을 감지하거나 방위를 알아내기 위한 용도로 가속도 센서나 자계 센서만을 내장했었지만 곧이어 자이로 센서, 조도 센서, 근접 센서 등 다양한 센서들이 추가되었다. 이 중에서 가속도, 자계, 자이로 센서는 스마트폰이 이동 또는 회전하면서 발생하는 데이터가 변화량만큼의 수치화된 형태로 나타나기 때문에 모션 인식 활용에 적합하다고 할 수 있다.

하지만 이렇게 사용자의 움직임을 측정할 수 있는 여러 개의 센서 중에서 하나의 센서를 선택하는 것은 쉬운 일이 아니다. 센서들은 그들만의 장점과 단점을 각기 지니는데, 개별 센서로는 사용자의 움직임과 명확히 일치하는 움직임 정보를 얻어낼 수 없기 때문이다. 따라서 각 센서의 장점을 융합하여 최적화된 정보를 얻어내는 센서 융합 기술이 필요하다. 센서 융합 방법에는 칼만 필터를 활용하는 방법[6], 기울기 감소 알고리즘 기반의 센서 융합[7] 등의 방법들이 사용되어지고 있다.

다양한 센서 정보를 활용한 모션 인식 방법이 존재할 수 있지만 공통적으로 가변데이터를 다루는 것이 가능해야 한다는 전제를 만족해야 한다. 사용자가 모션 인식을 위하여 동작을 취하는 과정에서 얻어지는 데이터의 길이는 센서의 샘플링 시간이나 사용자가 취하는 동작의 크기 등에 따라서 길이가 달라질 수 있기 때문이다. 이러한 데이터는 이전 데이터와 이후 데이터가 밀접한 관련을 가지는 시계열 특성을 가지고 있는데, 음성 인식과 유사한 이러한 특징은 음성 인식 분야에서 많이 활용되는 DTW[8] 또는 HMM[9]이 모션 인식에서도 활용될 수 있음을 알려준다.

본 논문에서는 기본 회전축에 의한 사용자 움직임을 효과적으로 인식하고, 기본 동작에 조합을 통하여 다양한 모션을 만들고 적용할 수 있는 연구를 진행하였다. 기본 회전축에 의한 정보는 x, y, z축을 기준으로 회전하는 변화량을 의미하며, 작은 움직임만으로도 모션 인식이 이루어질 수 있도록 30ms마다 빠르게 샘플링을 수행하고, 3축의 회전량을 구면 좌표계로 변환하여 사용하였다. 그리고 입력 정보의 정확성을 높이기 위하여 기울기 감소 알고리즘 기반의 센서 융합 과정을 거쳐 모션 인식 부분에 전달되도록 하였다.

본 논문의 구성은 다음과 같다. 2장에서는 개별 센서의 특징과 센서 융합 과정을 소개한 다음, 3장에서 이 정보를 활용하여 HMM을 적용하고 모션 인식을 수행하는 방법을 설명한다. 여기에서는 벡터 양자화 과정, 그리고 HMM을 위한 학습과 인식 부분을 따로 나누어 설명한다. 그리고 4장에서는 제안된 방법에 대한 실험 결과를 비교하고, 마지막으로 5장에서 결론을 맺는다.

 

2. 모션 센서 소개 및 센서 융합

2.1 모션 센서

스마트폰에는 다양한 센서가 내장되어 있다. 센서정보의 다양한 활용과 초소형 센서 제작 기법의 발달에 따라서 스마트폰에 더욱 많은 센서들이 집적된 것이다. 스마트폰 내장 센서에는 카메라 센서, 음향센서, 근접 센서, 조도 센서, 중력 센서, 가속도 센서, 자계 센서, 가속도 센서 등이 있으며, 이외에도 다양한 센서들이 존재한다. 이중에서 가속도 센서, 자계 센서, 자이로 센서와 같이 사용자의 움직임에 따라서 수치가 변화하는 센서들을 모션 센서라고 한다.

Fig. 1은 본 논문에서 활용되는 자계 센서, 가속도 센서, 자이로 센서에 적용된 좌표계와 스마트폰에서의 좌표축을 나타낸 것이다. 이 때, x축은 화면을 기준으로 화면이 작은 가로 부분, y축은 화면이 긴 세로 부분, z축은 화면의 윗부분이 된다. 다만 각 센서별로 다른 점은 자계 센서는 각 축으로 유입되는 자계의 세기를 측정하고, 가속도 센서는 각축으로 유입되는 힘의 세기를 측정하며, 자이로 센서는 각축을 기준으로 한 각속도를 측정한다는 점이다.

Fig. 1.(a) Sensor coordinate system in smartphone, (b) coordinate system applied to the acceleration sensor, (c) coordinate system applied to the magnetic field sensor, (d) coordinate system applied to the gyro sensor.

자계 센서는 지자계를 이용하여 절대적인 방향을 측정하기 위해 주로 사용되며, 네비게이션이 내장된 지도에서 정확한 방향을 알려주는 용도로 많이 사용된다. 또한 다축 센서를 통하여 물체가 현재 향하고 있는 방향과 형태를 알아내는데 사용되기도 한다. 자계 센서는 측정 단위가 mocro-Tesla(uT)일 정도로 미세하여 환경 요인에 민감하다는 단점을 가지고 있으며, 이를 위해 잦은 보정이 요구된다.

가속도 센서는 속도의 변화량을 측정하는 센서를 말한다. 그리고 속도는 이동거리의 변화를 나타내므로, 이 관계를 이용하면 단위 시간당 이동 거리를 계산할 수 있다. 하지만 가속도 센서는 온전히 이동에 대한 값만을 측정하는 것은 아니다. 지구에서는 기본적으로 중력이 작용하기 때문에 이 중력에 의한 가속도를 고려하여 이동을 감안하여야 한다. 중력은 지구의 중심을 향해 9.8 m/s2의 속도로 작용하는 힘을 말하며, 평평하게 놓인 수직 방향 성분을 나타내는 가속도의 수치는 z축에 대해서만 9.8의 값을 가진다. 이러한 중력 가속도는 외력이 가해지지 않았을 경우 가속도의 크기가 9.8m/s2으로 항상 같은 크기를 나타내고, 센서의 기울어진 상태에 따라서 각기 다른 값을 나타내기 때문에 스마트폰의 현재 기울어진 상태를 특정하기 위해 쓰이기도 한다. 이 외에도 가속도 센서는 용수철에 연결시킨 물체와 같은 특성을 지닌다. 예를 들어, 이 물체의 우측에서 힘을 가하면 용수철에 연결된 물체와 같이 좌측으로 이동하였다가 우측으로 이동하였다가를 반복하면서 원래의 자리로 돌아간다.

자이로 센서는 단위시간당 평균 각가속도를 측정하는 센서를 말한다. 이 때, 자이로 센서는 제어축에 따라서 각 축에 대한 각가속도 값을 측정하는데, 보통 직교하는 3축을 제어축으로 사용한다. 스마트폰에서 주로 쓰이는 3축 자이로 센서의 각 축에 대한 회전을 각각 피치(Pitch), 롤(Roll), 요(Yaw)라고 부른다. 자이로 센서는 단일 센서 중 가장 정확한 회전 변화량을 측정하는 것이 가능하지만 장시간 관점에서는 지속적으로 에러값이 누적되는 특징을 가지고 있다.

2.2 회전 변위 회득 및 표현

사용자가 스마트폰을 들고 움직임을 취하면서 발생되는 정보로는 스마트폰 축을 기준으로 단위 시간 기준으로의 힘의 변화, 방위 정보의 변화, 각가속도의 변화가 있다. 이 정보들은 가속도 센서, 자계 센서, 자이로 센서로부터 각기 측정되는데, 가속도 센서 정보와 중력의 관계로부터 기울어진 정보를 계산하는 것이 가능하다는 사실을 고려하면 모두 회전 변위 측정이 가능하다는 사실을 알 수 있다. 회전 변위는 정해진 축을 기준으로 물체가 단위 시간에 회전한 변화량을 의미한다.

일반적으로 회전 변위를 표현하는 방법은 회전 행렬과 사원수(Quaternion)[10]가 사용된다. 회전 행렬은 벡터의 각 요소에 대한 회전량을 행렬의 형태로 표현한 것으로, 행렬의 곱을 통하여 물체를 회전시키는 것이 가능하다. 사원수는 3개의 벡터(3개의 허수 i, j, k와 3개의 실수 로 구성)와 1개의 스칼라로 이루어진 복소수의 확장된 개념이다. 사원수는 (1)과 같이 표현할 수 있으며, (1)에서 알 수 있듯이 스칼라(s)와 벡터(v)로 간단히 표시하기도 한다.

사원수는 임의의 회전축에 대한 회전을 나타내며, 회전축 u를 θ만큼 회전시킬 경우 식(2)와 같은 형태로 사원수를 얻어내면 된다. 사원수의 정규화 방법은 식(3)과 같다.

사원수는 4개의 요소만으로 회전을 표현하고, 물체를 회전시킬 수 있기 때문에 적은 계산만으로 회전을 적용시킬 수 있으며, 보간 방법이 간단하므로 많은 장점을 지니고 있다. 일반적으로 여러 가지 장점 때문에 회전변환 혹은 회전 변위 계산 시에 사원수를 많이 활용하지만 때에 따라서 사원수를 회전행렬로 변환하거나 회전행렬을 사원수로 변환해야 하는 경우가 있다. 이럴 경우, 식(4)와 같이 회전 행렬을 사원수로 변환하거나 식(5)와 같이 사원수를 회전행렬로 변환하면 된다.

사원수는 회전 행렬과 마찬가지로 연속적인 행렬을 곱 연산을 통하여 표현할 수 있다. 사원수 a, b가 있다고 했을 때, 사원수의 곱은 식(6)과 같은 형태로 표현할 수 있으며, 이 경우 교환 법칙은 성립하지 않는다.(a⊗b ≠ b⊗a)

사원수를 이용한 좌표계의 차원 벡터 Av를 Bv로 회전시키는 방법은 식 (7)과 같으며, z축에 대한 회전은 식 (8), y축에 회전은 식 (9), x축에 대한 회전은 식 (10)과 같이 사원수로부터 얻을 수 있다.

2.3 센서 융합

본 논문에서 활용하는 가속도 센서, 자계 센서, 자이로 센서는 각 센서만의 장점을 지니고 있지만 단일 센서로부터의 측정값이 절대적인 참값이라고 맹신할 수 없다. 가속도 센서는 중력의 영향을 고려하여, 물체의 기울어진 정도를 파악할 수 있지만 순간적인 움직임에 민감하고, 관성의 영향을 많이 받는다. 자계 센서는 지자계의 측정값을 토대로 방위를 알아낼 수 있지만 환경 변화에 민감하고, 많은 에러값을 포함하고 있다. 또한 자이로 센서는 단일 센서로는 가장 정확한 회전 변위를 얻어낼 수 있지만 에러가 지속적으로 누적되는 현상(Gyro Drift)으로 인하여 장시간 사용에 반드시 보정이 필요하다. 이러한 이유로 본 논문에서는 각 센서들의 장점을 효과적으로 활용하는 기울기 감소 알고리즘(Gradient Descent Algorithm)을 이용한 센서 융합[7] 알고리즘을 적용하였다. Fig. 2는 기울기 감소 알고리즘을 이용한 센서 융합 알고리즘의 전 과정을 나타낸 것이다.

Fig. 2.Block diagram representation of the orientation estimation using gradient descent algorithm.

기울기 감소 알고리즘을 이용한 센서 융합 알고리즘은 다음과 같다. 먼저 식 (11)과 같이 이전 단계에서 예측된 사원수와 현재 측정된 각속도를 이용한 미분 방정식을 과정을 거쳐 현재 시간에서의 회전 변위를 계산한다. 여기서 는 현재 시간에 예측되는 방위에 대한 사원수를 의미하며, 는 이전 시간에서 예측된 방위에 대한 사원수, 는 현재 시간에서의 미소 회전 사원수를 의미한다.

그리고 식 (12)에서와 같이 식 (11)에서 얻은 사원수를 회전에 대한 오차와 오차 가중치 곱의 차를 통하여 센서 입력 정보를 보정한다. 식 (12)에서 는 자이로 센서에 의한 얻어진 사원수를 의미하며, β는 오차 가중치, 는 회전 오차에 대한 사원수를 의미한다. 회전 오차에 대한 사원수 는 식 (13)을 통하여 계산하는 것이 가능하다. 식(13)의 ∇f는 Fig. 2의 과정을 거쳐 계산하는 것이 가능하다.

 

3. 모션의 학습 및 인식

센서 융합을 통한 3차원 방위 획득 과정을 거치면 단위 시간 동안의 회전 변위 측정이 가능하다. 하지만 계산된 회전 변위의 형태가 실수 값을 가지고 있으며, 연속적으로 얻어진 회전 변위의 정보는 시계열 특성을 띄기 때문에 이러한 부분이 고려되어야 한다. 따라서 본 논문에서는 센서 융합 과정 이후에 벡터 양자화 과정을 수행하고, 수행된 양자화 벡터를 관측열로 생성하여 HHM(Hidden Markov Model)을 이용하여 학습 및 인식을 진행하였다. Fig. 3은 전체적인 모션 인식 과정을 나타낸 것이다.

Fig. 3.Overview of the motion recognition process.

3.1 벡터 양자화 및 관측열 생성

벡터 양자화 과정은 획득된 회전 변위를 직각 좌표계의 요소라고 가정하고, 구면 좌표계로 변환하여 가장 가까운 양자화 요소로 지정하는 과정을 말한다. Fig. 4는 구면 좌표계 내의 양자화 상태를 보여준다. 또한 식 (14)는 직각 좌표계에서 구면 좌표계로 좌표계 변환식을 의미하며, 식 (15)는 구면 좌표계에서 직각좌표계로의 변환식을 의미한다. 이러한 과정을 통하여 기준축(x, y, z) 회전에 민감하고, 작은 움직임만으로도 벡터 양자화 과정을 수행할 수 있게 된다.

Fig. 4.State of Vector Quantization.

Fig. 5는 검은색 회전 변위에 대한 위치가 검은색 점과 같다고 했을 경우, 가장 가까운 양자화 단계를 찾는 벡터 양자화 과정을 나타낸 그림이다.

Fig. 5.Process of vector quantization.

관측열 생성은 양자화 과정을 거친 각 상태들을 연속된 열의 형태로 만드는 과정을 의미하는데, 여기서는 모션 획득 초기와 종료 시에 관성의 영향을 크게 받아 원치 않는 양자화 정보를 얻을 수 있기 때문에 이전 양자화 상태와 연속되지 않는 양자화 정보는 제거하였다. 만일 이 상태에서 연속되어 들어오는 양자화 정보마저 제거 한다면 학습을 하지 않는 특정 모션 인식 등에 활용이 가능한데, 예를 들면 스마트폰의 패턴락(Pattern Lock)이 이에 속한다.

3.2 HMM 학습 및 인식

HMM은 수식(16)과 같이 총 3개의 매개변수를 가지고 있다. 이 3가지의 매개변수의 값 θ의 값이 정해지면 HMM이 만들어지는 셈이다. 수식(17)에서 A는 상태 전이 확률, B는 관측확률, π는 초기 상태 확률 벡터를 말한다. 인식 알고리즘은 전방 알고리즘(forward algorithm)[11]을 사용하였다.

HMM을 이용한 부류 인식 방법은 관측 벡터 O의 발생확률이 최대인 부류(HMM)를 찾는 것이다. 이것을 식으로 표현하면 수식(17)과 같다. 이 식에서 θwj는 부류 wj의 HMM 모델을 말한다.

HMM을 이용한 제스처 학습은 훈련 집합으로부터 관측벡터 O의 확률을 최대로 하는 θ를 추정하는 과정이다. 수식(18)은 HMM 학습을 표현한 것이다.

위와 같이 모든 θ중에서 O의 발생 확률을 최대로하는 HMM 학습의 대표적인 방법은 Baum-Welch 알고리즘이다[12]. Baum-Welch 알고리즘은 EM 알고리즘을 통하여 학습이 이루어지며, 기대 값을 구하는 E 단계에서는 은닉 변수를 추정하고, 우도를 최대화하는 M 단계에서는 θ를 개선하는 과정을 거친다. 이 때, 은닉 변수는 O에서 직접 θ를 구할 수 없기 때문에, 중간에 ‘숨어서’ 매개 역할을 하는 변수를 사용하게 되며, γ와 κ가 그것이다. Fig. 6은 개략적인 Baum-Welch 알고리즘을 통한 HMM 학습 과정을 나타낸 것이다.

Fig. 6.Baum-Welch learning process.

본 논문에서는 HMM 모델을 8상태, 2차 마코프, 좌우 모델로 구성하였다. 좌우 모델 방식의 HMM은 여러 개의 관측 정보를 활용하여 학습 시키는 것이 인식에 유리하기 때문에 HMM의 매개변수들의 평균값을 취하여 사용하였다.[13] Fig. 7은 학습 과정에서 사용된 HMM 모델 구성을 나타낸다.

Fig. 7.Learned motion for multiple observation.

 

4. 실험 및 결과

센서 모션 인식은 Fig. 3에서와 같이 각 센서 데이터 획득, 센서 융합, 벡터 양자화 수행, 관측열 생성, HMM 학습 또는 인식의 각 과정을 순서대로 스마트폰 어플리케이션에 구현하여 실험을 진행하였다. 실험은 총 4명의 사람이 60개 모션에 대해서 10회씩의 동작을 취해서 그 인식 결과를 확인하는 과정을 거쳤다. 각 모션들은 기본축 회전의 조합을 통해서 이루어지도록 하였으며, 사전에 학습 과정을 진행하였다. Fig. 8은 기본축 회전을 나타낸 그림이다.

Fig. 8.Symbols of basic axis rotation.

Table 1은 Fig. 1에서 언급한 기본축 회전의 조합을 이용하여 60 종류의 모션을 정의한 표를 나타낸 것이다. 각 모션은 최대 3개까지의 기본축 회전을 조합하여 정의되었다.

Table 1.Definition of motion

Fig. 9는 각 모션들에 대한 인식 결과를 나타낸 그림이다. 60 종류의 모션에 대한 전체 실험 결과 94.38%의 평균 인식률을 보이고 있다. 다만 모션 7~16 사이의 인식 결과가 평균 73.35%로 크게 나빠지는 것을 볼 수 있는데, y축에 대한 기본 회전 수행 후 다른 축의 회전이 조합될 경우 인식이 잘 되지 않는 경우에 해당한다. 그 이유는 y축이 회전된 상태에서 위, 아래, 또는 좌, 우 방향으로 회전을 가하면 기본 축에 대한 회전을 행하는 것이 아니라 현재 상태에 영향을 받는 모든 축에 대한 회전이 이루어지기 때문이다. 모션 7~16에 해당하는 실험을 제외하면 평균 98.5%의 높인 인식 결과를 얻을 수 있다.

Fig. 9.Recognition rate Motions.

 

5. 결 론

본 논문에서는 기울기 감소 알고리즘을 적용한 센서 융합 및 HMM을 이용하여 기본축 회전 및 그 조합에 대한 모션 인식 방법을 제안하였다. 여기에서는 작은 동작 인식과 기본축 모션 인식을 효과적으로 인식하기 위하여 회전 변위에 대한 값을 구면 좌표계 변환을 통하여 적용하였으며, 기본적으로 인식률이 높은 기본축 회전들의 조합으로 다양한 모션을 사용할 수 있게 하고자 노력하였다. 실험 결과로부터 대부분의 모션들이 높은 인식률을 보이며 잘 분류되는 것을 확인할 수 있었지만 y축에 대한 회전 후 수행된 모션들은 그 인식률이 저조함을 알 수 있었다. 또한 모션 인식을 위해서 처음 동작을 취하는 과정에서 사용자의 미세한 동작 차이나 이전 동작에 대한 영향 등으로 여전히 의도하지 않은 입력이 들어오는 경우도 있음을 확인하였다. 향후에는 입력의 정확도를 더욱 높이고 더욱 다양한 자유도를 가진 모션 인식에 대해서 연구를 진행하고자 한다.