Gait-Based Gender Classification Using a Correlation-Based Feature Selection Technique

Abstract

Gender classification techniques have received a lot of attention from researchers because they can be used in various fields such as forensics, surveillance systems, and demographic studies. As previous studies have shown that there are distinctive features between male and female gait, various techniques have been proposed to classify gender from three dimensional(3-D) gait data. However, some of the gait features extracted from 3-D gait data using existing techniques are similar or redundant to each other or do not help in gender classification. In this study, we propose a method to select features that are useful for gender classification using a correlation-based feature selection technique. To demonstrate the effectiveness of the proposed feature selection technique, we compare the performance of gender classification models before and after applying the proposed feature selection technique using a 3-D gait dataset available on the Internet. Eight machine learning algorithms applicable to binary classification problems were utilized in the experiments. The experimental results show that the proposed feature selection technique can reduce the number of features by 22, from 82 to 60, while maintaining the gender classification performance.

성별 분류 기술은 법의학, 감시 시스템, 인구 통계 연구 등 다양한 분야에서 활용될 수 있기 때문에, 연구자들로부터 많은 관심을 받고 있다. 남성과 여성의 보행 사이에는 서로 구별되는 특징이 있다는 것이 기존 연구들에서 밝혀지면서, 3차원 보행 데이터에서 성별을 분류하는 다양한 기술들이 제안됐다. 하지만, 기존 기술들을 사용해 3차원 보행 데이터로부터 추출한 보행 특징 중에는 서로 유사 또는 중복되거나 성별 분류에 도움이 되지 않는 특징들도 있다. 이에 본 연구에서는 상관관계 기반 특징 선별 기술을 활용해, 성별 분류에 도움이 되는 특징들을 선별하는 방법을 제안한다. 그리고 제안하는 특징 선별 기술의 효용성을 입증하기 위해서, 인터넷상에 공개된 3차원 보행 데이터 세트(Dataset)를 활용하여 제안하는 특징 선별 기술을 적용하기 전과 후에 대해 성별 분류 모델들의 성능을 비교 분석하였다. 실험에는 이진 분류 문제에 적용할 수 있는 여덟 가지의 머신러닝 알고리즘(Machine Learning Algorithms)을 활용하였다. 실험 결과, 제안하는 특징 선별 기술을 사용하면 성별 분류 성능은 유지하면서, 특징의 개수를 82개에서 60개까지, 22개를 줄일 수 있다는 것을 입증하였다.

I. Introduction

성별은 사람을 설명하는 데 사용되는 중요한 속성 중 하나이며, 성별 분류는 패턴 인식(Pattern Recognition) 및 컴퓨터 비전(Computer Vision) 분야에서 지금까지 꾸준히 연구되고 있는연구 주제 중 하나다. 지난 수십 년간 성별 분류 기술은 마케팅(Marketing), 광고, 영업 전략 분야에서 활용되어 왔다[1-3]. 예를 들어, 매장 경영자는 성별 분류 기술을 활용하여 날짜 및 시간대별 예상되는 남성·여성 고객 수의 통계를 기반으로 제품을 효과적으로 진열함으로써 더 많은 고객을 매장으로 끌어들여 매장의 매출을 증가시킨다[4]. 또한, 성별 분류 기술은 법의학, 인간-컴퓨터 상호작용, 생체 인식, 감시 시스템, 인구 통계 연구, 게임 등 다양한 분야에서 널리 활용되고 있다[5].

지난 수십 년간 다양한 성별 분류 방법이 제안됐으며, 체형, 눈썹, 얼굴, 옷, 헤어스타일(Hairstyle) 등의 시각적 특성을 활용하는 방법이 주를 이뤘다. 예를 들어, [6]에서 Cao et al.은 정면 또는 후면에서 촬영한 전신 이미지에서 사람의 성별을 인식하는 방법을 제안했다. Cao et al.은 전신 이미지를 3×3 크기의 블록들(Blocks)로 나누고, 각 블록에서 경사지향 히스토그램(Histogram of Oriented Gradients, HOG)을 추출해 성별 분류를 위한 특징으로 활용했다. [7]에서 Dong과 Woodard는 눈썹 이미지에서 눈썹의 모양을 토대로 성별을 예측하는 방법을 제안했다. [8]에서 Nazir et al.은 상반신 옷이 포함된 얼굴 이미지에서 성별을 분류하는 방법을 제안했다. Nazir et al.은 얼굴 영역에서는 국부 이진 패턴(Local Binary Patterns, LBP)을 사용하여 얼굴 특징을, 상반신 옷 영역에서는 색상 히스토그램(Color Histogram)과 LBP를 사용하여 의류 특징을 추출해, 성별 예측에 활용했다. [9]에서 Lee와 Wei는 얼굴 이미지로부터 얼굴의 질감(Facial Texture), 머리카락의 기하학적 구조(Hair Geometry), 콧수염을 추출하고, 이를 특징으로 활용하는 성별 분류 방법을 제안했다.

선행 연구 [6-9]를 포함하여 시각적 특성을 기반으로 하는 성별 분류 연구의 대부분은, 사람의 정면 이미지가 제공되는 이상적인 환경을 가정한 상태로 성별 분류 방법을 개발했다. 따라서 만약에 사람의 정면을 촬영하지 못하는 상황이 발생할 경우, 기존 방법으로는 성별 분류 성능을 보장할 수 없다. 또한, 실제 상황에서는 선글라스, 마스크, 모자에 의해 사람의 얼굴 일부가 가려질 수 있다. 이 경우, 정면 이미지가 제공되더라도 선행 연구에서 성별 분류를 위해 제안된 특징이 제대로 추출되지 않아, 성별 분류 성능을 보장할 수 없다.

최근, 모션 캡처(Motion Capture) 기술의 급속한 발전과 함께, 편리하고 가격도 저렴한 센서들(Sensors)이 상용화되고 있다. 이에 일부 연구자들은 모션 캡처 기술과 센서를 활용해 3차원 인간 보행 데이터(Gait Data)를 수집하고, 이를 개인 식별, 헬스케어(Healthcare) 등 다양한 애플리케이션(Applications)에서 활용하고 있다[10-16]. 보행 데이터에서 인간은 몇 개의 주요 관절로 구성된 골격 모델(Skeleton Model)로 표현되며, 보행 데이터는 관절별 3차원 좌푯값의 시간에 따른 변화를 기록한 데이터, 즉 시계열 데이터로 이해할 수 있다. 3차원 보행 데이터는 보행자의 정면뿐만 아니라 측면과 후면에서도 수집할 수 있는 장점 때문에, 성별 분류에 관한 최근 연구들에서는 보행 데이터로부터 성별을 분류하는 방법들도 발표되고 있다[17]. 보행 기반 성별 분류 연구에서 남성과 여성의 보행 사이에서 서로 구별되는 특징을 보행 특징(Gait Features)이라고 하며, 오른발과 왼발 관절 사이의 거리로 계산되는 보폭(Stride)이 보행 특징의 대표적인 예이다. 성별 분류 문제에 보폭을 특징으로 활용하는 것은 여성이 남성보다 보폭이 짧은 경향이 있다는 관찰에 근거한 것으로[18], 보폭 이외에도 신체 부위별 길이(Length of Body Part), 신장(Height), 양손 사이의 거리 등이 성별 분류를 위한 보행 특징으로 활용되고 있다.

본 연구에서는 선행 연구들에서 제안된 보행 특징을 활용하여, 성별 분류 모델의 성능과 계산 효율 향상 방법을 연구했다. 본 연구의 주요 기여 포인트는 다음과 같다.

⦁ 선행 연구들에서 제안된 보행 특징 중에는 서로 유사 또는 중복되거나 성별 분류에 도움이 되지 않는 특징들도 있다. 좋은 성능을 달성하는 분류기(Classifier)를 설계하기 위해서는, 분류기의 입력 데이터를 분류 문제 해결에 도움이 되는 특징들로 구성할 필요가 있다. 이에 본 연구에서는 선행 연구들에서 제안된 여러 보행 특징에 대해 상관 분석(Correlation Analysis)을 수행하여 성별 분류에 도움이 되는 특징을 선별한다.

⦁ 인터넷상에 공개된 보행 데이터 세트(Dataset)를 이용하여 제안하는 상관관계 기반 특징 선별 기술의 효용성을 입증한다. 성별 분류 문제는 이진(Binary) 분류 문제로, 본 연구에서는 이진 분류 문제에 적용할 수 있는 여덟 가지의 머신러닝(Machine Learning, ML) 알고리즘을 활용하여 성별 분류 모델을 구현하고, 각 모델에 대한 성별 분류 성능을 평가한다.

본 논문의 구성은 다음과 같다. Ⅱ장에는 성별 분류 방법과 관련된 기존 연구들에 대한 검토 내용이 기술돼 있다. Ⅲ장에는 성별 분류를 위한 보행 특징 추출 과정과 제안하는 상관관계 기반 특징 선별 과정이 기술돼 있다. Ⅳ장에서는 제안하는 방법과 벤치마크 방법(Benchmark Methods)의 성능 평가를 위해 사용된 보행 데이터 세트와 성능 평가 결과가 기술돼 있다. Ⅴ장에서는 본 논문의 결론 및 향후 과제에 대해 기술돼 있다.

II. Related Work

인체 골격 모델을 활용하여 사람의 성별 분류하는 연구는 지난 수년간 꾸준히 진행됐다. 인체 골격 정보를 성별 분류에 활용할 수 있다는 아이디어(Idea)는 Yoo et al.이 [19]에서 처음 제안했다. Yoo et al.는 실험에서 사우샘프턴(Southampton) 데이터 세트에서 제공하는 보행자 이미지 시퀀스(Image Sequences)를 사용했다. Yoo et al.는 시퀀스의 각 이미지에 대해서 배경을 제거한 다음 보행자의 윤곽을 추출했다. 그리고 인체 부위의 해부학적 특성을 고려해서, 윤곽에서 신체 관절의 위치를 추정했다. 이때 추정한 관절은 목, 어깨, 허리, 골반, 무릎, 발목이었으며, 그 결과 각 이미지에서 9개의 관절로 구성된 2차원 골격 모델을 얻을 수 있었다. Yoo et al.는 이 2차원 골격 모델에서 엉덩이, 무릎, 발목의 관절 각도를 계산하여 성별 분류를 위한 특징으로 활용했다.

[19]에서 소개된 아이디어에서 영감을 받은 Kastaniotis et al.은 [20]에서 골격 시퀀스로부터 성별을 분류하는 방법을 제안했다. Kastaniotis et al.은 Microsoft의 Kinect 버전(Version) 1 센서를 사용하여 20개의 인체 관절에 대한 3차원 위치 정보를 획득했으며, 20개의 관절 중 8개의 관절을 선택했다. 그리고 선택한 8개의 관절 각각에 대해 2개의 오일러 각(Euler Angles)을 계산했다. 그다음 각도별로 시간 경과에 따른 값의 분포를 나타내기 위해 40개의 구간(Bins)으로 구성된 히스토그램(Histogram)을 생성하였으며, 프레임(Frame)마다 계산된 각도 값에 따라 히스토그램에서 대응되는 도수의 값을 1씩 증가시켰다. 따라서 히스토그램 기반 특징은 640차원(=16×40)의 벡터(Vector)로 표현됐다. Kastaniotis et al.은 주성분 분석(Principal Component Analysis, PCA)를 사용하여 특징 벡터의 차원을 640에서 90으로 줄였으며, 이 90차원의 특징 벡터를 성별 분류를 위한 최종 특징으로 활용했다.

Andersson et al.은 [21]에서 성별 분류를 위해 각 신체 부위의 평균 길이, 평균 신장과 같은 인체 측정학 특징(Anthropometric Features)을 사용할 것을 제안했다. Andersson et al.은 인체 측정한 특징의 유용성을 입증하기 위해 자체적으로 보행자의 골격 데이터 세트를 구축했으며, 서포트 벡터 머신(Support Vector Machine, SVM), k-최근접 이웃(k-Nearest Neighbors, KNN), 다층 퍼셉트론(Multilayer Perceptron, MLP) 모델을 활용하여 실험했다. 실험 결과에 따르면, MLP 모델이 93.1%의 성별 분류 정확도로 가장 우수한 성능을 달성했다.

Miyamoto와 Aoki는 [22]에서 Kinect 버전 2 센서로부터 얻은 신체 관절의 3차원 위치 정보를 특징 벡터로 활용하여 성별을 분류하는 방법을 제안했다. 피험자(Subject) 별로 보행 시간이 다르므로 골격 시퀀스의 길이가 달랐는데, Miyamoto와 Aoki는 시퀀스의 길이를 같게 만들기 위해 선형 보간법을 사용했다. 그다음 특징 벡터를 사용하여 SVM 모델을 훈련하고, 12명(남성 6명, 여성 6명)으로 구성된 자체 제작 데이터 세트에서 모델의 성능을 평가했다. 실험 결과에 따르면, SVM 모델은 99.12%의 성별 분류 정확도를 달성했다. Bachtiar et al.은 [23]에서 Kinect 버전 1 센서를 사용하여 20명(남성 10명, 여성 10명)의 골격 시퀀스를 획득했으며, 시간 경과에 따른 오른손과 왼손 사이의 평균 거리 그리고 오른발과 왼발 사이의 평균 거리를 성별 분류를 위한 특징으로 사용하는 방법을 제안했다.

Ahmed와 Sabir는 [24]에서 Kinect 버전 1 센서에서 얻은 20개 신체 관절의 2차원 위치 정보를 사용하여 사람의 성별을 분류하는 방법을 제안했다. Ahmed와 Sabir는 각 프레임에서 보폭과 오른쪽 어깨와 왼쪽 어깨 사이의 수평 거리를 계산했다. 또한 머리, 어깨, 손목, 발목 등 여러 관절의 지면으로부터의 수직 높이도 계산했다. 그다음 각 관절에 대해 전체 프레임에 대한 평균, 표준편차, 사행도(Skewness)를 계산했다. 그리고 계산된 각 값을 모아 특징 벡터를 구성하고, 이를 성별 분류 모델의 입력으로 사용했다. Camalan et al.은 [25]에서 신장 정보를 사용하여 사람의 성별을 식별하는 방법을 제안했다. Camalan et al.은 Kinect 버전 1 센서를 활용해서 인체 골격 시퀀스를 획득했으며, 시퀀스의 프레임마다 세 가지 방법으로 개인의 신장을 계산했다. 첫 번째 방법에서 신장은 발에서 머리까지의 거리로 계산했으며, HbS(Height by Skeleton)라고 명명했다. 두 번째 방법에서는 신장을 ‘어깨와 무릎 사이의 거리 / 0.52’의 수식으로 계산했으며, HbE(Height by Estimation)라고 명명했다. 세 번째 방법에서 신장은 양팔을 좌우로 뻗었을 때, 오른손과 왼손 사이의 거리로 계산했으며, HbW(Height by Wingspan)로 명명했다. 그 다음 세 가지 방법으로 계산된 신장에 대해 전체 프레임에 대한 평균을 계산하였으며, 이를 성별 분류 모델의 입력으로 사용했다.

Kwon과 Lee는 [26]에서 관절 스윙 에너지(Joint Swing Energy, JSE)라는 새로운 보행 특징을 이용한 성별 분류 방법을 제안했다. Kwon과 Lee는 가로면(Transverse Plane), 이마면(Frontal Plane), 정중면(Median Plane)에서 각 관절의 움직임이 보행 중인 여성과 남성 사이에 유의미한 차이를 보인다는 사실을 발견했다. 그리고 관찰 결과를 바탕으로, 골격 모델의 각 관절이 보행 중에 앞서 3개의 해부학적 평면들(Anatomical Planes)로부터 얼마나 멀리 떨어져 있는지를 나타내는 운동학적(Kinematic) 보행 특징으로 JSE를 제안했다. JSE의 효과를 입증하기 위해서, Kwon과 Lee는 인터넷상에 공개된 4개의 보행 데이터 세트에 대해서 다른 벤치마크 방법들과 성능을 비교하여 JSE로 훈련된 모델이 가장 우수한 성별 분류 정확도를 달성하는 것을 보였다.

Azhar et al.은 [27]에서 Kinect 버전 1 센서로부터 얻은 신체 관절의 3차원 위치 정보를 특징 벡터로 활용하여 성별을 분류하는 방법을 제안했다. Kinect 버전 1 센서가 제공하는 골격 모델의 관절 개수는 총 20개로, Azhar et al.은 보행 특징으로 사용되는 관절 개수에 따른 로지스틱 회귀(Logistic Regression, LR) 모델의 성별 분류 성능을 비교했다. 비교를 위해 고려된 관절 개수는 9개, 12개, 14개, 16개, 18개, 20개였으며, 실험 결과에 따르면, 성별 분류 정확도는 20개의 모든 관절에 대한 위치 정보를 활용해 훈련된 LR 모델이 가장 높았다. Azhar et al.은 후속 연구[28]에서 하반신(Lower-Body)의 관절 위치 정보만을 활용하여 성별을 분류하는 방법을 제안했다. 엉덩이, 무릎, 발목, 발을 포함해 총 9개의 관절에 대해서 x, y, z축의 좌푯값들이 특징 벡터로써 LR 모델을 훈련하는 데 활용됐다. [28]에서 소개된 아이디어에서 영감을 받은 Alsaif et al.은 [29]에서 골격 모델의 두 다리 사이의 각도를 보행 특징으로 하는 성별 분류 방법을 제안했다. Alsaif et al.은 제안하는 보행 벡터를 사용하여 인공신경망(Artificial Neural Network, ANN)을 훈련하고, 20명(남성 10명, 여성 10명)으로 구성된 데이터 세트에서 ANN의 성능을 평가했다. 실험 결과에 따르면, ANN의 성별 분류 정확도는 95.5%였다.

III. Proposed Method

1. Overall Process

그림 1은 제안하는 성별 분류 방법의 전체 과정에 대한 개요를 보여준다. 전체 과정은 크게 (1) 보행 특징 추출, (2) 상관 분석을 통한 보행 특징 선별, (3) ML 모델 훈련 및 성별 분류 성능 평가의 세 단계로 나뉜다. 첫 번째 단계에서는 3차원 보행 데이터에서 성별 분류를 위한 보행 특징을 추출한다. 두 번째 단계에서는 성별과 각 보행 특징 사이의 상관 분석을 수행해, 성별 분류에 도움이 되는 보행 특징을 선별한다. 세 번째 단계에서는 레이블(Label)이 지정된 훈련 세트(Training Set)를 사용하여 성별 분류 모델을 훈련한다. 그다음 검증 세트(Validation Set)를 사용하여 모델을 평가 및 하이퍼파라미터(Hyperparameter)를 조율한다. 조율 완료된 모델에 대해 훈련, 평가, 하이퍼 파라미터 조율 과정을 반복 수행함으로써, 모델의 하이퍼 파라미터를 최적화한다. 그리고 하이퍼파라미터가 최적화된 최종 모델에 대해서 시험 세트(Test Set)를 사용하여 성별 분류 성능 평가를 수행한다.

Fig. 1. Overall Process of the Proposed Method

2. Gait Feature Extraction

제안하는 방법은 그림 1에서와 같이, 성별 분류를 위해 서 3차원 보행 데이터를 입력으로 사용한다. 3차원 보행 데이터는 시계열 데이터로, 매 프레임에서 보행자의 자세(Pose)는 J개의 관절로 구성된 3차원 골격 모델로 표현된다. 일반적으로 J의 값은 모션 캡처 시스템에 따라 다르다. 예를 들어, Kinect 버전 1 센서의 경우 J = 20이다. 그리고 버전 2 센서의 경우 J = 25, 애저(Azure) Kinect 센서의 경우 J = 32이다. 본 논문에서는 그림 2에서와 같이 Kinect 버전 1 센서가 제공하는 3차원 골격 모델을 활용하여 보행 특징 추출 과정을 설명한다. 그림 2에서 ‘C’, ‘R’, ‘L’은 각각 중앙(Center), 오른쪽(Right), 왼쪽(Left)을 의미한다.

Fig. 2. 3-D Human Skeleton Model Consisting of Twenty Joints and Nineteen Body Parts

보행 기반 성별 분류를 위해 본 연구에서 사용한 보행 특징을 설명하기 위해서, 각 보행 특징을 F1, F2, F3, F4, F5라 명명한다. 그리고 각 보행 특징 추출 과정의 설명을 위해, 관절 인덱스(Index) 집합을 J = {1, ⋯, 20}이라고 하자. 그리고 j∈J번째 관절의 t번째 프레임에서의 좌표를 P_j[t] = (x_j[t], y_j[t], z_i[t])라 하자. 여기서 x_j[t], y_j[t], z_j[t]는 각각 j번째 관절의 t번째 프레임에서의 x축, y축, z축 좌푯값이다.

1) F1 Feature Extraction

F1은 Andersson et al.이 [21]에서 제안한 보행 특징으로, 보행자의 골격 시퀀스로부터 추출한 각 신체 부위(Limb)의 평균 길이와 평균 신장이 포함된다. 여기서 각 신체 부위는 두 관절의 쌍으로 정의되며, 신체 부위를 결정짓는 관절 쌍의 집합을 L = {(i, j)|i ≠ j, i∈J, j∈J}이라고 하자. 각 신체 부위에 대한 정의는 표 1에 기술돼 있으며, 두 관절의 쌍 (i, j)에 의해 정의되는 신체 부위의 평균 길이 \(\begin{align}\overline {L}_{(i,j)}\end{align}\)는 다음과 같이 계산된다.

Table 1. Limb Information of 3-D Human Skeleton Model

\(\begin{align}\overline{L}_{(i, j)}=\frac{1}{T} \sum_{t=1}^{T}\left\|P_{i}[t]-P_{j}[t]\right\|\end{align}\).       (1)

수식 (1)에서 T는 골격 시퀀스의 전체 프레임 수이고, ||∙||은 유클리디안 노름(Euclidean Norm)이다. Andersson et al.이 [21]에서 제안한, t번째 프레임에서 보행자의 신장 H[t]은 다음과 같이 계산된다.

H[t] = L_{(1, 2)}[t] + L_{(2, 11)}[t] + L_{(11, 12)}[t]

+ (L_{(12, 13)}[t] + L_{(12, 14)}[t])/2

+ (L_{(13, 15)}[t] + L_{(14, 16)}[t])/2

+ (L_{(15, 17)}[t] + L_{(16, 18)}[t])/2.       (2)

수식 (2)에서 L_{(i, j)}[t]는 t번째 프레임에서 두 관절의 쌍 (i, j)에 의해 정의되는 신체 부위의 길이다. 그리고 수식 (2)로부터 평균 신장은 다음과 같이 계산된다.

\(\begin{align}\overline{H}=\frac{1}{T} \sum_{t=1}^{T} H[t]\end{align}\).       (3)

F1은 수식 (1)로부터 계산된 신체 부위별 평균 길이 19개와 수식 (3)으로부터 계산된 평균 신장 1개를 포함하여, 총 20개의 원소를 갖는 벡터가 된다.

2) F2 Feature Extraction

F2는 Bachtiar et al.이 [23]에서 제안한 보행 특징으로, 보행자의 오른손과 왼손 사이의 평균 거리 그리고 오른발과 왼발 사이의 평균 거리가 포함된다. 먼저 오른손과 왼손 사이의 평균 거리 \(\begin{align}\overline{D}_{1}\end{align}\)은 다음과 같이 계산된다.

\(\begin{align}\overline{D}_{1}=\frac{1}{T} \sum_{t=1}^{T}\left\|P_{9}[t]-P_{10}[t]\right\|\end{align}\).       (4)

그리고 오른발과 왼발 사이의 평균 거리 \(\begin{align}\overline{D}_2\end{align}\)는 다음과 같이 계산된다.

\(\begin{align}\overline{D}_{2}=\frac{1}{T} \sum_{t=1}^{T}\left\|P_{19}[t]-P_{20}[t]\right\|\end{align}\).       (5)

F2은 수식 (4)로부터 계산된 오른손과 왼손 사이의 평균 거리 1개와 수식 (5)로부터 계산된 오른발과 왼발 사이의 평균 거리 1개를 포함하여, 총 2개의 원소를 갖는 벡터가 된다.

3) F3 Feature Extraction

F3은 Ahmed와 Sabir가 [24]에서 제안한 보행 특징이다. 우선 t번째 프레임에서 보행자의 오른쪽 어깨와 왼쪽 어깨 사이의 거리 D₃[t]를 다음과 같이 계산한다.

D₃[t] = ||P₃[t] - P₄[t]||.       (6)

그리고 t번째 프레임에서 보행자의 오른쪽 발목과 왼쪽 발목 사이의 거리 D₄[t]를 다음과 같이 계산한다.

D₄[t] = ||P₁₇[t] - P₁₈[t]||.       (7)

F3은 D₃[t]와 D₄[t], 각각의 평균, 표준편차, 사행도를 포함하며, D_k[t]의 평균 \(\begin{align}\overline{D}_k\end{align}\)은 다음과 같이 계산한다.

\(\begin{align}\overline{D}_{k}=\frac{1}{T} \sum_{t=1}^{T} D_{k}[t], \forall k \in\{3,4\}\end{align}\).       (8)

D_k[t]의 표준편차 Std_k은 다음과 같이 계산한다.

\(\begin{align}S t d_{k}=\sqrt{\frac{1}{T} \sum_{t=1}^{T}\left(D_{k}[t]-\overline{D}_{k}\right)^{2}}, \forall k \in\{3,4\}\end{align}\).       (9)

D_k[t]의 사행도 Skew_k은 다음과 같이 계산한다.

\(\begin{align}Skew_{k}=\frac{m_{3}}{\left(m_{2}\right)^{3 / 2}}, \forall k \in\{3,4\}\end{align}\).       (10)

수식 (10)에서 \(\begin{align}m_{i}=\frac{1}{T} \sum_{t=1}^{T}\left(D_{k}[t]-\overline{D}_{k}\right)^{i}\end{align}\)이다. 결과적으로 F3은 오른쪽 어깨와 왼쪽 어깨 사이의 거리로부터 수식 (8)-(10)을 이용해 계산된 평균, 표준편차, 사행도 3개와 오른쪽 발목과 왼쪽 발목 사이의 거리로부터 수식 (8)-(10)을 이용해 계산된 평균, 표준편차, 사행도 3개를 포함하여, 총 6개의 원소를 갖는 벡터가 된다.

4) F4 Feature Extraction

F4는 Camalan et al.이 [25]에서 제안한 보행 특징으로, HbS, HbE, HbW 각각의 평균값이 포함된다. 먼저, t번째 프레임에서 HbS[t]는 다음과 같이 계산된다.

HbS[t] = L_{(1, 2)}[t] + L_{(2, 11)}[t] + L_{(11, 12)}[t]

+ (||P₁₂[t] - P₁₅[t]|| + ||P₁₂[t] - P₁₆[t]||)/2

+ (L_{(15, 17)}[t] + L_{(16, 18)}[t])/2

+ (L_{(17, 19)}[t] + L_{(18, 20)}[t])/2       (11)

전체 T 프레임에 대한 HbS[t]의 평균값 \(\begin{align}\overline{HbS}\end{align}\)는 다음과 같이 계산된다.

\(\begin{align}\overline{H b S}=\frac{1}{T} \sum_{t=1}^{T} H b S[t]\end{align}\).       (12)

t번째 프레임에서 HbE[t]는 다음과 같이 계산된다.

\(\begin{align}\begin{aligned} H b E[t] & =\frac{1}{0.52}\left(\left\|P_{3}[t]-P_{15}[t]\right\|\right. \\ & \left.+\left\|P_{4}[t]-P_{16}[t]\right\|\right) / 2 .\end{aligned}\end{align}\)       (13)

전체 T 프레임에 대한 HbE[t]의 평균값 \(\begin{align}\overline{HbE}\end{align}\)는 다음과 같이 계산된다.

\(\begin{align}\overline{H b E}=\frac{1}{T} \sum_{t=1}^{T} H b E[t]\end{align}\).       (14)

t번째 프레임에서 HbW[t]는 다음과 같이 계산된다.

HbW[t] = L_{(8, 10)}[t] + L_{(6, 8)}[t] + L_{(4, 6)}[t]

+ L_{(2, 4)}[t] + L_{(2, 3)}[t] + L_{(3, 5)}[t]

+ L_{(5, 7)}[t] + L_{(7, 9)}[t].       (15)

전체 T 프레임에 대한 HbW[t]의 평균값 \(\begin{align}\overline{HbW}\end{align}\)는 다음과 같이 계산된다.

\(\begin{align}\overline{H b E}=\frac{1}{T} \sum_{t=1}^{T} H b E[t]\end{align}\).       (16)

F4는 수식 (12), (14), (16)을 이용하여 각각 계산된 \(\begin{align}\overline{HbS}\end{align}\), \(\overline{HbE}\), \(\begin{align}\overline{HbW}\end{align}\)를 포함하여, 총 3개의 원소를 갖는 벡터가 된다.

5) F5 Feature Extraction

F5는 Kwon과 Lee가 [26]에서 제안한 보행 특징으로, 특징을 추출하기 위해서 가로면, 이마면, 정중면의 해부학적 평면을 사용한다. 먼저, t번째 프레임에서 가로면은 \(\begin{align}\overrightarrow{v_{1}}=(0,0,1)\end{align}\)을 법선 벡터로 하고 P₁₂[t]를 지나는 평면으로 정의된다. 그러면 t번째 프레임에서 가로면의 방정식은 다음과 같이 표현할 수 있다.

\(\begin{align}\left\langle\overrightarrow{v_{1}},\left(x-x_{12}[t], y-y_{12}[t], z-z_{12}[t]\right)\right\rangle=0\end{align}\).       (17)

수식 (17)에서 〈∙, ∙〉은 내적(Inner Product)이다. 이마면은 두 점 P₁₃[t]와 P₁₄[t]를 지나고 XY-평면에 수직인 평면으로 정의된다. \(\begin{align}\overrightarrow{v_{2}}[t]\end{align}\)를 t번째 프레임에서 이마면의 법선 벡터라고 하자. 그러면 \(\begin{align}\overrightarrow{v_{2}}[t]\end{align}\)은 다음과 같이 표현할 수 있다.

\(\begin{align}\overrightarrow{v_{2}}[t]=\overrightarrow{P_{13}[t] P_{14}[t]} \times \overrightarrow{v_{1}}\end{align}\).       (18)

수식 (18)에서 ×은 외적(Cross Product) 연산자이다. 그러면 t번째 프레임에서 이마면의 방정식은 다음과 같이 표현할 수 있다.

\(\begin{align}\left\langle\overrightarrow{v_{2}},\left(x-x_{12}[t], y-y_{12}[t], z-z_{12}[t]\right)\right\rangle=0\end{align}\).       (19)

정중면은 \(\begin{align}\overrightarrow{P_{13}[t] P_{14}[t]}\end{align}\)를 법선 벡터로 하고 P₁₂[t]를 지나는 평면으로 정의된다. 그러면 t번째 프레임에서 정중면의 방정식은 다음과 같이 표현할 수 있다.

\(\begin{align}\begin{array}{l}\left\langle\overrightarrow{P_{13}[t] P_{14}[t]},\left(x-x_{12}[t], y-y_{12}[t], z-z_{12}[t]\right)\right\rangle =0 .\end{array}\end{align}\).       (20)

JSE는 보행 중 관절이 수식 (17), (19), (20)의 세 가지 해부학적 평면에서 얼마나 멀리 떨어져 있는지를 나타낸다. R_{j, 1}[t]를 t번째 프레임에서 j번째 관절과 가로면 사이의 거리라고 하자. 그러면 R_{j, 1}[t]는 다음과 같이 계산된다.

R_{j, 1}[t] = |z_j[t] - z₁₂[t]|.       (21)

수식 (21)에서 |∙|은 절댓값 노름(Absolute-Value Norm)이다. 전체 프레임에 대한 j번째 관절과 가로면 사이의 평균 거리를 \(\begin{align}\overline{R}_{j,1}\end{align}\)라 하자. 그러면 \(\begin{align}\overline{R}_{j,1}\end{align}\)는 수식 (21) 의 R_{j, 1}[t]를 사용하여 다음과 같이 계산된다.

\(\begin{align}\overline{R}_{j, 1}=\frac{1}{T} \sum_{t=1}^{T} R_{j, 1}[t]\end{align}\).       (22)

R_{j, 2}[t]를 t번째 프레임에서 j번째 관절과 이마면 사이의 거리라고 하자. 그러면 R_{j, 2}[t]는 다음과 같이 계산된다.

\(\begin{align}\begin{aligned} R_{j, 2}[t] & =\left|\left(y_{14}-y_{13}\right)\left(x_{j}-x_{12}\right)+\left(x_{13}-x_{14}\right)\left(y_{j}-y_{12}\right)\right| \\ & / \sqrt{\left(y_{14}-y_{13}\right)^{2}+\left(x_{13}-x_{14}\right)^{2}} .\end{aligned}\end{align}\)       (23)

수식 (23)에서 수식이 단 너비를 벗어나는 것을 막기 위해, x축, y축, z축 좌푯값 (x₁₃[t], y₁₃[t], z₁₃[t], x₁₄[t], y₁₄[t], z₁₄[t], x_j[t], y_j[t], z_j[t])에서 프레임 인덱스 [t]를 생략한 후 (x₁₃, y₁₃, z₁₃, x₁₄, y₁₄, z₁₄, x_j, y_j, z_j)를 사용해 수식을 기술했다.

전체 프레임에 대한 j번째 관절과 이마면 사이의 평균 거리를 \(\begin{align}\overline{R}_{j,2}\end{align}\)라 하자. 그러면 \(\begin{align}\overline{R}_{j,2}\end{align}\)는 수식 (23)의 R_{j, 2}[t]를 사용하여 다음과 같이 계산된다.

\(\begin{align}\overline{R}_{j, 2}=\frac{1}{T} \sum_{t=1}^{T} R_{j, 2}[t]\end{align}\).       (24)

R_{j, 3}[t]를 t번째 프레임에서 j번째 관절과 정중면 사이의 거리라고 하자. 그러면 R_{j, 3}[t]는 다음과 같이 계산된다.

\(\begin{align}\begin{array}{l}R_{j, 3}[t]= \\ \left|\left(x_{14}-x_{13}\right) x_{j}+\left(y_{14}-y_{13}\right) y_{j}+\left(z_{14}-z_{13}\right) z_{j}+d\right| \\ / \sqrt{\left(x_{14}-x_{13}\right)^{2}+\left(y_{14}-y_{13}\right)^{2}+\left(z_{14}-z_{13}\right)^{2}} .\end{array}\end{align}\).       (25)

수식 (25)에서 d = x₁₂[t](x₁₃[t] - x₁₄[t]) + y₁₂[t](y₁₃[t] - y₁₄[t]) + z₁₂[t](z₁₃[t] - z₁₄[t])이다. 그리고 수식이 단 너비를 벗어나는 것을 막기 위해, x축, y축, z축 좌푯값 (x₁₃[t], y₁₃[t], z₁₃[t], x₁₄[t], y₁₄[t], z₁₄[t], x_j[t], y_j[t], z_j[t])에서 프레임 인덱스 [t]를 생략한 후 (x₁₃, y₁₃, z₁₃, x₁₄, y₁₄, z₁₄, x_j, y_j, z_j)를 사용해 수식을 기술했다.

전체 프레임에 대한 j번째 관절과 정중면 사이의 평균 거리를 \(\begin{align}\overline{R}_{j,3}\end{align}\)라 하자. 그러면 \(\begin{align}\overline{R}_{j,3}\end{align}\)는 수식 (25)의 R_{j, 3}[t]를 사용하여 다음과 같이 계산된다.

\(\begin{align}\overline{R}_{j, 3}=\frac{1}{T} \sum_{t=1}^{T} R_{j, 3}[t]\end{align}\).       (26)

가로면, 이마면, 정중면의 정의에 의해 성별과 관계없이 모든 t번째 프레임에서 D_{12, 1}[t] = 0, D_{13, 2}[t] = 0, D_{14, 2}[t] = 0, D_{12, 3}[t] = 0이다. 따라서, 12번째 관절(C-hip), 13번째 관절(R-hip), 14번째 관절(L-hip)을 제외한 모든 관절에 대해서, 식 (22)의 \(\begin{align}\overline{R}_{j,1}\end{align}\), 식 (24)의 \(\begin{align}\overline{R}_{j,2}\end{align}\), 식 (26)의 \(\begin{align}\overline{R}_{j,3}\end{align}\)를 계산하여 벡터로 표현하면 다음과 같다.

\(\overrightarrow{R}_{1}=\left[\overline{R}_{j, 1} \forall j \in J-\{12,13,14\}\right]\),       (27)

\(\begin{align}\overrightarrow{R}_{2}=\left[\overline{R}_{j, 2} \forall j \in J-\{12,13,14\}\right]\end{align}\),       (28)

\(\begin{align}\overrightarrow{R}_{3}=\left[\overline{R}_{j, 3} \forall j \in J-\{12,13,14\}\right]\end{align}\).       (29)

벡터 \(\begin{align}\overrightarrow{R}_{1}\end{align}\), \(\begin{align}\overrightarrow{R}_{3}\end{align}\), \(\begin{align}\overrightarrow{R}_{3}\end{align}\)은 각각 17개의 원소를 가지며, F5는 수식 (27)-(28)을 이용해 계산된 \(\begin{align}\overrightarrow{R}_{1}\end{align}\), \(\begin{align}\overrightarrow{R}_{2}\end{align}\), \(\begin{align}\overrightarrow{R}_{3}\end{align}\)을 포함하여, 총 51개의 원소를 갖는 벡터가 된다.

3. Correlation-Based Feature Selection

제안하는 성별 분류 방법은 그림 1에서와 같이, 3차원 보행 데이터로부터 보행 특징 벡터를 추출한 다음, 추출한 벡터에 대해서 상관관계 기반 특징 선별 과정을 수행한다. 본 연구에서 고려한 보행 특징 벡터는 F1, F2, F3, F4, F5이며 각각 20개, 2개, 6개, 3개, 51개의 원소를 갖는다. 따라서 보행 특징은 총 82개이다. 상관 분석을 위해 본 연구에서는 남성(Male)의 레이블을 0으로, 여성(Female)의 레이블은 1로 지정했다. 그다음 각 보행 특징과 성별 레이블 사이의 상관관계를 계산하기 위해서, 본 연구에서는 피어슨 상관계수(Pearson Correlation Coefficient, PCC)를 계산한다. PCC는 –1과 1 사이의 실숫값으로 계산되며, PCC의 절댓값이 1에 가까울수록 해당 보행 특징과 성별 레이블 사이에는 강한 상관관계가 있다고 판단할 수 있다.

그림 3은 훈련 세트에서 추출된 보행 특징과 성별 레이블 사이에서 계산된 PCC의 절댓값을, 막대그래프로 표현한 결과를 보여준다. 그림 3에서 가로축은 각 보행 특징에 부여된 인덱스를 의미하며, 인덱스를 기준으로 오름차순으로 F1, F2, F3, F4, F5의 순서로 표현돼 있다. 그림 3의 결과를 보면, 선행 연구들에서 제안된 보행 특징 중에는 성별 레이블과 상관관계가 미약하거나 상관관계가 없는 특징들이 존재하는 것을 확인할 수 있다. 일반적으로, 특징의 수를 줄이면 더 간단하고 해석하기 쉬운 모델을 만들 수 있으며, 모델 훈련 및 예측 과정에서 필요한 계산량이 줄어드는 장점이 있다. 이에 본 연구에서는 그림 3의 PCC의 절댓값이 높은 순서대로 즉, 성별 레이블과 상관관계가 강한 보행 특징들을 선별하고, 이를 성별 분류를 위한 ML 모델의 입력으로 사용하는 방법을 제안한다.

Fig. 3. Absolute Value of Pearson Correlation Coefficient for Each Pair of (Gait Feature, Gender Label)

IV. Experimental Results

1. Dataset and Evaluation Protocol

본 연구에서는 [30]에서 소개된 3차원 보행 데이터 세트를 이용하여 제안 방법의 성능 평가를 수행했다. 상기 보행 데이터 세트에는 164명의 피험자에 대한 보행 데이터와 성별 정보가 있다. 164명의 피험자 중 여성은 51명(31.1%), 남성은 113명(68.9%)이다. 피험자별로 보행 시퀀스는 Kinect 버전 1 센서를 사용하여 5회씩 기록됐다. 단, ‘Person015’로 명명된 피험자에 대한 시퀀스는 3개뿐이며, ‘Person002’, ‘Person158’, ‘Person164’로 명명된 세 명의 피험자에 대해서는 각각 4개의 시퀀스만 존재한다. 그리고 ‘Person003’, ‘Person034’, ‘Person036’, ‘Person052’, ‘Person053’, ‘Person074’, ‘Person096’으로 명명된 7명의 피험자에 대해서는 각각 6개의 시퀀스가 존재한다. 결과적으로 데이터 세트에는 총 822개의 시퀀스가 포함돼 있다. 즉, 시퀀스 6개/명×7명+시퀀스 5개/명×153명+시퀀스 4개/명×3명+시퀀스 3개/명×1명=822개.

본 연구에서는 전체 822개의 샘플(Samples) 중 60%를 훈련 세트로 사용했고, 20%를 검증 세트, 그리고 나머지 20%를 시험 세트로 사용했다. 그리고 각 모델의 성별 분류 성능을 평가하기에 앞서 전처리 과정으로, 추출한 특징들에 대해서 표준화 과정을 수행했다[31]-[45].

표 2는 성별 분류 혼동 행렬(Confusion Matrix)을 보여준다. 본 연구에서는 성별 분류 모델의 성능을 평가하기 위해, 표 2의 혼동 행렬을 활용하여 (1) 정확도(Accuracy, ACC), (2) True Positive Rate(TPR), (3) True Negative Rate(TNR)의 3가지 평가 지표를 사용했다.

Table 2. Gender Classification Confusion Matrix

2. Results

본 연구에서는 이진 분류 문제 해결에 활용할 수 있는 (1) 이차 판별 분석(Quadratic Discriminant Analysis, QDA), (2) 가우시안 프로세스 분류기(Gaussian Process Classifier, GPC), (3) LR 기반, (4) 가우시안 나이브 베이스(Gaussian Naive Bayes, GNB), (5) KNN, (6) 의사 결정 나무(Decision Tree, DT), (7) SVM, (8) MLP 모델을 구현하여, 성별 분류 성능을 비교했다. 이를 위해서, 파이썬 프로그래밍(Python Programming) 언어용 ML 라이브러리(Library) 사이킷런(scikit-learn)을 활용하여 (1)-(7)까지의 모델을 생성했으며, 사이킷런에서 제공하는 HalvingGridSearchCV 클래스(Class)를 활용하여 각 모델에 대해서 하이퍼파라미터 최적화를 수행했다. (8)의 MLP 기반 성별 분류 모델의 경우, 인공신경망 및 딥러닝 라이브러리 텐서플로(TensorFlow)를 활용하여 [21]에서 Andersson et al.이 제안한 아키텍처(Architecture)를 구현했다.

제안하는 특징 선별 기술을 활용하여 성별 분류 작업을 수행하는 데 있어서, 몇 개의 특징을 선별해 사용해야 가장 좋은 성능을 달성할 수 있는지 알아내기 위해서, 선별할 특징의 개수를 달리하여 성능 비교를 수행했다. 설명을 위해서 각 경우를 다음과 같은 규칙으로 명명하였다.

⦁ All-F: 특징 선별 기술을 적용하지 않아 F1, F2, F3, F4, F5의 특징을 전부 성별 분류에 사용한다. 특징 벡터 내 특징의 개수는 총 82개이다.

⦁ FS-N: 제안하는 특징 선별 기술을 적용하여, 선별된 특징을 성별 분류에 사용한다. 하이픈(-) 뒤에 N은 선별한 특징의 개수를 의미한다. 예를 들어, FS-10은 상관관계의 절댓값이 높은 순으로 10개의 특징을 선별한 것을 의미한다.

표 3은 제안하는 상관관계 기반 특징 선별 기술을 적용했을 때와 적용하지 않았을 때, 8가지 ML 모델의 성별 분류 성능 평가 결과를 보여준다. 실험 결과에 따르면, 82개의 특징을 전부 사용하는 All-F에서는 GPC 모델이 모든 평가 지표에 대해서 가장 우수한 성능을 달성했다. FS-70에서도 GPC 모델이 다른 모델에 비해서 가장 우수한 성능을 달성했다. 하지만, FS-60에서 가장 우수한 성능을 달성한 모델은 KNN이었다. 그리고 FS-50, FS-40에서 가장 우수한 성능을 달성한 모델은 각각 GPC와 KNN이었다.

Table 3. Gender Classification Performance

표3의 실험 결과에 따르면, 전체 경우에 대해서 가장 우수한 성능을 달성한 경우는 (1) All-F에서 GPC 모델을 사용했을 때, (2) FS-70에서 GPC 모델을 사용했을 때, (3) FS-60에서 KNN 모델을 사용했을 때였다. 그리고 이 3가지 경우 모두에서, 각 모델이 달성한 평가 지푯값은 ACC = 0.9394, TPR = 0.9558, TNR = 0.9038로 모두 같았다. 따라서 이 결과로부터 제안하는 상관관계 기반 특징 선별 기술을 사용하면 성별 분류 성능은 유지한 상태로, 사용하는 특징의 개수를 82개에서 60개까지, 22개를 줄일 수 있는 것을 확인할 수 있다. 또한, 표3의 실험 결과에 따르면, 비록 최고 성능을 달성하진 못했지만, 제안하는 상관관계 기반 특징 선별 기술을 적용하여 특징 벡터의 차원을 줄인 상태로 모델을 훈련 및 평가하였을 때, LR, GNB, KNN, MLP 모델의 경우 3가지 평가 지표(ACC, TPR, TNR) 모두에서 성능 향상을 확인할 수 있었다.

V. Discussion

본 연구에서 사용한 [30]의 3차원 보행 데이터 세트에는 164명(여성 51명, 남성 113명)의 피험자에 대한 보행 데이터가 있었으며, 피험자의 대부분은 17세에서 35세 사이의 대학생이었다. 따라서 앞서 기술한 제안하는 기술의 평가 결과는 특정 연령대에서의 실험 결과로, 일반화된 성능 평가를 위해서는 17세 미만 또는 35세 이상의 남녀 보행자에 대해서도 평가를 수행할 필요가 있다. 또한 다양한 인종, 보행 스타일에 대해서도 평가를 수행할 필요가 있다.

본 연구에서는 3차원 보행 데이터로부터 보행자의 성별을 분류하는 문제에 초점을 맞췄으나, 제안하는 특징 선별 기술은 성별 분류에 국한되지 않고, 3차원 보행 데이터로 부터 보행자의 나이 또는 감정 상태를 분류하는 문제에도 적용할 수 있는 확장 가능성이 있다.

본 연구에서는 3차원 보행 데이터를 구성하는 각 관절의 좌표가 어떠한 결측치(Missing Value) 없이 모두 제공되는 상황을 가정하고 있다. 하지만, 실제 상황에서는 카메라와 보행자 사이에 장애물이 놓여 있을 수 있고, 최악의 경우 상기 장애물에 의해 보행자의 신체 일부분이 가려져, 특정 관절들에 대해서 좌푯값을 얻는 것이 불가능할 수 있다. 이처럼 3차원 보행 데이터가 불완전한 형태로 제공된다면, 가용 관절 좌푯값으로부터 추출할 수 있는 특징은 그 종류가 제한될 수 있다. 그리고 제안하는 특징 선별 기술 또한 성능에 영향을 받을 수 있으므로, 향후 불완전한 보행 데이터 세트에 대한 실험도 수행될 필요가 있다.

또한 앞서 언급한 추가 실험 등을 위해서는 다양한 상황을 아우르는 데이터 세트 구축이 필수적이며, 이 경우 피험자의 보행 데이터와 성별 정보를 기록할 때, 개인정보와 같은 민감한 정보에 관한 처리 지침을 마련하고 실험 참여자의 윤리적인 측면을 고려하여, 실험 전 면담 등을 진행할 필요가 있다.

VI. Conclusions

남성과 여성의 보행 사이에서 서로 구별되는 보행 특징이 있다고 알려져 있다. 이에 3차원 보행 데이터에서 성별을 분류하는 데 활용할 수 있는, 다양한 보행 특징 추출 기술들이 제안되었다. 하지만, 기존 기술을 사용해 추출한 보행 특징 중에는 서로 유사 또는 중복되거나 성별 분류에 도움이 되지 않는 특징들도 있다. 이에 본 연구에서는 상관관계 기반 특징 선별 기술을 활용해, 성별 분류에 도움이 되는 특징들을 선별하는 방법을 제안했다. 그리고 제안하는 특징 선별 기술의 효용성을 입증하기 위해서, 인터넷 상에 공개된 보행 데이터 세트에서 실험을 수행하였다. 실험에서는 이진 분류 문제에 적용할 수 있는 8가지의 ML 알고리즘을 활용하여 성별 분류 모델을 구현하고, 제안하는 특징 선별 기술을 적용하기 전과 후에 대해 각 모델의 성별 분류 성능을 비교 분석하였다. 성능 비교를 수행한 결과, 제안하는 특징 선별 기술을 사용하면 성별 분류 성능은 유지하면서, 특징의 개수를 82개에서 60개까지, 22개를 줄일 수 있다는 것을 보였다. 향후 연구에서는 PCA와 특성 중요도(Feature Importance) 등을 활용한 특징 선별 기술에 관한 연구를 수행하여, 성별 분류를 위한 최적의 특징을 선별할 수 있는 기술을 개발할 계획이다.