A Semi-Automated Labeling-Based Data Collection Platform for Golf Swing Analysis

Abstract

This study explores the use of virtual reality (VR) technology to identify and label key segments of the golf swing. To address the limitations of existing VR devices, we developed a platform to collect kinematic data from various VR devices using the OpenVR SDK (Software Development Kit) and SteamVR, and developed a semi-automated labeling technique to identify and label temporal changes in kinematic behavior through LSTM (Long Short-Term Memory)-based time series data analysis. The experiment consisted of 80 participants, 20 from each of the following age groups: teenage, young-adult, middle-aged, and elderly, collecting data from five swings each to build a total of 400 kinematic datasets. The proposed technique achieved consistently high accuracy (≥0.94) and F1 Score (≥0.95) across all age groups for the seven main phases of the golf swing. This work aims to lay the groundwork for segmenting exercise data and precisely assessing athletic performance on a segment-by-segment basis, thereby providing personalized feedback to individual users during future education and training.

본 연구는 가상현실 (Virtual Reality, VR) 기술을 활용하여 골프 스윙의 주요 구간을 식별하고 레이블링 (Labeling) 하는 방법을 탐구한다. 기존 가상현실 기기의 제한점을 해결하기 위해 OpenVR SDK (Software Development Kit)와 SteamVR을 활용하여 다양한 VR 기기에서 운동 데이터를 수집할 수 있는 플랫폼을 개발하였다. 또한, 장단기 메모리 (Long Short-Term Memory) 기반의 시계열 데이터 분석을 통해 운동 동작의 시간적 변화를 식별하고 레이블링하는 반자동 레이블링 기술을 개발하였다. 실험은 소년, 청년, 중년, 장년 세대별 각 20명씩 총 80명의 참가자가 각 5회의 스윙 데이터를 수집하여 총 400개의 운동 데이터 세트를 구축하였다. 제안하는 기술은 골프 스윙의 7가지 주요 구간에 대해 모든 연령대에서 일관되게 높은 정확도(0.94 이상)와 F1 점수(0.95 이상)를 달성하였다. 이 기술은 운동 데이터를 세분화하고 구간별로 운동 능력을 정밀하게 평가할 수 있는 기반을 마련하여, 향후 교육 및 훈련 과정에서 개별 사용자에게 맞춤형 피드백을 제공하는 데 목적이 있다.

I. Introduction

스마트 ICT (Information Communications Technology)의 발전으로 디지털 기반의 가상 세계인 메타버스 (Metaverse)가 주목받고 있으며, 다양한 가상현실(Virtual Reality, VR) 기기 개발에 마이크로소프트, 페이스북 등과 같은 빅테크 (Big Tech)들이 참여하고 있다 [1]. 이전 가상현실 기술은 고가 장비의 필요와 부족한 콘텐츠로 발전에 정체기를 겪은 바 있지만, 글로벌 빅테크를 비롯한 스타트업들의 기술 개발과 투자는 다양한 산업에서 메타버스 진입을 시도하는 기반을 마련하고 있다.

가상현실은 교육 분야에서 가장 주목받고 있는 기술 중 하나로, 학습자들이 실제로 접하기 어려운 상황이나 환경을 가상의 세계에서 체험하도록 함으로써, 실제와 같은 상호작용과 몰입감을 제공하는 첨단 기술이다. 가상현실 기술은 공학, 사회학, 의학, 그리고 예술과 같은 다양한 학문 영역에서 연구가 활발히 이루어지고 있으며, 최근에는 체육 분야에서도 그 연구가 확대되고 있다. 체육 관련 가상현실 연구가 증가하면서, 이러한 연구들을 종합적으로 분석하는 학문적 연구 결과도 발표되고 있다 [2].

ICT의 발전은 2000년대 초부터 교육 분야에 근본적인 변화를 가져왔다. 2003년에는 이러닝 (Electronic-Learning) 시스템의 도입 및 확산을 위한 기반 마련과 발전 전략이 수립되었으며, 개인의 요구에 맞추어 언제 어디서나 저비용으로 고품질의 교육과 훈련을 제공받을 수 있는 온라인 학습 체계인 유러닝 (Ubiquitous-Learning) 시스템으로의 확장에 대한 연구가 활발히 이루어졌다. 이는 2005년 유러닝 연구 학교 프로그램의 실행과 2007년 디지털 교과서의 상용화 계획으로 구체화 되었다. 그 후, 2011년 스마트 교육을 위한 전략이 발표되었고, 이어서 2012년에는 클라우드 기반 교육 시스템, 2014년에는 소프트웨어 교육의 증진을 위한 방안이 제시되면서, 교육분야는 스마트 기술을 본격적으로 도입하는 새로운 시대를 맞이하게 되었다 [3]. 교육 분야의 디지털 전환은 COVID-19 팬데믹 동안 가상현실 기술의 도입을 빠르게 증가시켰고, 이는 최근 원격 학습 및 교육 시뮬레이션에서 중요한 역할을 하고 있다 [4].

교육 분야에서 가상현실 스포츠실을 학교에 도입함에 따라 [5], 학교 체육 교육에서 가상현실 기술의 교육적 잠재력 및 효과성에 대한 논의가 이루어지고 있다 [6]. 가상현실을 활용한 체육 활동은 실외 체육 시설이나 대형 공간의 필요성을 낮추며, 날씨 변화나 미세먼지 등 외부 환경의 영향을 받지 않기 때문에 환경적 제약으로 인한 체육활동 참여 제한 문제를 해결할 수 있다. 또한, 일상에서 쉽게 접할 수 없는 다양한 스포츠 종목들도 안전한 환경에서 체험할 기회를 제공한다 [7].

기술의 발전으로 가상현실 기기 생산 비용이 감소함에 따라 소비자들의 가상현실 제품 접근성이 증가했으며, 이는 신체 활동을 촉진하는 가상현실 플랫폼의 개발로 이어졌다. 사용자의 자율성과 몰입도를 높이는 운동 플랫폼 개발은 참여 동기부여에 긍정적인 영향을 미친다는 연구 결과가 있었고 [8], 가상현실에서의 운동 능력의 향상을 목표로 하는 연구에서는 훈련, 재활, 행동인지 등 다양한 영역에서의 신체적 건강과 체력 향상에 기여한다는 결과를 발표했다 [9]. 이러한 연구의 결과는 체육 교육을 혁신적으로 변화시킬 잠재력을 가지고 있음을 보여주며, 실제로 운동능력 향상에 긍정적인 영향을 준다는 사실이 입증되고 있다. 하지만 이미 시장에 나와 있는 가상현실 기기를 사용할 경우에도 특정 소프트웨어에서만 작동하거나 데이터 수집 플랫폼 자체를 공개하지 않아, 다른 연구자들이 이를 활용하는 데 어려움이 있다 [10]. 또한 기존 운동 데이터 분석에 대한 연구들에서는 특정 운동 동작을 구간별로 나누어 분석하기 보다는 운동 동작 전체를 일괄적으로 분석하는 접근을 주로 사용해 왔다. 이러한 접근 방식은 운동 동작의 특정 부분에서 발생하는 잠재적인 문제점이나 오류를 정확하게 분석하는 데 있어 한계점이 있다 [11].

이러한 문제를 극복하기 위해 본 연구에서는 OpenVR SDK (Software Development Kit)를 활용한 SteamVR 개발 환경을 기반으로 다양한 상용 가상현실 기기에 적용 가능한 데이터 수집 플랫폼을 개발하였다. 제안하는 플랫폼은 SteamVR이 지원하는 다양한 가상현실 기기에서 활용할 수 있으며, 특정 어플리케이션 내에서만이 아닌 다른 사용자가 다른 애플리케이션을 사용하는 동안에도 백그라운드에서 데이터 수집이 가능한 환경을 제공한다. 이러한 접근 방식을 통해, 플랫폼의 범용성과 연구 및 응용 프로그램에서의 사용 가능성을 크게 향상시킬 수 있었다. 제안하는 플랫폼을 이용하여 골프 운동 수행 시 세대 간 고려해야 할 신체적 특징을 추출하고 분석함으로써 추후 휴먼팩터 (Human Factor)를 도출하는 과정에 활용하고자 한다. 이에 따라, 본 연구에서는 운동 데이터의 정밀한 분석을 위해, 운동 동작의 운동 구간을 나누어 신체 동작 특징을 추출하는 방식을 제안한다. 특히, 수기 레이블링(Labeling) 과정에서의 시간과 비용적인 측면을 고려해 일부 전처리 단계만으로 자동으로 레이블링을 수행하는 반자동 레이블링 방법을 제안한다.

본 연구의 기여는 다음과 같다.

◾ 다양한 형태의 상용 가상현실 기기에 적용할 수 있는 데이터 수집 플랫폼을 개발한다.

◾ 세부 동작 별로 골프의 운동 데이터 분석을 진행하고, 이를 통해 다양한 운동 종목으로의 확대 기반을 마련한다.

◾ 신체 운동 능력을 분석하기 위한 운동역학적 데이터(속도, 가속도, 각속도, 각가속도)를 추출하고, 이를 주요 구간별로 분류하여 분석하는 방식을 채택한다.

◾ LSTM (Long Short-Term Memory)의 시계열 데이터 처리 능력을 활용하여 운동 동작의 시간적 변화에 따라 주요 구간을 식별하고 반자동으로 레이블링할 수 있는 분석 프레임워크 (Framework)를 개발한다.

본 연구에서 개발된 프레임워크는 골프 스윙의 주요 구간별 운동 능력을 상세히 분석할 수 있는 기반을 마련하고, 특히 운동 기술의 교육과 훈련 과정에서 개별 사용자의 운동 능력 향상을 위한 맞춤형 피드백 제공에 활용될 수 있다.

II. Related Works

최근 체육 교육에서 가상현실 기술의 교육적 잠재력 및 효과성에 대한 연구가 활발히 진행되고 있다 [12]. [13]은 가상환경 아바타의 신체 표현이 운동 학습에 미치는 영향을 연구했다. 실험자들의 움직임을 가상현실 기기에서 추출되는 회전벡터를 기반으로 추적하였고, 이에 대한 운동 학습률을 측정했다. 연구 결과, 가상 신체의 형태를 시각적으로 인식하는 것이 운동 학습 향상에 영향을 준다는 것을 확인했으며, 이는 가상환경을 활용한 운동 학습의 긍정적인 영향을 실증적으로 보여주며, 신체 인식과 학습 간의 연관성을 강조한다. [14]는 가상현실을 활용한 펜싱 교육이 운동 학습에 미치는 잠재적인 영향을 평가하였다. 연구에서는 펜싱 기본 동작 세 가지 (Advance, Jump, Lunge)를 연속 동작과 개별 동작으로 나누어 학습을 진행하였으며, 개별 동작 학습 방식이 펜싱 교육에 더 효과적이라는 결과를 얻었다. 이는 펜싱 훈련 방법에 가상현실 기술이 효과적임을 보여주지만, 운동 분석 기술 개발을 위해 동작의 구간을 분류할 수 있는 레이블링 기술의 중요성 역시 강조했다.

[15]는 가상현실 환경에서 시선 적응형 (Gaze-Adaptive) 훈련이 운동 기술 학습에 미치는 영향을 평가했다. 초보 골퍼를 대상으로 프로 골퍼와 유사한 시선 제어를 유도하여 실험을 진행하였고, 짧은 훈련 기간으로 극적인 실력 향상으로 이어지지는 않았지만, 시각 운동 학습의 잠재력을 확인하였다. 본 연구는 장기적인 훈련과 스윙 기술의 확장에 대한 추가 연구의 필요성을 강조했다.

이전 연구들은 하드웨어 환경에서의 플랫폼과 수집된 데이터를 공개하지 않고, 특정 애플리케이션 (Application)에서만 작동하는 한계로 인해 데이터 접근성에 제약이 있다. 또한, 운동 동작을 세부적으로 구분하여 분석하는 대신, 전체 운동 동작을 일괄적으로 분석하는 방식을 사용함으로써 연구의 깊이에 한계가 있었다 [16]. 본 연구는 Unity 환경에서 개방형 데이터 수집 플랫폼을 개발하고, 운동 동작을 구간별로 분석할 수 있는 반자동 레이블링 절차를 도입함으로써, 향후 연구에서 이전보다 쉬운 행동인지 데이터 수집과 세밀한 운동 데이터 분석을 가능하게 할 기반을 마련하였다.

III. Proposed Data Collection Platform

Unity 2022.3.9f1 버전에서 HTC VIVE Pro HMD(Head Mounted Display), 2개의 컨트롤러와 5개의 HTC VIVE Tracker 3.0 (허리, 양쪽 손목, 양쪽 발등에 각각 하나씩)을 사용하기 위해 SteamVR 플러그인을 설치하고 OpenVR SDK를 활용해 데이터 수집 플랫폼과 SteamVR 콘텐츠를 동시에 실행할 수 있는 개발 환경을 구축하였다. 사용자는 HMD를 착용하고, 각각의 Tracker를 허리, 양쪽 손목, 발등에 부착한 후, 양손의 컨트롤러로 SteamVR 콘텐츠를 이용한다.

3.1 Development of VR Data Collection Platform Using OpenVR SDK and SteamVR

Figure 1은 본 연구에서 구축한 데이터 수집 시스템의 작동 흐름을 설명한다. 초기 단계에서는 사용자가 Unity의 Inspector를 사용하여 개인의 정보를 입력하게 된다. 여기에는 운동 유형, 성별, 연령대, 나이, 이름, 날짜, 그리고 사용 빈도가 포함된다. 이후 OBS (Open Broadcaster Software) Studio와 같은 독립 실행형 동영상 캡처 소프트웨어를 활용해 Unity 환경에서의 활동을 기록한다. 동시에 사용자는 SteamVR 환경에서 가상현실 콘텐츠를 체험하게 된다. 콘텐츠 체험이 끝나고 Unity 세션을 종료하면, 사용자의 움직임을 담은 영상 파일과 Tracker들의 위치 및 회전 데이터를 표 형태로 변환한 CSV (Comma-Separated Values) 파일이 생성되며, 사용자의 행동 패턴을 분석할 수 있는 데이터가 수집된다.

Fig. 1. Processes in the Data Collection Platform

가상현실 환경에서 사용자의 움직임을 추적하고 기록하는 방법을 개발하였다. Figure 2에 제시된 코드를 통해, 각각의 Tracker를 계층적으로 객체로 설정하고, 이들의 전역 위치 및 회전 정보를 실시간으로 수집한다. 이 데이터는 콤마(,)로 구분된 CSV 형식으로 저장된다. 사용자의 개별 정보 (운동 종목, 세대, 성별, 나이, 이름, 날짜, 시행횟수 등)는 Unity의 Inspector 창을 통해 입력되며, 이 정보를 파일명으로 사용하여 모션 데이터 파일을 생성하고, 이는 프로젝트의 Asset/CSV 폴더에 저장된다. 각 데이터의 컬럼명은 파일의 첫 행에 미리 지정되며, 이어지는 행에는 각 프레임별로 시간과 Tracker 정보가 기록된다.

Fig. 2. Store Position and Rotation Values for Trackers

추가적으로, Figure 3은 동영상 녹화 프로그램 OBS Studio를 사용해 촬영한 영상 중 일부를 보여준다. 화면에 표시된 Tracker만으로는 각각이 어느 신체 부위에 해당하는지 구분하기 어려우므로, Unity의 3D 환경 내에서 각 Tracker와 HMD를 연결하는 간단한 스켈레톤 구조를 만들었다. 이를 위해 Unity의 라인 렌더러 기능을 사용하여, 허리 Tracker를 중심으로 HMD, 양손, 양발의 Tracker들을 연결함으로써 사용자의 움직임에 따른 장치들의 위치 및 방향 변화를 시각적으로 쉽게 파악할 수 있도록 했다. 또한, 실시간으로 움직임과 모션 데이터의 변화를 직관적으로 확인할 수 있도록 각 장치의 위치와 회전 정보를 보여주는 사용자 인터페이스 (User Interface)를 추가하였다.

Fig. 3. Unity Project and SteamVR Content Driving Screen

이 영상은 Unity 프로젝트와 SteamVR 콘텐츠가 VR 장치에서 동시에 실행되는 상황을 담고 있다. 사용자가 가상현실 장비를 착용하고 SteamVR 콘텐츠를 활용하면, Unity 프로젝트도 함께 작동하여 사용자의 움직임에 따른 모션 데이터를 수집한다. Unity 프로젝트 내에서는 UI 텍스트를 통해 모션 데이터를 실시간으로 볼 수 있어, 나중에 이 모션 데이터를 SteamVR 콘텐츠를 사용할 당시의 영상과 비교 분석함으로써 특정 시점의 데이터를 정확하게 확인하고 비교할 수 있다. 이 과정은 모션 데이터의 정확성을 검증하고 사용자의 움직임에 대한 이해도를 제고할 수 있다.

3.2 Analysis and Results of Collected Data

데이터는 골프 운동을 접해보지 않은 일반인 실험자들을 대상으로 수집하였고, 연령별 네 개의 세대로 나누어 진행하였다. 각 세대는 소년세대 (Teenage: 12세 ~ 19세), 청년세대 (Young-adult: 20세 ~ 39세), 중년세대(Middle-aged: 40세 ~ 59세), 장년세대 (Elderly: 60세 이상)로 구성된다. 각 세대별로 20명씩 총 80명이 5회의 운동을 진행하여 한 종류의 운동당 총 400개의 운동 데이터를 수집했다.

개발된 데이터 수집 시스템은 SteamVR 콘텐츠를 사용할 때 발생하는 모션 데이터를 효과적으로 기록한다. 데이터는 연동된 기기의 월드 좌표를 기준으로 위치 (Vector), 회전 (Quaternion) 값 데이터를 받아 생성한다. 데이터는 HMD, Controller 2개 (Left, Right), 그리고 다섯 개의 Tracker로부터 데이터를 수집하여 CSV 파일 형식으로 저장한다. Table 1은 HMD로부터 수집된 데이터 중 일부를 나타낸 것이다. 각 컬럼은 속도, 각속도, 가속도, 각가속도를 나타내며, 각 값은 3개의 원소로 구성되어 있다. 이는 X, Y, Z 월드 좌표에 대한 벡터값을 의미하며, 예를들어 HMD의 속도 값은 (0.01, 0, -0.01)과 같이 표기된다. 각 프레임마다 모션 데이터가 기록되므로, 특정 시점의 데이터 값을 확인하는 것이 가능하다. 이렇게 저장된 데이터와 함께 캡처된 모션 비디오를 분석함으로써, 사용자가 특정 시점에서 어떤 포즈를 취했는지도 확인할 수 있다. 이 시스템은 정확한 모션 데이터 분석과 함께 시각적 검증을 가능하게 하여, 사용자의 움직임과 포즈를 더욱 세밀하게 이해하는 데 도움을 준다.

Table 1. Motion Data Over Time

본 연구의 초점은 모션 데이터의 일관성 있는 분석과 각 구간별 포즈 식별을 위한 기법 개발에 있으며, 수기로 구간을 나눈 방식이기 때문에 데이터 레이블링의 정확성에 제한이 있을 수 있음을 인지하고 있다. 그러나 이러한 접근 방식은 골프 스윙의 복잡한 동작을 시계열 데이터로 효과적으로 분석하고 이해하는 데 중요한 기반을 제공한다.

IV. Data Labeling for Exercise Analysis

데이터셋은 HMD, 두 개의 Controller, 그리고 다섯 개의 Tracker에서 수집된 운동역학적 데이터 (속도, 각속도, 가속도, 각가속도)로 구성되어 있다. 속도 및 가속도는 XR 디바이스에서 획득할 수 있는 Global Position 값의 1차 미분과 2차 미분을 통하여 얻었으며, 각속도 및 각가속도는 XR 디바이스에서 획득할 수 있는 Global Quaternion 값의 회전벡터 전환 과정 이후 1차 미분과 2차 미분을 통하여 얻었다.

본 연구에서는 골프 운동 데이터를 수집하고, 특정 구간을 Figure 4에 제시된 7가지 동작들로 세분화하였다. 이 과정에서 운동 주요 구간을 식별하기 위하여 사후 레이블링을 목적으로 프레임별 영상 분석을 실시했다. 수집된 운동역학적 데이터를 분석하기 위해 주요 구간별 스칼라 변환 값의 평균값을 계산하고 데이터를 생성하였다. 이를 위해 Python의 Pandas 및 OS (Operating System) 라이브러리를 활용하여 주요 구간별 스칼라 변환 값의 평균을 계산하고, 수기 레이블링 된 구간별 데이터를 취합하였다. 이후, 통계적 마이닝 기법을 통해 평균, 분산, 왜도, 첨도 등의 통계적 지표를 산출하여 주요 구간별 신체 동작 특징을 추출하였다. 이를 통해 각 구간의 운동 특성과 차이를 분석하고, 세대 간 차이를 분석하기 위한 휴먼팩터 도출 과정에 활용하고자 하였다. 초기에는 모든 데이터 포인트에 대해 수기로 레이블을 부여하였지만, 이 방법은 상당한 시간과 비용을 요구했다. 이러한 문제를 해결하기 위해 시계열 데이터 처리에 뛰어난 성능을 보이는 LSTM 모델을 도입하였다. 기존의 수기 레이블링 데이터를 활용하여 LSTM 모델을 학습시킴으로써, 반자동화 레이블링 시스템을 개발하였다. 이 시스템은 수작업 레이블링의 부담을 낮출 수 있으며, 더 빠르고 비용 효율적인 레이블링을 가능하게 하여 운동 분석의 정확도와 효율성을 높일 수 있다.

Fig. 4. Golf Key Segments and Extraction Parameters

4.1 Model Architecture and Training Process

시간에 따른 운동역학적 데이터 분류를 위하여 시계열 데이터 처리에 특화된 LSTM 모델을 활용하였다. 이 모델은 셀 상태를 통해 이전 정보를 저장할 수 있으며, 게이트 구조를 사용한 셀 상태의 정보 업데이트를 제어한다. 이러한 특성은 현재 수집된 시계열 데이터 정확하게 분류하는데 활용될 수 있으며, 특히 골프 스윙과 같이 연속적인 데이터에서 중요한 정보를 추출하는 데 적합하다 [17].

학습 데이터는 소년, 청년, 중년, 장년 세대별 15명, 총 60명의 참가자 데이터를 사용하였다. 각 참가자는 5회의 운동 세션을 진행했으며, 결과적으로 300개의 운동 데이터 세트가 모델 학습 과정에 사용되었다.

Figure 5는 학습을 위한 전처리와 학습 모델을 보여준다. 본 연구에서 구현된 모델은 시계열 데이터의 복잡한 패턴을 효과적으로 학습하기 위해 설계된 양방향 LSTM 네트워크를 포함하고 있다. 첫 번째 레이어 (Layer)는 시계열 데이터의 입력 차원에 맞춘 100개의 유닛을 가진 양방향 LSTM 레이어로, 시계열 데이터를 전후방향으로 동시에 처리하여 시간적 의존성을 효과적으로 포착한다. return_sequences=True 설정을 통해 각 시간 단계에서의 출력을 다음 레이어로 연속적으로 전달하여 전체 시퀀스 (Sequence)의 맥락을 유지한다. 이러한 특성은 모델이 시계열 데이터의 복잡성을 깊이 있게 이해하는 데 중요한 역할을 한다.

Fig. 5. The Entire Process of Labeling Motion Data.

The training model includes bidirectional LSTM, LSTM, and Batch Normalization with 30% dropout, which finally leads to the labeling step.

양방향 LSTM 레이어 다음에는 배치 정규화 (Batch Normalization) 레이어가 위치하여 모델의 학습 속도를 향상시키고, 내부 공변량 변화를 최소화하여 네트워크의 안정성을 높인다. 드롭아웃 (Dropout) 레이어에서는 드롭시킬 뉴런의 비율을 30%로 설정하여 무작위로 뉴런을 비활성화시킨다. 이는 과적합의 위험을 감소시키는 역할을 한다. 이러한 설정은 모델이 훈련 데이터에 과도하게 적응하는 것을 방지하며, 일반화 능력을 강화한다.

두 번째 LSTM 레이어는 100개의 유닛을 포함하며, 첫번째 양방향 LSTM 레이어의 출력을 기반으로 시계열 데이터의 고차원적 특성을 추가로 추출한다. 이 레이어는 return_sequences=False 설정을 통해 시퀀스의 마지막 단계에서만 출력을 반환하여 시간적 정보를 요약한 결과를 다음 레이어로 전달한다. 모델의 최종 레이어는 Dense 레이어로, 소프트맥스 (Softmax) 활성화 함수를 통해 클래스별 소속 확률을 출력한다. 이 레이어의 유닛 수는 데이터셋에 존재하는 레이블의 수와 동일하게 설정되어, 다중 클래스 분류 문제를 처리한다.

모델은 categorical_crossentropy 손실 함수와 Adam 최적화 알고리즘을 사용하며, 초기 학습률은 0.001로 설정되었다. ReduceLROnPlateau 스케줄러는 검증 데이터의 손실 개선이 없을 경우 학습률을 절반으로 줄인다. 또한, Early Stopping 콜백 (Callback)은 검증 손실이 지정된 에포크 (Epoch) 동안 개선되지 않을 경우 훈련을 중단시키고 최적의 가중치를 복원한다. 이러한 메커니즘은 모델의 성능 최적화와 과적합 방지에 기여한다.

본 연구에서 사용된 모델은 몇 가지 특성을 갖는다. 우선 기존의 단방향 LSTM과 달리 양방향 LSTM을 사용하여 시계열 데이터를 전후방향으로 동시에 처리함으로써 시간적 의존성을 더욱 효과적으로 포착한다. 이는 특히 시계열 데이터의 복잡한 패턴을 학습하는 데 유리하다. 또한, 배치 정규화와 드롭아웃을 조합하여 모델의 학습 속도를 높이고 과적합을 방지하며, ReduceLROnPlateau와 Early Stopping을 통해 학습률을 동적으로 조정함으로써 과적합이 발생할 가능성을 줄이고 안정적인 학습을 보장한다. 이러한 기법들은 모델의 일반화 능력을 강화하며, 최적의 성능을 달성할 수 있게 한다. 모델의 성능은 정확도 지표를 사용하여 평가되며, 이는 모델이 시계열 데이터의 복잡한 패턴을 얼마나 잘 이해하고 이를 통해 정확한 레이블을 예측하는지를 나타낸다. 이러한 특성들은 본 연구의 모델이 시계열 데이터의 복잡성을 깊이 있게 이해하고, 높은 정확도로 예측할 수 있도록 한다.

4.2 Model Performance Evaluation

각 에포크 후에는 정확도와 손실 등의 주요 성능 지표가 기록되어, 모델의 학습 진행 상황이 Figure 6에 나타난다. 평가결과 정확도 (Accuracy)가 0.953, 손실 (Loss)은 0.164로, 이는 LSTM 모델이 학습 데이터를 효율적으로 처리하였으며, 데이터 레이블링 과정이 성공적으로 수행되었음을 나타낸다.

Fig. 6. Accuracy and Loss Graphs During Model Training and Validation

각 세대별 학습에 사용되지 않은 새로운 데이터를 활용한 성능 평가에서도 좋은 성능을 보였다. Table 2는 각 세대별로 학습 데이터에 포함되지 않은 인원의 각 운동 구간에 따른 예측 정확도를 나타낸 것이다. 앞서 제시한 AD(Address), TB (Take Back), BT (Back-Swing Top), DS(Down-Swing), IP (Impact), FT (Follow Through), FN(Finish)이 7가지 구간에 대해 예측 정확도를 평가한다. 정확도는 해당 인원이 수행한 5회의 스윙 데이터를 수기로 레이블링한 결과와 비교하여 평균 정확도를 계산하였다.

Table 2. Generational Labeling Prediction Accuracy

각 세대별 운동 구간에 따른 정확도는 Figure 7의 그래프 결과를 통해 확인할 수 있다. 그래프 결과를 통해 AD, TB, BT 등 초기 골프 스윙 동작이 모든 연령대에서 0.9 이상의 정확도를 달성한 것을 확인할 수 있다. DS, IP, FT, FN 등 후반 동작들에서도 연령대에 관계없이 일관되게 높은 예측 정확도를 보여줌으로써, 모델이 골프 스윙 시퀀스에 대한 강한 인식 능력을 가지고 있음을 확인할 수 있다.

Fig. 7. Graph of Labeling Prediction Accuracy by Generation

ACF (Autocorrelation Function) Plot은 시계열 데이터에서 현재 시점의 데이터와 이전 시점의 데이터 간의 상관관계를 시각화하는 도구이다. ACF는 특정 시점에서의 값이 과거의 여러 시점에 걸쳐 어떻게 관련되어 있는지를 보여줌으로써 데이터의 시간적 패턴을 이해하는 데 도움을 준다. 이를 통해 데이터의 자기 상관성을 분석하고, 시간에 따른 변화를 파악할 수 있다 [18].

Figure 8의 자기상관도 (Autocorrelation) 결과는 스윙의 초기 단계에서 데이터 포인트 간의 상관관계가 시간이 지남에 따라 감소함을 보여준다. 이는 초기 단계에서 모델의 예측 정확도가 상대적으로 낮게 나타나는 원인으로 해석될 수 있다. 특히, 골프 스윙과 같은 동적 움직임에서는 초기 동작의 미묘한 변화가 후반 동작의 명확한 패턴 형성에 결정적인 영향을 미칠 수 있다. 따라서 모델이 시간에 따른 데이터의 변화를 더 정확히 학습하고 예측하기 위해서는 초기 단계의 상관관계 변화를 더 세밀하게 분석하고 이해할 필요가 있다.

Fig. 8. Autocorrelation Plot for Left Controller Acceleration

Figure 9는 각 세대별 예측 분포도로, confusion matrix를 활용하여 모델이 잘못 예측한 레이블을 시각적으로 확인할 수 있다. 이러한 분석은 모델의 오류 패턴을 보다 명확히 이해하는 데 도움을 준다. 분석 결과, 오분류된 대부분의 레이블링 결과는 모델이 동작을 정답 레이블의 직전 또는 전후 동작으로 잘못 인식하였음을 보여주고 있다. 예를 들어, 소년세대 그룹에서는 'AD'가 'TB'로, 'TB'가 'AD'로 혼동하는 경우가 종종 발생한다. 이는 각 동작이 시퀀스 내에서 유사한 특성을 공유하고 있음을 의미하며, 특히 연속되는 동작 간의 구분이 모호할 수 있음을 의미한다. 장년 그룹에서는 'AD'와 'TB' 동작의 구분에 있어 상대적으로 더 많은 오류가 발생하는 것으로 나타난다. 이는 해당 동작들이 유사한 운동 패턴을 가질 수 있음을 제시한다. 그럼에도 불구하고, 대체로 높은 대각선상의 값들은 모델이 대부분의 스윙 단계를 정확히 분류하고 있음을 보여준다.

Fig. 9. Prediction Distributions for Each Generation

이러한 연구 결과는 모델이 스윙 동작을 성공적으로 인식하고 분류하고 있음을 나타내지만, 특정 유사 동작 간의 분류에서는 오류가 발생할 수 있음을 나타내며, 이는 향후 모델 개선의 기회를 제공한다. 세대별로 다른 패턴의 오류가 발견되는 것은, 연령대에 따라 스윙의 운동 패턴이 다르게 나타날 수 있음을 의미하며, 이는 연령대별 맞춤형 훈련 프로그램이나 보정 메커니즘 설계에 중요한 정보를 제공할 수 있다.

Table 3은 세대별 골프 스윙 레이블링의 정확도와 F1 Score를 나타내며, 모델이 소년, 청년, 중년, 그리고 장년세대에 걸친 모델의 성능을 평가하는 지표로 활용된다. 모든 연령대에 걸쳐 0.94 이상의 높은 정확도와 0.95 이상의 F1 Score를 기록함으로써, 이 모델이 골프 스윙 동작을 감지하고 분류하는 데 있어 높은 신뢰성과 일관성을 가지고 있음을 입증한다. 세대별로 다른 패턴의 오류가 발생하지만, 특히 청년과 중년 세대에서 0.97의 정확도와 F1 Score를 달성함으로써, 모델이 연령대에 관계없이 일관되게 높은 분류 성능을 제공하고 있음을 강조한다.

Table 3. Performance Average for Each Generation Dataset

V. Conclusions

본 연구는 가상현실 기술을 활용하여 골프 스윙 동작을 분석하기 위한 반자동 레이블링 기술을 개발하고 평가하였다. LSTM 모델을 통해 시계열 데이터의 패턴을 학습하여 높은 예측 정확도를 달성하였다. 이 모델은 골프 스윙의 복잡한 동작을 효과적으로 분석하고, 운동 구간별로 높은 인식력을 보였다. 연구 결과, 골프 스윙의 7가지 주요구간(AD, TB, BT, DS, IP, FT, FN)에 대한 예측 정확도가 모든 연령대에서 일관되게 높게 나타났다. 특히, 소년세대와 청년세대에서 상대적으로 높은 정확도를 기록하였으며, 이는 해당 연령대의 데이터 특성에 모델이 잘 적응하였음을 시사한다. ACF를 통해 동작의 시점 간의 상관관계를 분석한 결과, 모델이 시간에 따른 데이터 변화를 효과적으로 학습하고 예측할 수 있음을 확인하였다.

본 연구에서 개발한 반자동 레이블링 기술은 수작업의 번거로움을 줄이고, 일관된 데이터 레이블링을 가능하게 하였다. 그러나 본 연구는 학습 데이터의 양이 제한적이며, 수기 레이블링 과정의 정확성에 한계가 있었다. 이러한 한계를 극복하기 위해서는 더 많은 데이터를 수집하고, 다양한 연령대와 운동 수준을 가진 대상자들을 포함하여 연구를 확장할 필요가 있다. 또한, 수기 레이블링의 정확성을 판단할 수 있는 분석이 필요하다. 이를 통해 레이블링 과정의 신뢰도를 평가하고, 향후 자동화된 레이블링 시스템의 성능을 개선할 수 있을 것이다. 특히, 다양한 운동환경에서의 데이터 수집은 모델의 일반화 능력을 향상시키고, 더 넓은 범위의 동작 분석에 적용할 수 있는 기회를 제공할 것이다.

향후 연구에서는 골프 외에도 볼링 등 다른 스포츠 종목에도 본 연구의 레이블링 기술을 적용하여, 운동 동작 분석의 정확성을 더욱 높이고, 교육 및 훈련 과정에서 개인 맞춤형 피드백을 제공할 수 있는 기반을 마련할 것이다. 이를 통해 운동 분석의 정확도를 높이고, 다양한 운동 동작을 보다 세밀하게 이해할 수 있는 기반을 마련할 것이다. 이러한 연구 결과는 운동 과학의 이론과 실제 응용 사이의 격차를 좁히고, 가상현실 기술을 활용한 운동 교육 방법론의 발전에 중요한 기여를 할 것으로 기대된다. 또한, 이러한 기술은 스포츠 교육뿐만 아니라 재활 훈련, 신체 기능 회복 등 다양한 분야에서도 유용하게 활용될 수 있을 것이다.