Development and Evaluation of the V-Catch Vision System

Abstract

A tangible sports game is an exercise game that uses sensors or cameras to track the user's body movements and to feel a sense of reality. Recently, VR indoor sports room systems installed to utilize tangible sports game for physical activity in schools. However, these systems primarily use screen-touch user interaction. In this research, we developed a V-Catch Vision system that uses AI image recognition technology to enable tracking of user movements in three-dimensional space rather than two-dimensional wall touch interaction. We also conducted a usability evaluation experiment to investigate the exercise effects of this system. We tried to evaluate quantitative exercise effects by measuring blood oxygen saturation level, the real-time ECG heart rate variability, and user body movement and angle change of Kinect skeleton. The experiment result showed that there was a statistically significant increase in heart rate and an increase in the amount of body movement when using the V-Catch Vision system. In the subjective evaluation, most subjects found the exercise using this system fun and satisfactory.

체감형 스포츠 게임은 센서나 카메라를 이용하여 사용자의 신체 움직임을 추적하고 현실감을 느끼게 하는 운동 게임이다. 최근 체감형 스포츠 게임을 학교 체육활동에 사용하기 위해 가상현실 실내 스포츠룸 시스템을 설치하고 있다. 그러나 이러한 시스템은 주로 화면 터치 사용자 상호작용을 사용한다. 본 연구에서는 2차원 벽 터치 인터랙션이 아닌 3차원 공간에서 사용자의 움직임을 추적할 수 있도록 AI 이미지 인식 기술을 사용하는 브이캐치 비전 시스템을 개발했다. 그리고 본 시스템의 운동 효과를 알아보기 위하여 사용성 평가 실험을 진행했다. 실험에서 피험자에게 혈중 산소 포화도와 실시간 심박변이와 키넥트 골격 이동량, 각도 변화량을 측정하여 정량적 운동 효과를 살펴보았다. 실험 결과 브이캐치 비젼 시스템 사용 시 통계적으로 유의미한 심박수 증가와 신체 움직임양 증가로 운동 효과가 있었던 것으로 나타났다. 실험후 설문조사 주관적 평가 결과에서 대부분의 피실험자들은 이 시스템을 사용한 운동이 재미있고 만족스러워했다.

I. Introduction

2021년 3월 개관한 올림픽공원 내 스포츠 360 스마트콘텐츠 체험관은 실감 미디어 기술과 스포츠 과학이 결합된 실내 체육 시설로 악천후 날씨 등 외부 환경에 상관없이 스포츠를 즐길 수 있다. 멀티 스포츠존, 슈팅히어로, 비트 복싱, AR 봇 스파링, 롤링 컬링, GX & Circuit, 스마트걷기 및 달리기 Exbody, MR Realcube 등 다양한 스포츠 콘텐츠를 제공하고 있다. AR, VR, MR 등 체감형 기술과 재미 요소를 더하여 게임처럼 운동을 하면서 스트레스 해소나 운동 효과를 볼 수 있다. 멀티 스포츠존은 8개의 빔프로젝터와 4개의 대형 스크린에 라이더센서가 설치되어 축구, 핸드볼, 피구, 농구 게임을 마치 실제 경기장에서 운동하는 기분이 들게 한다.

미세먼지, 황사 등 환경 제약에 대응하여 실내 체육 수업이 가능하도록 가상현실 실내 스포츠실은 2016~17년 시범운영을 거쳐, 2020년 2월 기준 총 208억여원의 예산으로 전국 600개 정도의 초등학교와 중학교에 설치되었다[1]. 가상현실 실내 스포츠실은 대형 스크린 중심으로 사용자가 타격 또는 터치 입력을 통한 축구, 농구, 야구, 양궁 등의 운동 콘텐츠를 제공한다. 시스템은 대부분 화면의 터치를 감지하는 센서와 사용자 움직임을 측정하는 모션 인식 센서, 운동 분석 플랫폼으로 구성되어 있다.

가상현실 실내 스포츠 시스템 운용 연구에 의하면, 가상현실 실내 스포츠 시스템이 신체활동 기회보장, 체육 소외 학생들의 수업 참여 동기부여, 수업 준비 및 운영 지원에 효과적이었다고 한다[2]. 그러나 콘텐츠 프로그램의 낮은 기술력 및 장비 유지 관리, 대기 시간이 더 길고 실제 스포츠 참여 시간이 부족한 점 등은 문제점으로 도출되었다. 또한 일반적으로 교사나 학부모의 시각에서는 아직 실제 스포츠보다는 놀이라는 느낌으로 존재하고 있다[3]. 따라서 가상현실 스포츠실의 양질 콘텐츠를 공급하기 위한 기술 개선 및 콘텐츠의 내용적 부분을 개선해야 한다.

기존 연구에서 가상현실 실내 스포츠 게임 관련하여 시스템 구현[4] 및 콘텐츠 및 인터페이스 개발 [5], 또한 게임 설계 [6] 및 사용성 평가 [7] 등 다방면으로 연구가 진행되었다. 본 연구에서는 AI(Artificial Intelligence) 영상인식 기술을 활용하여 2차원 벽면에서 3차원 공간을 활용한 브이캐치 비젼 시스템을 개발하였다. 이 시스템은 기존 가상현실 스포츠실의 화면 터치 중심 인터랙션의 한계를 넘어 다수 사용자의 모션 인식을 통한 운동 콘텐츠를 개발하여 수업 참여자의 참여율을 높이는 효과를 얻는 것을 목표로 하였다.

브이캐치 비젼 시스템은 스크린 프로젝션 실내 스포츠 시스템 기본 구성에 웹캠 카메라 기반의 비젼 시스템을 사용하였다. 머신러닝 기반의 비젼 시스템을 통하여 사용자 신체의 동작을 인식하고 운동 게임과 인터랙션이 가능하다. 브이캐치 비젼 시스템의 사용성 평가를 위하여 실제 사용자를 대상으로 실험을 진행하였다. 실험에서 피실험자들에게 미밴드6를 사용한 혈중 산소 포화도(SPO₂)와 실시간 심전도 (Electrocardiogram, ECG) 센서와 키넥트 (Kinect) 센서의 골격 정보를 측정하여 정량적 운동 효과를 살펴보고, 실험 후 설문을 통한 주관적 평가를 살펴보고자 하였다. 실험 결과는 브이캐치 비젼 시스템 운동 게임 시 안정시보다 ECG 심박수 증가와 키넥트 골격의 움직량에서 통계적으로 유의미하게 상승하여 운동효과가 있었음을 알 수 있었다.

본 논문은 먼저 체감형 스포츠 게임 통합 시스템인 브이 캐치 비젼 시스템을 서술한다. 그리고 브이캐치 비젼 시스템의 사용성 평가 실험 방법과 실험 분석 결과를 제시한다. 마지막으로 결론 및 향후 연구 방향을 기술한다.

II. The V-Catch Vision System

1. System Architecture

Fig. 1는 브이캐치 비젼 체감형 운동 게임 시스템의 전체적인 구조도를 보여준다. 브이캐치 비젼 시스템은 USB 인터페이스의 웹 카메라로 실시간으로 촬영하면서 사람의 동작을 인식하고 인식된 결과 데이터를 유니티 게임 모듈로 전송하여 특정한 사용자의 동작에 따라 게임 콘텐츠에 실시간으로 반영되어 동작되는 시스템이다. 제안한 시스템의 딥러닝 모델(Deep Learning Model)에서는 딥러닝 기반의 신체 핵심점(Key Point) 검출기인 Alpha Pose[8]를 이용하여 사용자의 자세에 대한 특징을 담은 벡터를 추출하여 유니티 게임 모듈로 전송하도록 설계하였다.

Fig. 1. System Architecture of the V-Catch Vision System

영상으로부터 YOLO 모델[9]을 이용하여 경계 상자를 생성하고 해당 경계 상자내에 사람의 영역을 검출하고 탐지된 모든 사람의 관절 포인트를 예측 후 Pose Non-Maximum Suppression(NMS)를 수행하는 방식으로 구현되었다. 딥러닝 모델을 거쳐 추출된 해당 관절 포인트의 위치 정보와 모델정보는 UDP(User Datagram Protocol) 네트워크 송신 방식으로 전송되어 유니티 (Unity)기반의 게임 콘텐츠에 사용자의 움직임 정보가 실시간으로 반영되도록 구현하였다.

2. Deep Learning-based User Motion Tracking System

Fig. 2은 본 연구에서 개발한 딥러닝 기반의 동작 인식 과정을 보여준다. 알파포즈(Alphapose)[8]를 사용하여 딥러닝 기반으로 실시간 카메라로부터 입력받은 영상에서 사람의 관절 포인트를 추출한다. 알파포즈는 하향 방식으로 기존 이미지에서 사람을 먼저 탐지하고 동작을 인식하는 모델이다. 알파포즈는 기존의 단일 사람 자세추적 (Single Person Pose Estimation, SPPE)의 문제점을 보완한 지역적 다중사람 자세 추적(Regional Multi-Person Pose Estimation, RMPE) 프레임워크를 포함하는 모델이다. 또한, 해당 프레임워크는 대칭 공간변환 네트워크 (Symmetric Spatial Transformer Network, SSTN)을통해 부정확한 경계상자(Bound Box)로부터 양질의 사람영역을 추출함으로써 국소 오류를 해결 가능하도록 설계되어 있다.

Fig. 2. Deep-Learning based Pose Estimation

알파포즈는 다수의 객체에 대한 자세추정을 수행하며, 이미지를 입력으로 받는다. 입력된 이미지에서 사람 감지기 (Human Detector)를 통해 경계상자를 추출하고 설정된 경계 상자는 대칭 공간변환 네트워크(SSTN)과 단일 사람 자세추적(SPPE) 모듈에 입력되어 정확한 단일 사람 영역을 얻는다. 이후 Pose Non-Maximum Suppression(NMS)를 모듈을 통해 자세 유사성을 비교하여 중복 자세를 제거하여 중복 검출을 최소화 하는 과정을 거친다.

본 연구에서 개발한 모델은 모델은 이미지 내의 있는 모든 사람을 탐지하고 각 사람마다 MS COCO Keypoints Challenge dataset[10]에 따른 관절 포인트 17개를 추출한다. 그리고 알파포즈에서 제안한 parametric Pose NMS (p-Pose NMS)를 사용하여 예측된 경계상자들 중 신뢰도가 가장 높은 경계상자를 찾고 제거 규칙에 따라 경계상 자가 하나 남을 때까지 중복된 경계상자를 제거는 과정을 거친다. Fig. 3은 머신러닝 기반의 사용자 자세 추적 모듈(Machine Learning-based User Motion Tracking System)을 실행시킨 결과 화면이다.

Fig. 3. Machine Learning-based User Motion Tracking System

3. Integrated Exercise Game System

Fig. 4는 브이캐치 비젼 체감형 운동 게임 통합 시스템의 실제 사용을 보여준다. 사용자는 키오스크(Kiosk)에서 게임 시작과 난이도, 시간, 비행기 등을 선택할 수 있다. 처음 화면은 게임 시작과 게임 설명과 게임 종료를 선택하는 화면이다. 게임 시작 버튼을 누르면 초급, 중급, 고급난이도(Level)를 선택하고, 1분에서 5분 간 게임 운영 시간(Play Time)을 선택하고, 비행기(Plane)를 선택한 후 운동 게임을 시작한다.

Fig. 4. Integrated V-Catch Vision System

Fig. 4에서 보이듯이 화면 상단에 웹캠 카메라로 입력된 영상이 딥러닝 모델 기반의 사용자 동작인식 모듈에서 실시간 분석되어 네트워크로 유니티 메인 게임으로 보내어져 게임 사용자 인터랙션에 사용된다. 실제 메인 게임에서는 랜덤 위치에 나타난 행성이 있는 곳으로 사용자가 자유롭게 이동하고, 점프하면서 만세 하는 자세로 슈팅하여 행성을 파괴한다. 초급, 중급, 고급에 따라 행성의 개수가 점점 더 많아지고 총알의 개수가 점점 더 줄어든다. 총알이 부족한 경우 앉았다 일어나는 자세를 통하여 총알을 충전한다. 운영시간이 다 지나면 메인 게임이 종료되고 운동점수가 화면에 나타난다.

III. Usability Study

1. Subjects

Table 1은 실험에 참여한 피실험자들의 신체적 특성을 보여준다. 이 사용성 평가 실험에는 총 10명의 성인 남녀들이 자발적으로 참여하였다. 피실험자들의 평균 나이는 24.4세이고 4명의 여성과 6명의 남성이다. 피실험자들 대부분은 정상적 BMI(Body Mass Index) 수치를 보였다. 이들의 1일 평균 수면시간은 6~7시간, 평소 운동량은 중강도, 신체 활동 시간은 대체적으로 30분~1시간, 고강도 신체 활동 시간은 대체적으로 30분 이내이다. 피실험자들의 체지방률은 여성이 33.975%이고, 남성은 20.683%로 모두 표준 기준을 만족했다. 대부분 현재 기분상태는 보통이였다.

Table 1. Physical Characteristics of the Subjects

모든 피실험자들은 브이캐치 비젼 게임 플레이하는데 적응에 어려움이 없었고 이 체감형 운동 게임에 비교적 높은 관심도를 보였다. 하지만 Polar H₁₀ ECG 밴드와 마이크로소프트사 키넥트 동작인식 센서 카메라에 대한 사전경험도 결과에서는 대부분의 피실험자들(9명)이 전혀 사용해 본 경험이 없는 것으로 나타났다. 스마트밴드는 피실험자의 절반(5명)이 사용 경험이 있었다.

2. Apparatus

Fig. 5는 피실험자들이 실험에서 메인 게임을 플레이하는 모습이다. 왼쪽엔 게임 화면에 나타난 행성을 찾아 화면 앞에서 몸을 자유롭게 움직이는 모습을 보여준다. 가운데는 총알로 행성을 격파하기 위해 점프하면서 만세 하는 자세를 취하고 있다. 오른쪽은 총알 충전을 위해 앉았다 일어나는 자세를 취하고 있다.

Fig. 5. User moving freely (left), jump with hands up to shoot the asteroids (middle), and squat to fill the bullets (right)

피실험자들의 운동 효과 평가를 위하여 미밴드 6와 Polar사의 H₁₀ 심전도 (ECG) 센서와 마이크로소프트사 Kinect 센서를 사용하였다. 미밴드로는 실험 전후 혈중 산소 포화도 (SPO₂)를 측정하였다. 그리고 피실험자들의 가슴에 Polar H₁₀ ECG 센서를 부착하여, 실험 시 1000 Hz 샘플링으로 심박변이(Heart Rate Variability, HRV)를 실시간으로 측정하였다. 심박동수 변이 검사의 신뢰성 확보를 위하여 최소 측정시간은 3분으로 하였다[11].

또한 피실험자들의 움직임량 즉, 이동 거리 및 각 변위를 측정하기 위하여 키넥트 센서에서 추출된 사용자의 골격 정보를 30 ms 단위로 실시간 측정하였다. 키넥트 센서는 뎁스 카메라를 기반으로 한다. Kinect 2.0 SDK[12]를 통하여 신체 관절 25개의 골격 정보를 제공한다. 키넥트센서는 브이캐치 비젼 시스템 화면 가운데에 설치하였다.

3. Procedure

실험 절차는 먼저 IRB 설명 및 동의서 작성 (5분), 실험 전 설문지 작성 (5분), 미밴드와 ECG 생체신호 장비 착용 (5분), 휴식 (3분), 초급 난이도 운동 (3분), 휴식 (3분), 중급 난이도 운동 (3분), 실험 후 설문조사 (5분)으로 실험에 소요되는 시간은 대략 30분 정도 진행되었다. 휴식은 스크린 앞에서 차렷 자세로 가만히 있었다. 난이도 초급 운동은 격파해야하는 행성이 많지 않고 한번 앉았다 일어날 때 총알 장전이 5개씩 되는데, 중급 운동은 행성의 개수가 많아지고 한 번 앉았다 일어날 때 총알 장전도 3개씩 하게 되므로 더 많이 운동을 하게 한다.

4. Measurements

미밴드 6를 사용하여 실험 전후 피실험자들의 혈중 산소포화도를 측정하였다. ECG는 Mean_HR(Heart Rate), Max_HR(Heart Rate), SDNN(Standard Deviation of Normal to Normal intervals), RMSSD(Square root of the Mean of the Sum of the Square of Differences between adjacent NN intervals), LF(Low Frequency), HF(High Frequency), LF/HF ratio를 측정하였다. 키넥트골격 정보를 이용한 몸의 중심 이동량, 상체 운동량, 하체운동량, 각도 변화량 등을 사용하여 운동효과를 측정하였다.

Mean HR은 평균 심박수이고 Max HR은 최대 심박수이다. 시간영역 분석의 SDNN은 심박 주기의 표준 편차이고, RMSSD는 인접 심박 주기 간의 평균 제곱합이다. 주파수 영역 분석의 LF(Low Frequency)는 0.04 – 0.15 Hz 저영역대 Power이고, HF(High Frequency)는 0.15 – 0.4 Hz 고영역대 Power이고, LF/HF ratio는 고영역 대비 저영역대의 비율이다.

Fig. 6 (왼쪽)은 키넥트 2.0 SDK에서 제공하는 신체 관절 25개 중에서 양쪽 손(HL, HR), 양쪽 팔꿈치(EL, ER), 양쪽 어깨(SL, SR), 양쪽 발목(AL, AR), 양쪽 무릎(KL, KR), 양쪽 엉덩이(PL, PR), 척추(SS, SB) 주요 골격 정보에서 몸의 중심(초록색), 상체 운동량(빨간색), 하체 운동량(파란색)을 보여준다. 몸 이동량 SB(Spine Base, 몸의 중심)의 두 프레임 (i, i+1) 간의 위치 변위(ΔdSBi) 합으로 계산했다.

Fig. 6. Kinect-based Skeleton Model. ΔdELi is the Position Displacement at Left Elbow. ΔθERi is the Angular Displacement at Right Elbow Joint Flexion

상체 운동량은 상체의 주요 골격부분인 SL(Shoulder Left), SR(Shoulder Right), EL(Elbow Left), ER(Elbow Right), HL(Hand Left), HR(Hand Right)의 두 프레임(i, i+1) 간의 위치 변위(ΔdSLi, ΔdSRi, ΔdELi, ΔdERi, Δ dHLi, ΔdHRi)의 합을 계산하였다. 하체 운동량은 하체의 주요 골격 부분인 골격 정보의 PL(hiP Left), PR(hip Right), KL(Knee Left), KR(Knee Right), AL(Ankle Left), AR(Ankle Right)의 두 프레임(i, i+1) 간의 위치 변위(ΔdPLi, ΔdPRi, ΔdKLi, ΔdKRi, ΔdALi, ΔdARi)의 합을 계산했다.

Fig. 6 (오른쪽)에서 보이는 각도 변화량은 θEL(Left Elbow Angle), θER(Right Elbow Angle), θKL(Left Knee Angle), θKR(Right Knee Angle)의 두 프레임(i, i+1) 간의 각 변위(ΔθEL, ΔθER, ΔθKL, ΔθKR)의 합으로 계산했다. θEL는 3차원 공간에서 두 벡터 (EL – SL), (HL – EL) 간의 각도이며, (EL – SL)은 어깨와 팔꿈치 사이의 벡터이고 (HL – EL)은 팔꿈치와 손목 사이의 관절 벡터를 의미한다. ΔθELi는 두 프레임(i, i+1) 간의 각 변위이다.

5. Results and Discussions

5.1 SPO₂

일반적으로 혈중 산소 포화도(SPO₂)는 안정시보다 운동 중에 감소하고 휴식 시 증가하는 경향이 있다[13]. 하지만, 본 실험에서는 개인 편차가 많이 나타나서 전체 피실험자의 평균 혈중 산소 포화도(SPO₂)는 안정시 96%, 첫 번째 운동 후 95%, 두 번째 운동 후 95%로 통계적으로 유의미하게 감소하지 않았다.

실험 가설은 처음 운동보다 두 번째 운동이 좀 더 어렵기 때문에 운동효과가 더 있을 것으로 예상하였다. 하지만 실험 시 관찰한 결과, 일부 피실험자들은 나중에 한 운동보다 처음 운동에서 좀 더 열심히 운동한 경향이 있었고 그 결과 혈중 산소 포화도는 처음 운동 후 더 많이 감소한 경우가 있었다. 결과적으로 초급과 중급 난이도 운동 간의 차이는 볼 수 없었다.

5.2 Mean HR, Max HR, SDNN, RMSSD, LF, HF, LF/HF Ratio

Table 2는 모든 피실험자들이 실험을 진행하는 동안 측정한 심박수(ECG) 관련 데이터의 평균을 보여준다. Polar H₁₀으로 측정된 R-R Interval 데이터는 심박변이도 분석소프트웨어인 Kubios[14]를 사용하여 분석하였다. 운동 효과를 확인하기 위하여 피실험자들의 ECG 데이터는 다중 변인 ANOVA로 통계 처리하였으며, 유의수준은 5%로 정하였다. Mean_HR, Max_HR에서는 휴식(Rest1, Rest2) 에 비하여 운동게임 시 통계적으로 유의미한 차이가 있었다(p<0.005). 하지만, SDNN, RMSSD, LF, HF, LF/HF_Ratio는 평균을 기준으로 볼 때 휴식과 운동게임 간의 통계적으로 유의미한 차이가 없었다.

Table 2. Average ECG Measurements

일반적으로 건강한 사람의 Mean_HR은 60-100 bpm 인데 젊은 사람일수록 심박수가 높다. 그리고 안정 시에 비해 운동 중에는 심박수가 증가하게 된다. 대규모 표본 건강한 사람들의 안정 시 단기 심박 변이도 (HRV) 측정연구에서는 평소 운동을 많이 한 사람이 SDNN, RMSSD, LF, HF 값이 유의미하게 크게 나타났다고 한다[15]. Table 2 실험결과에서 보이듯이 휴식에 비해 운동게임 시 Mean_HR, Max_HR 평균이 통계적으로 유의미하게 상승하여 운동효과가 있었음을 알 수 있다.

5.3 Kinect Body, UpperBody, LowerBody Movement, Angular Displacement

Table 3은 전체 피실험자의 평균 몸 이동량(SB), 상체 이동량(UpperBody), 하체 이동량(LowerBody), 각도 변화량(Angle)이다. 피실험자들의 키넥트 데이터는 다중 변인 ANOVA로 통계 처리하였으며, 유의수준은 5%로 정하였다. 휴식 (Rest1, Rest2)에 비하여 운동게임 시 몸 이동량, 상체 이동량, 하체 이동량, 각도 변화량에서 통계적으로 유의미한 차이가 나타났다(p=0.000). 하지만 운동게임 간에는 분명히 중급 난이도(Moderate Game)에서 더 많은 움직임이 나타났으나, 두 운동 간의 통계적으로 유의미한 차이는 아니었다. 또한 몇몇 피실험자들이 Rest 1에서 차렷 자세를 유지하고 않고 다소 움직이는 바람에 Rest2 보다 키넥트 골격의 변화량이 좀 더 많게 나타났지만 통계적으로 유의미한 차이는 아니었다.

Table 3. Average Kinect Measurements

5.4 Subjective Evaluation

Fig. 7은 실험 후 설문조사 객관식 질문에 대한 피실험자들의 답변 결과를 그래프로 나타낸 것이다. 실험 후 설문 조사는 게임의 재미(Fun), 만족도(Satisfaction), 동기 부여 (Motivation), 상호작용방식의 쉬움 정도(Interactivity), 게임의 운영 시간의 적절성(Adequacy of operating hours), 중강도 신체활동 여부(Moderate-intensity physical activity), 고강도 신체활동 여부(High-intensity physical activity), 타인에게 권유할지 여부(Whether to recommend others) 에 대한 객관식 질문을 하였고, 1. 매우 그렇다(Strongly Agree) 2. 그렇다(Agree) 3. 그저 그렇다(Neither) 4. 그렇지 않다(Disagree) 5. 매우 그렇지 않다 (Strongly Disagree) 답변에서 선택하도록 하였다.

Fig. 7. Post-test User Subjective Evaluation

대부분 피실험자들이 게임 운영 시간의 적절성이나 동기부여, 중강도 신체활동에서 만족하는 것으로 나타났다. 다만, 이 실험에서 초급(Easy)과 중급(Moderate) 게임을 제공해서인지 고강도 신체활동에 대해서는 개인적 의견의 차이가 좀 더 심하게 나타난 것으로 보인다. 주관식 질문 개선점으로 많은 피실험자들이 게임의 단순성과 동작 인식(인터랙션)에 대한 지적이 있었다. 그리고 운동 효과를 높이기 위해 필요한 점으로 더 많고 다양한 운동 동작을 제공하는 다양한 게임 콘텐츠 개발이란 의견을 주었다.

IV. Conclusions and Future Works

최근 코로나 19가 장기화 되면서 비대면이 생활화 되었다. 이로 인해 사람들 활동 범위가 줄어들고 운동량 또한 감소해져 아동부터 성인까지 기초체력에 문제가 발생하고 있다. 이에 따라 홈트레이닝 등 실내 스포츠 시스템에 대한 관심도 커지고 있는 분위기다. AR, VR 등 체감형 기술을 활용한 가상현실 실내 스포츠실은 기존 운동에 재미 요소를 더하여 게임처럼 운동을 하면서 스트레스 해소나 운동 효과를 볼 수 있으며 날씨 등 외부 환경에 상관없이 스포츠를 즐길 수 있다.

본 연구에서는 기존 터치 기반 시스템에 AI 영상인식기술을 적용하여 사용자의 움직임을 운동에 적용한 브이 캐치 비젼 시스템을 개발하였다. 또한 이 시스템의 사용성을 평가하기 위하여 사용자들을 대상으로 실험을 진행하였다. 정량적 평가와 주관적 평가를 분석한 결과 안정 시에 비하여 브이캐치 비젼 시스템을 사용한 운동이 통계적으로 유의미한 운동 효과가 있었던 것으로 나타났다.

사용성 평가 실험에서 정량적 운동 효과를 조사하고자 피험자에게 혈중 산소 포화도와 실시간 심박변이와 Kinect 센서의 골격 정보를 이용한 몸 이동량, 상체 이동량, 하체 이동량, 각도 변화량을 측정하였다. 또한 주관적 평가를 위하여 실험 후 설문조사를 사용하였다. 실험 결과 브이 캐치 비젼 시스템 사용 시 통계적으로 유의미한 심박 수 증가와 신체 움직임의 양 증가로 운동 효과가 있었던 것으로 나타났다. 실험 후 설문조사 결과에서 대부분의 피실험자들은 이 시스템을 사용한 운동이 재미있고 만족스러워 하였다.

하지만 게임의 단순성과 모션 인식 부분은 개선 점으로 지적되었다. 앞으로 브이캐치 비젼 시스템의 운동 게임을 다양화하고 좀 더 다양한 운동 자세를 활용한 콘텐츠 개발을 진행할 계획이다.