• 한국정보통신학회논문지
• /
• 제20권12호
• /
• pp.2297-2304
• /
• 2016

본 연구에서는 스마트매트와 카메라 센서를 이용한 가상현실 체험형 운동게임 시스템 설계 및 구현하였다. 사용자 상반신 운동자세인식을 위해 키넥트 카메라 센서를 활용하고 사용자의 걷기 동작을 정확하게 인식하고 다음 취해야할 걷기 운동 동작에 대한 가이드를 제공하기 위해서 LED 표시가 가능한 스마트 매트를 개발하였다. 이를 통합하고 기능성 게임의 재미요소를 결합하여 실제 운동 상황에서 사용자에게 실시간으로 상호작용 정보를 제공하는 가상현실 체험형 운동게임 통합 시스템을 설계 및 구현하였다. 사용자들이 보다 자립적이고 독립적으로 가정 및 건강증진 관련 기관에서 쉽게 운동하는데 기여하는 체험형 운동게임 시스템으로 활용될 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.1113-1115
• /
• 2014

본 프로젝트팀에서 개발한 'VTK'(Virtual Training by Kinect)는 아이부터 노인까지 모든 연령이 이용 가능한 기능성 게임으로써 동작인식 컨트롤러인 키넥트를 이용하여 불필요한 장비가 없이 동작인식을 통해 인터페이스가 가능하게 했다. 주요기능은 평가와 트레이닝, 통계분석 세 가지로 이루어져 있다. 사용자는 6분 걷기와 폐안시 외발서기를 통해 개인별 심폐지구력과 평형감각 수준을 알 수 있으며 조깅과 인라인 스케이트를 통해 기능 향상을 위한 트레이닝을 할 수 있다. 통계분석은 별도의 용용프로그램을 통해 확인 할 수 있다. 성장하고 있는 기능성 게임 시장에 새로운 방향성 제시를 목표로 하였다.

• 디지털콘텐츠학회 논문지
• /
• 제13권2호
• /
• pp.235-245
• /
• 2012

우리는 본 논문에서 사용자 제스처 인터페이스 기반 퀴즈게임 콘텐츠를 제안한다. 우리는 기존의 아날로그 방식으로 수행해 오던 퀴즈게임의 요소들을 파악하여 디지털화함으로써 퀴즈 진행자의 역할을 콘텐츠 프로그램이 담당할 수 있도록 하였다. 우리는 키넥트 카메라를 사용하여 깊이영상을 획득하고 깊이영상에서 사용자 분할, 머리 위치 검출 및 추적, 손 검출 등의 전처리 작업과 손들기, 손 상하이동, 주먹 모양, 패스, 주먹 쥐고 당김 등의 명령형 손 제스처 인식기술을 개발하였다. 특히 우리는 사람이 일상생활에서 물리적인 객체를 조작하는 동작으로 인터페이스를 위한 제스처를 정의함으로써 사용자가 이동, 선택, 확인 등의 추상적인 개념을 인터페이스 과정에서 체감할 수 있도록 디자인하였다. 앞서 발표되었던 선행 작업과 비교할 때, 우리는 승리 팀에 대한 카드보상 절차를 추가하여 콘텐츠의 완성도를 높였으며, 손 상하이동 인식과 주먹 모양 인식 알고리즘 등을 개선하여 문제 보기선택의 성능을 크게 향상시켰고, 체계적인 실험을 통해 만족할 만한 인식 성능을 입증하였다. 구현된 콘텐츠는 실시간 테스트에서 만족스러운 제스처 인식 결과를 보였으며 원활한 퀴즈게임 진행이 가능하였다.

• 한국컴퓨터정보학회논문지
• /
• 제27권3호
• /
• pp.45-52
• /
• 2022

체감형 스포츠 게임은 센서나 카메라를 이용하여 사용자의 신체 움직임을 추적하고 현실감을 느끼게 하는 운동 게임이다. 최근 체감형 스포츠 게임을 학교 체육활동에 사용하기 위해 가상현실 실내 스포츠룸 시스템을 설치하고 있다. 그러나 이러한 시스템은 주로 화면 터치 사용자 상호작용을 사용한다. 본 연구에서는 2차원 벽 터치 인터랙션이 아닌 3차원 공간에서 사용자의 움직임을 추적할 수 있도록 AI 이미지 인식 기술을 사용하는 브이캐치 비전 시스템을 개발했다. 그리고 본 시스템의 운동 효과를 알아보기 위하여 사용성 평가 실험을 진행했다. 실험에서 피험자에게 혈중 산소 포화도와 실시간 심박변이와 키넥트 골격 이동량, 각도 변화량을 측정하여 정량적 운동 효과를 살펴보았다. 실험 결과 브이캐치 비젼 시스템 사용 시 통계적으로 유의미한 심박수 증가와 신체 움직임양 증가로 운동 효과가 있었던 것으로 나타났다. 실험후 설문조사 주관적 평가 결과에서 대부분의 피실험자들은 이 시스템을 사용한 운동이 재미있고 만족스러워했다.

• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.37-43
• /
• 2023

The hospital situation, timing, and patient restrictions have become obstacles to an optimum therapy session. The crowdedness of the hospital might lead to a tight schedule and a shorter period of therapy. This condition might strike a post-stroke patient in a dilemma where they need regular treatment to recover their nervous system. In this work, we propose an in-house and uncomplex serious game system that can be used for physical therapy. The Kinect camera is used to capture the depth image stream of a human skeleton. Afterwards, the user might use their hand gesture to control the game. Voice recognition is deployed to ease them with play. Users must complete the given challenge to obtain a more significant outcome from this therapy system. Subjects will use their upper limb and hands to capture the 3D objects with different speeds and positions. The more substantial challenge, speed, and location will be increased and random. Each delegated entity will raise the scores. Afterwards, the scores will be further evaluated to correlate with therapy progress. Users are delighted with the system and eager to use it as their daily exercise. The experimental studies show a comparison between score and difficulty that represent characteristics of user and game. Users tend to quickly adapt to easy and medium levels, while high level requires better focus and proper synchronization between hand and eye to capture the 3D objects. The statistical analysis with a confidence rate(α:0.05) of the usability test shows that the proposed gaming is accessible, even without specialized training. It is not only for therapy but also for fitness because it can be used for body exercise. The result of the experiment is very satisfying. Most users enjoy and familiarize themselves quickly. The evaluation study demonstrates user satisfaction and perception during testing. Future work of the proposed serious game might involve haptic devices to stimulate their physical sensation.

• 한국게임학회 논문지
• /
• 제17권5호
• /
• pp.133-142
• /
• 2017

최근 스크린 클라이밍용 콘텐츠로 클라이밍 학습 프로그램과 스크린 클라이밍 게임이 등장하였으며, 특히 스크린 클라이밍 게임에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 스크린 클라이밍 콘텐츠 구현의 핵심 기술인 자세 인식 성능의 개선을 위하여 등반자의 신체영역을 기반으로 하는 스켈레톤 보정 방법을 제안한다. 스켈레톤 보정 과정은 비정상적인 스켈레톤 정보를 걸러내는 스켈레톤 프레임 안정화와 신체 영역을 관절부위별로 나누어 각 관절부위의 중점을 보정위치로 하는 신체영역 기반 스켈레톤 수정 과정으로 이루어진다. 이렇게 보정한 스켈레톤 정보는 클라이밍 콘텐츠에서 등반자의 자세가 이상적인 자세와 얼마나 유사한지 판단하는 데 사용될 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.900-902
• /
• 2018

본 논문에서는 키넥트 센서와 아이트랙킹 센서를 이용하여 동작 제스처와 시선 추적하는 방법을 나타내고 이것을 사격 게임에 적용한다. 제스처는 키넥트 센서로 인식이 되고 모델로는 팔목, 손을 이용한다. 시선 추적은 아이트랙킹을 이용하였고 더불어 눈의 위치 값을 이용해 사람이 고개를 돌렸는지까지 알 수 있다. 이 시스템을 통해 키넥트와 아이트랙킹의 연동을 통한 컨텐츠가 얼마나 가능성이 있는지 제시하고 평가하였고, 앞으로도 새로운 활용방안이 나올 수 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1374-1377
• /
• 2013

콘솔 게임은 게임시장에서 가장 높은 비율을 차지한다. 그 중에서도 체감형 콘솔게임은 독자적인 시장을 구축해왔다. 하지만, 기존 콘솔 게임 소프트웨어는 쉽게 싫증을 느낄 수 있고, 높은 비용을 요구하여 사용자에게 부담을 준다. 본 논문에서는 저렴하고 쉽게 싫증나지 않도록 계속적인 업데이트가 가능한 키넥트를 사용한 동작 인식 체감형 게임을 개발하였다. 또한, 기존 콘솔 댄스게임에서는 자신을 모습을 볼 수 없을 뿐만 아니라 지정한 동작만을 비교한다. 반면, 본 논문의 댄스게임에서는 자신의 모습을 확인가능하며, 매 초 마다 전체 동작을 비교해 높은 정확도와 흥미를 부여한다.

• 스마트미디어저널
• /
• 제1권2호
• /
• pp.40-46
• /
• 2012

본 논문은 비전 기반 신체 제스처 인식 결과를 입력인터페이스로 사용하는 상호작용 콘텐츠에 대해 기술한다. 제작된 콘텐츠 는 아시아의 공통문화요소인 도깨비를 소재로 사용하여 지역 문화에 친숙하게 접근할 수 있도록 하였다. 그리고 콘텐츠를 구성 하는 시나리오는 도깨비와의 결투장면에서 사용자의 제스처 인식을 통해 결투를 진행하므로 사용자는 자연스럽게 콘텐츠 시나리오에 몰입할 수 있다. 시나리오의 후반부에서는 사용자는 시간과 공간이 다른 다중의 결말을 선택할 수 있다. 신체 제스처 인식 부분에서는 키넥트(KINECT)를 통해 얻을 수 있는 각 신체 부분의 3차원좌표를 이용하여 정지동작인 포즈를 활용한다. 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 인간이 사용하는 제스처는 정지동작인 포즈들의 연속적인 동작을 통해 표현이 가능하므로 HMM을 이용하여 정지동작 포즈들로 구성된 제스처를 인식하였다. 본 논문에서 기술한 체험형 콘텐츠는 사용자가 부가적인 장치의 사용 없이 제스처 인식 결과를 입력인터페이스로 사용하였으며 사용자의 몸동작만으로 자연스럽게 콘텐츠를 조작할 수 있도록 해준다. 본 논문에서 기술한 체험형 콘텐츠는 평소 접하기 어려운 도깨비를 이용하여 사용자와 실시간 상호작용이 가능케 함으로써 몰입도와 재미를 향상시키고자 하였다.

• 대한의용생체공학회:의공학회지
• /
• 제38권6호
• /
• pp.336-341
• /
• 2017

The aim of this study is to determine the effect of virtual reality(VR) exercise using XBOX $Kinect^{TM}$ on the scoliometer angle and muscle activities of the trunk. The subjects of the study were 13 young adults who devided into a virtual reality-based exercise group(VREG, n = 7) and a traditional stabilization exercise group(TSEG, n = 6). The VREG received virtual reality game for 5 days a weeks, 30 minutes a day, for a 2 weeks and the TSEG received general trunk stabilization exercise for the same period and frequency. The subjects were measured and compared for muscle activities of trunk stabilization before and after the program. VREG tend to decrease more than TSEG in scoliometer angle. In addition, VREG showed a significant decrease in muscle activities of multifidus. This study presents the impact of virtual reality-based exercise program on trunk balance and stabilization. The following studies need customized programs for subjects that trunk balance and stabilization is required.