• Journal of Korea Multimedia Society
• /
• v.12 no.4
• /
• pp.521-529
• /
• 2009

In this paper, we present a vision-based human primitive motion recognition method. It models the reference motion patterns, recognizes a user's motion, and measures the similarity between the reference action and the user's one. In order to recognize a motion, we provide a pattern modeling method based on the Hidden Markov Models. In addition, we provide a similarity measurement method between the reference motion and the user's one using the editing distance algorithm. Experimental results show that the recognition rate of ours is above 93%. Our method can be used in the motion recognizable games, the motion recognizable postures, and the rehabilitation training systems.

• Journal of IKEEE
• /
• v.24 no.4
• /
• pp.1109-1116
• /
• 2020

The matching score evaluating human copying ability can be a good measure to check children's developmental stages, or sports movements like golf swing and dance, etc. It also can be used as HCI for AR, VR applications. This paper presents a method to evaluate the motion similarity between demonstrator who initiates movement and participant who follows the demonstrator action. We present a quantification method of the similarity which utilizes Euclidean L2 distance of Openpose keypoins vector similarity. The proposed method adapts DTW, thus can flexibly cope with the time delayed motions.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.386-392
• /
• 2007

최근 들어 손 제스처를 인간-기계 인터페이스에 활용하는 연구가 많아지고 있다. 그 중에서 수화 인식은 청각장애인과 일반인 사이의 원활한 의사 소통을 하게 해 주는 인터페이스로서 중요성이 날로 더해가고 있다. 하지만 기존의 수화 인식 연구는 사용자 개개인의 수화 동작의 차이를 고려하지 않고 다수 사용자를 위한 모델을 사용하기 때문에 사용자에 따라 인식률이 낮아지게 된다. 이러한 점을 보완하기 위해 본 논문에서는 개개인의 수화 동작 특성을 반영하여 시스템이 사용자에게 적응해 가는 과정을 다루고자 한다. 특히 점진적인 사용자 적응에 있어서 가장 문제가 되는 것은 어떻게 비관측된 상태(unobserved state)의 파라미터를 수정할 것인가 하는 것이다. 이를 위해서 본 논문에서는 동작 유사도와 적응 추이에 의한 추정을 통해 비관측된 상태의 모델 파라미터를 수정한다. 실제 청각 장애인들로부터 획득한 데이터베이스를 사용하여 제안한 방법이 기존 방법에 비해 더욱 빠르게 사용자의 특성을 시스템에 반영하고 인식률을 향상시킨다는 것을 실험을 통해 보인다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.19 no.1
• /
• pp.217-224
• /
• 2024

With the rapid growth of K-POP, the dance content industry is spreading. With the recent increase in the spread of SNS, they also shoot and share their dance videos. However, it is not easy for dance beginners who are new to dancing to learn dance moves because it is difficult to receive objective feedback when dancing alone while watching videos. This paper describes a system that uses MediaPipe to compare choreography videos and dance videos of users and detect whether they are following the movement correctly. This study proposes a method of giving feedback based on Color Map to users by calculating the similarity of dance movements between user images taken with webcam or camera and choreography images using cosine similarity and COCO OKS. Through this system, objective feedback on users' dance movements can be visually received, and beginners are expected to be able to learn accurate dance movements.

• Proceedings of the KIEE Conference
• /
• 2006.07d
• /
• pp.1935-1936
• /
• 2006

인간과 의사소통 및 상호작용함에 있어 휴머노이드 로봇은 그 외형이 인간에게 친숙해야 할 뿐만 아니라 그 행동역시 인간과 유사해야 한다. 인간의 상체 동작과 유사한 동작은 인간과의 의사소통에 있어 매우 중요하다. 인간의 동작과 유사한 동작을 수학적인 식을 통하여 생성해 내기는 매우 힘들다. 수학적 모델을 개발하려는 노력과는 달리 최근에는 모션캡쳐 장비로부터 동작데이터를 획득하고, 그 데이터를 휴머노이드 로봇에 입력하는 연구가 진행되어왔다. 하지만, 로봇과 인간이 의사소통함에 있어서 필요한 모든 데이터를 모션캡쳐 장비로 획득하여 저장해 놓기는 불가능 하다. 또한, 동작을 통하여 의미를 전달하는 의사소통의 경우에 상대방과 분위기에 따라 동작의 방향이나 크기를 달리할 필요가 있다. 이 논문에서는 의미가 있는 동작을 모션캡쳐 장비로부터 획득하고, 휴머노이드 로봇에 맞게 변환한 다음, 그 데이터를 상황에 맞게 실시간으로 변형하는 방법을 제안한다. 제안한 방법을 몇가지 동작에 적용하여 그 실효성을 검정하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.10 no.2
• /
• pp.42-50
• /
• 2004

캐릭터 애니메이션 기술의 발달로 가상공간에 애니메이트되는 캐릭터의 수가 점점 증가되고 있으며, 캐릭터 자체 골격구조의 관절 개수와 캐릭터를 덮고 있는 메쉬의 폴리곤 개수도 점점 증가하는 추세이다. 따라서, 실시간 가상환경에서 다수의 캐릭터를 전처리 과정 없이 시뮬레이션할 경우 전체 군중시스템 성능의 저하가 예상된다. 본 논문에서는, 이러한 문제점을 해결하기 위해 모션 다단계(motion level-of-detail) 기법을 제시한다. 모션 단순화 기법은 캐릭터의 움직임을 제어하는 골격(관절)구조와 캐릭터의 형태를 시각적으로 표현하는 기하(메쉬)구조를 단순화 하는 방법으로 기존 동작과 단순화된 동작의 차이를 최소화 한다. 골격구조 단순화를 위한 JPC(joint posture clustering)방법은 특정 관절의 연속된 모션 시퀀스에서의 유사 자세 집단을 추출하여 하나의 자세로 표현하는 방법으로, 모션의 특성에 따라 동적으로 관절을 단순화하여 관절 시뮬레이션 시간을 줄이는 방법이다. JPC방법은 골격구조가 시간에 따라 동적으로 변형되기 때문에 골격구조의 계층구조를 재 구축할 시간이 필요하지만, 기존 동작과 유사성을 잃지 않는 단순화된 동작 생성이 가능하다. 유사 자세 집단을 추출하기 위해 전체 모션 시퀀스에서 관절의 프레임간 자세 차이를 수식화하여 테이블 형태로 구성하고 이를 통해 기존 동작의 유사성을 잃지 않으며 관절의 단순화 율을 최대화 할 수 있는 알고리즘을 제시한다. 또한, 실시간 군중 환경의 성능을 더욱 향상시키기 위해 시간에 따라 변형되는 캐릭터 메쉬의 단순화 기법을 적용한다. 실험결과 모션 다단계 기법은 실시간 군중환경에서 캐릭터의 수가 많고 복잡한 골격구조와 기하구조로 구성된 관절 궤적의 변화가 심하지 않은 동작에 대해 특히 효율적이다.

• KIPS Transactions on Software and Data Engineering
• /
• v.1 no.2
• /
• pp.127-136
• /
• 2012

Many research of hand gesture recognition based on vision system have been conducted which enable user operate various electronic devices more easily. 3D position calculation and meaningful gesture classification from similar gestures should be executed to recognize hand gesture accurately. A simple and cost effective method of 3D position calculation and gesture spotting (a task to recognize meaningful gesture from other similar meaningless gestures) is described in this paper. 3D position is achieved by calculation of two cameras relative position through pan/tilt module and a marker regardless with the placed position. Fuzzy garbage model is proposed to provide a variable reference value to decide whether the user gesture is the command gesture or not. The reference is achieved from fuzzy command gesture model and fuzzy garbage model which returns the score that shows the degree of belonging to command gesture and garbage gesture respectively. Two-stage user adaptation is proposed that off-line (batch) adaptation for inter-personal difference and on-line (incremental) adaptation for intra-difference to enhance the performance. Experiment is conducted for 5 different users. The recognition rate of command (discriminate command gesture) is more than 95% when only one command like meaningless gesture exists and more than 85% when the command is mixed with many other similar gestures.

• Journal of the Korea Computer Graphics Society
• /
• v.24 no.3
• /
• pp.73-81
• /
• 2018

In this paper, we present a motion-driven rowing simulation framework that allows multiple players to row a boat together by their harmonized movements. In the actual rowing game, it is crucial for the players to synchronize their rowing with respect to time and pose so as to accelerate the boat. Inspired by this interesting feature, we measure the motion similarity among multiple players in real time while they are doing rowing motions and use it to control the velocity of the boat in a virtual environment. We also employ game components such as catching an item which can accelerate or decelerate the boat depending on its type for a moment once it has been obtained by synchronized catching behaviors of the players. By these components, the players can be encouraged to more actively participate in the training for a good teamwork to produce harmonized rowing movements Our methods for the motion recognition for rowing and item catch require the tracking data only for the head and the both hands and are fast enough to facilitate the real-time performance. In order to enhance immersiveness of the virtual environment, we project the rowing simulation result on a wide curved screen.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.681-687
• /
• 2007

첨단 기술의 발전과 함께 장애인 및 노약자의 삶의 질에 대한 관심이 증가함에 따라 사용자가 각종 시스템들을 보다 쉽게 제어할 수 있는 방법들이 많이 연구되고 있다. 그 중 하나로 정의된 손 움직임 동작을 인식하여 가전기기 혹은 환경 제어 시스템, 홈 로봇 등에 명령을 내리는 기술을 예로 들 수 있다. 하지만, 정의된 손 움직임이 일상생활에서 발생하는 동작과 비슷한 경우 오작동을 일으킬 가능성이 있으며, 이를 차단하기 위해 복잡한 동작을 명령어로 사용할 경우 사용자의 편의성을 떨어뜨린다. 본 논문에서는 이러한 문제를 해결하기 위해 비슷한 동작 중에서 특정 동작을 검출할 수 있는 퍼지 가비지 모델을 제안한다. 퍼지 가비지 모델이란 인식하고자 하는 특정 동작을 제외한 다른 유사 동작의 특성을 반영하여 구현한 퍼지 모델을 말한다. 따라서 사용자의 동작으로부터 특징 값을 구한 후 이를 특정 동작에 대한 퍼지 모델과 퍼지 가비지 모델에 각각 대입하여 얻은 결과를 비교해서 어떤 동작이 발생하였는지 결정한다. 또한 사용자의 행동 특성은 개인마다 다르게 나타나고 동일 사용자라 하더라도 경우에 따라 동작에 편차가 나타날 수 있기 때문에 특정 사용자에 대한 시스템의 적응이 필요하다. 이를 위해 다양한 경우를 고려하여 최적화된 값을 찾을 수 있는 진화 알고리즘을 이용하여 퍼지 모델 파라미터를 갱신하는 방법을 제안한다. 제안한 방법의 타당성을 검증하기 위해 5명의 사용자로부터 명령 동작과 의미 없는 유사 동작의 데이터를 획득하여 실험 결과를 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.355-356
• /
• 2023

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 초보자들은 자신의 동작이 어떻게 보이는지 평가하는 데 어려움을 겪어 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 시스템을 통해 사용자의 춤동작에 대한 피드백을 받을 수 있으며 초보자들도 정확한 춤동작을 연습할 수 있을 것으로 기대한다.