Climbing Motion Synthesis using Reinforcement Learning

강화학습을 이용한 클라이밍 모션 합성

Although there is an increasing demand for capturing various natural motions, collecting climbing motion data is difficult due to technical complexities, related to obscured markers. Additionally, scanning climbing structures and preparing diverse routes further complicate the collection of necessary data. To tackle this challenge, this paper proposes a climbing motion synthesis using reinforcement learning. The method comprises two learning stages. Firstly, the hanging policy is trained to grasp holds in a natural posture. Once the policy is obtained, it is used to extract the positions of the holds, postures, and gripping states, thus forming a dataset of favorable initial poses. Subsequently, the climbing policy is trained to execute actual climbing maneuvers using this initial state dataset. The climbing policy allows the character to move to the target location using limbs more evenly in a natural posture. Experiments have shown that the proposed method can effectively explore the space of good postures for climbing and use limbs more evenly. Experimental results demonstrate the effectiveness of the proposed method in exploring optimal climbing postures and promoting balanced limb utilization.

최근 자연스러운 모션 데이터에 대한 수요가 늘고 있지만, 클라이밍 모션을 정확하게 캡처하는 것은 가려진 부분이 많은 클라이밍 동작의 특성상 쉽지 않다. 또한 벽 구조물의 스캔이나 다양한 암벽 코스 준비 등 필요한 데이터를 수집하는 과정이 쉽지 않다. 본 논문에서는 강화학습을 이용한 클라이밍 모션 합성 방법론을 제안한다. 학습 과정은 두 단계의 난이도로 구성되어 있다. 첫 번째 단계는 매달리기 정책을 학습하는 것이다. 매달리기 정책은 자연스러운 자세로 홀드를 잡는 방법을 학습한다. 이후 추론 단계를 통해 위치, 자세, 잡기 상태를 다양하게 추출한 초기 상태 데이터세트를 만든다. 두 번째 단계에서는 이 초기 상태 데이터세트를 사용해서 실제 클라이밍을 수행하는 태스크를 학습한다. 클라이밍 정책은 자연스러운 자세로 타겟 위치로 이동하는 방법을 학습한다. 실험을 통해 제안하는 방법이 클라이밍 하기 위한 좋은 자세를 효과적으로 탐색할 수 있는 것을 보였다.