Machine Learning Based Hand Motion Generation Using a Haptic Controller

햅틱 컨트롤러를 이용한 머신러닝 기반 손동작 생성

본 연구에서는 손가락의 움직임을 입력받는 햅틱 컨트롤러를 이용하여 물체를 잡거나 놓는 손의 포즈를 생성하여 가상의 물체를 제어할 수 있는 방법을 제안한다. 다섯 개의 손가락을 움직일 수 있는 경우의 수는 무수히 많아서 이를 위한 모든 모션을 캡쳐하는 것은 매우 힘든 작업이고, 캡쳐한 모든 모션을 수동으로 연결시키는 것도 어려운 일이다. 제안 방법은 햅틱 컨트롤러에서 입력된 다섯 개의 신호를 인공 신경망을 사용하여 손가락의 포즈로 변경해 준다. 이를 위해 입력 신호와 매칭되는 손의 포즈를 이용하여 인공 신경망을 훈련시킨 후, 그 결과를 이용하여 사용자의 입력에 대응하는 손의 포즈를 생성한다. 결과 포즈의 사실성을 높이기 위해 모션 캡쳐 장비로부터 훈련용 데이터를 생성하였다. 본 논문의 방법은 햅틱 컨트롤러에서 동일한 입력을 받더라도 물체의 모양에 대응하는 손의 모션을 생성하는 결과를 보여준다.