Searching Human Motion Data by Sketching 3D Trajectories

3차원 이동 궤적 묘사를 통한 인간 동작 데이터 검색

  • 이강훈 (광운대학교 컴퓨터소프트웨어학과)
  • Received : 2013.05.23
  • Accepted : 2013.06.03
  • Published : 2013.06.10

Abstract

Captured human motion data has been widely utilized for understanding the mechanism of human motion and synthesizing the animation of virtual characters. Searching for desired motions from given motion data is an important prerequisite of analyzing and editing those selected motions. This paper presents a new method of content-based motion retrieval without the need of additional metadata such as keywords. While existing search methods have focused on skeletal configurations of body pose or planar trajectories of locomotion, our method receives a three-dimensional trajectory as its input query and retrieves a set of motion intervals in which the trajectories of body parts such as hands, foods, and pelvis are similar to the input trajectory. In order to allow the user to intuitively sketch spatial trajectories, we used the Leap Motion controller that can precisely trace finger movements as the input device for our experiments. We have evaluated the effectiveness of our approach by conducting a user study in which the users search for dozens of pre-selected motions from baseketball motion data including a variety of moves such as dribbling and shooting.

실제 사람의 움직임을 촬영하여 얻은 동작 데이터는 인체운동의 메커니즘을 이해하거나 가상 캐릭터의 애니메이션을 합성하기 위한 목적으로 널리 활용되고 있다. 주어진 동작 데이터로부터 원하는 동작을 검색하는 작업은 찾아낸 동작을 분석하고 편집하기 전에 선행되어야 하는 주요 과정이다. 본 논문은 기술어와 같은 별도의 메타 데이터 없이 원본 데이터에 내재된 정보만을 이용하여 검색을 수행하는 새로운 내용 기반 동작 데이터 검색 방법을 제안한다. 주로 신체 자세의 골격 형태나 평면 상의 이동 궤적에 초점을 맞춘 기존 검색 방식과 달리, 본 논문에서 제안하는 방법은 3차원 공간 상의 궤적을 질의로 입력 받아서 손, 발, 허리와 같은 신체 부위의 이동 궤적이 그와 가장 유사한 일련의 동작 구간들을 검출한다. 사용자가 직관적으로 공간적 궤적을 묘사할 수 있도록 하기 위하여, 본 논문의 실험에서는 손가락의 공간적 움직임을 정밀하게 추적할 수 있는 Leap Motion 제어기를 입력 도구로 사용하였다. 드리블, 슈팅 등의 다양한 동작이 포함된 농구 동작 데이터로부터 미리 선택된 수십 여개의 동작을 검색하는 사용자 테스트를 수행하여 제안된 방법의 효용성을 평가하였다.

Keywords

References

  1. M. S. Lew, N. Sebe, C. Djeraba, and R. Jain, "Contentbased multimedia information retrieval: State of the art and challenges," ACM Trans. Multimedia Comput. Commun. Appl., vol. 2, no. 1, pp. 1-19, Feb. 2006. [Online]. Available: http://doi.acm.org/10.1145/1126004.1126005
  2. R. Datta, D. Joshi, J. Li, and J. Z. Wang, "Image retrieval: Ideas, influences, and trends of the new age," ACM Comput. Surv., vol. 40, no. 2, pp. 5:1-5:60, May 2008. [Online]. Available: http://doi.acm.org/10.1145/1348246.1348248
  3. S. Smoliar and H. Zhang, "Content based video indexing and retrieval," MultiMedia, IEEE, vol. 1, no. 2, pp. 62-72, 1994. https://doi.org/10.1109/93.311653
  4. A. M. Bronstein, M. M. Bronstein, L. J. Guibas, and M. Ovsjanikov, "Shape google: Geometric words and expressions for invariant shape retrieval," ACM Trans. Graph., vol. 30, no. 1, pp. 1:1-1:20, Feb. 2011. [Online]. Available: http://doi.acm.org/10.1145/1899404.1899405
  5. M. Muller, T. Roder, and M. Clausen, "Efficient contentbased retrieval of motion capture data," ACM Trans. Graph., vol. 24, no. 3, pp. 677-685, Jul. 2005. [Online]. Available: http://doi.acm.org/10.1145/1073204.1073247
  6. M. G. Choi, K. Yang, T. Igarashi, J. Mitani, and J. Lee, "Retrieval and visualization of human motion data via stick figures," Comp. Graph. Forum, vol. 31, no. 7pt1, pp. 2057-2065, Sep. 2012. [Online]. Available: http://dx.doi.org/10.1111/j.1467-8659.2012.03198.x
  7. M. Thorne, D. Burke, and M. van de Panne, "Motion doodles: an interface for sketching character motion," ACM Trans. Graph., vol. 23, no. 3, pp. 424-431, Aug. 2004. [Online]. Available: http://doi.acm.org/10.1145/1015706.1015740
  8. J. Lee, J. Chai, P. S. A. Reitsma, J. K. Hodgins, and N. S. Pollard, "Interactive control of avatars animated with human motion data," ACM Trans. Graph., vol. 21, no. 3, pp. 491-500, 2002.
  9. J. Davis, M. Agrawala, E. Chuang, Z. Popovic, and D. Salesin, "A sketching interface for articulated figure animation," in Proceedings of the 2003 ACM SIGGRAPH/ Eurographics symposium on Computer animation, 2003, pp. 320-328.
  10. (2013) Official website of leap motion. [Online]. Available: http://www.leapmotion.com
  11. S. Rusinkiewicz and M. Levoy, "Efficient variants of the icp algorithm," in 3-D Digital Imaging and Modeling, 2001. Proceedings. Third International Conference on, 2001, pp. 145-152.
  12. H. Ney, "The use of a one-stage dynamic programming algorithm for connected word recognition," Acoustics, Speech and Signal Processing, IEEE Transactions on, vol. 32, no. 2, pp. 263-271, 1984. https://doi.org/10.1109/TASSP.1984.1164320
  13. B. K. P. Horn, "Closed-form solution of absolute orientation using unit quaternions," J. Opt. Soc. Am. A, vol. 4, no. 4, pp. 629-642, Apr 1987. [Online]. Available: http://josaa.osa.org/abstract.cfm?URI=josaa-4-4-629