• Title/Summary/Keyword: 모션합성

Search Result 56, Processing Time 0.029 seconds

Exploring the Effectiveness of GAN-based Approach and Reinforcement Learning in Character Boxing Task (캐릭터 복싱 과제에서 GAN 기반 접근법과 강화학습의 효과성 탐구)

  • Seoyoung Son;Taesoo Kwon
    • Journal of the Korea Computer Graphics Society
    • /
    • v.29 no.4
    • /
    • pp.7-16
    • /
    • 2023
  • For decades, creating a desired locomotive motion in a goal-oriented manner has been a challenge in character animation. Data-driven methods using generative models have demonstrated efficient ways of predicting long sequences of motions without the need for explicit conditioning. While these methods produce high-quality long-term motions, they can be limited when it comes to synthesizing motion for challenging novel scenarios, such as punching a random target. A state-of-the-art solution to overcome this limitation is by using a GAN Discriminator to imitate motion data clips and incorporating reinforcement learning to compose goal-oriented motions. In this paper, our research aims to create characters performing combat sports such as boxing, using a novel reward design in conjunction with existing GAN-based approaches. We experimentally demonstrate that both the Adversarial Motion Prior [3] and Adversarial Skill Embeddings [4] methods are capable of generating viable motions for a character punching a random target, even in the absence of mocap data that specifically captures the transition between punching and locomotion. Also, with a single learned policy, multiple task controllers can be constructed through the TimeChamber framework.

Bipeds Animation Blending By 3D Studio MAX Script (맥스 스크립트를 이용한 바이페드 애니메이션 합성)

  • Choi, Hong-Seok;Jeong, Jae-Wook
    • Science of Emotion and Sensibility
    • /
    • v.12 no.3
    • /
    • pp.259-266
    • /
    • 2009
  • Today, the 3D character animation is easily accessible from most of the film such as an actuality film, animation, games, or advertising. However, such a smooth movement of characters is a result obtained by Key Frame operation which skilled animators worked with data obtained through expensive equipment such Motion Capture for a long time. Therefore, to modify or to give other effects is not easy. In some cases, character's action made according to the personal feeling could be different with universal expectations of audiences, because it might be not appropriate to make regulations generalized between character's action by animater's design and emotional reaction of audience. In this research, it is aimed to show the way which is easily to blend and modify 2-3 Biped animation data by offering the operation tools of 3-D rotation using 3D Studio MAX Script. By this tool E.A.M., we can have various researches for quantities relation of between walking and emotional reaction.

  • PDF

Using Camera Tracking and Image Composition Technique in Visual Effect Imaginary Production (시각효과 영상제작에서 카메라 추적과 영상합성 기술의 활용)

  • Kim, Myung-Ha;Yu, Jung-Jae;Hong, Hyun-Ki
    • The Journal of the Korea Contents Association
    • /
    • v.11 no.6
    • /
    • pp.135-143
    • /
    • 2011
  • Visual effect production by computer graphics techniques has become more important in these days. However, there are three problems in the domestic contents production environments. First of all, most Korean film companies have insufficient generally potential to maintain and support their R&D (Research and Development) teams. Secondly, they are much dependent on the abroad commercial software tools. Finally, many people have to participate in the image production pipeline, called the labor-intensive pipeline. In producing a demonstration work, "The Sixty -miles-an-hour man", we have evaluated the usefulness of the developed camera tracking and image composition methods and then examined various production consideration elements. In addition, in order to develop a productive technical element and write a competitive film script, mutual understanding between the developers and the production users should be achieved. Also, this paper describes a role of the technical supervisor to direct the production environment in detail.

Capture of Foot Motion for Real-time Virtual Wearing by Stereo Cameras (스테레오 카메라로부터 실시간 가상 착용을 위한 발동작 검출)

  • Jung, Da-Un;Yun, Yong-In;Choi, Jong-Soo
    • Journal of Korea Multimedia Society
    • /
    • v.11 no.11
    • /
    • pp.1575-1591
    • /
    • 2008
  • In this paper, we propose a new method detecting foot motion capture in order to overlap in realtime foot's 3D virtual model from stereo cameras. In order to overlap foot's virtual model at the same position of the foot, a process of the foot's joint detection to regularly track the foot's joint motion is necessary, and accurate register both foot's virtual model and user's foot in complicated motion is most important problem in this technology. In this paper, we propose a dynamic registration using two types of marker groups. A plane information of the ground handles the relationship between foot's virtual model and user's foot and obtains foot's pose and location. Foot's rotation is predicted by two attached marker groups according to instep of center framework. Consequently, we had implemented our proposed system and estimated the accuracy of the proposed method using various experiments.

  • PDF

Automatic Anticipation Effect Generation for Character Animation (캐릭터 애니메이션을 위한 기대 효과의 자동 생성)

  • Kim, Jong-Hyuk;Choi, Jung-Ju
    • 한국HCI학회:학술대회논문집
    • /
    • 2006.02a
    • /
    • pp.852-858
    • /
    • 2006
  • 전통적으로 3차원 애니메이션에서 캐릭터의 동작에 관한 연구는 주로 동작의 사실적인 표현에 중점을 두고 있다. 그러나 이러한 사실적인 애니메이션은 전통적인 2차원 애니메이션에 익숙한 관객들이 어색함을 느끼는 원인이 되기도 한다 이로 인해 전통적인 2차원 애니메이션의 기법을 3차원 애니메이션에 적용하는 비사실적 (non photorealistic) 애니메이션 기법이 연구되고 있다. 본 논문에서는 전통적인 2차원 애니메이션기법 중 하나인 기대 효과(anticipation effect)를 3차원 애니메이션의 캐릭터 동작에 적용하는 자동화된 방법을 제시한다. 전통적인 2차원 애니메이션 기법에 따르면 기대 효과는 애니메이션을 더 설득력 있고 풍부하게 만드는 역할을 한다고 알려져 있다. 기대 효과는 주요한 동작이 일어나기 이전에 반대 방향의 동작이 이루어지는 것으로 나타난다. 3차원 애니메이션에서 캐릭터의 동작은 각 관절의 회전과 캐릭터 중심의 이동으로 표현되기 때문에, 주요한 동작에 대하여 각 관절의 회전과 캐릭터 중심의 이동에서 반대 방향의 움직임을 찾아 주요한 동작 이전에 연결하는 것으로 기대 효과의 동작을 표현할 수 있다. 모션 캡쳐나 키 프레임 방법을 통해 미리 제작된 애니메이션 파일로부터 기대효과를 생생하기 위해 동작 데이터를 분석하여, 기대 효과의 추가가 필요한 주요 동작의 각 관절별 회전을 외삽하여 반대 방향의 회전 움직임을 생생하고 무게 중심의 이동을 예측하여 주요 동작과 반대 방향의 움직임을 갖는 기대 동작을 생성한다. 이후, 생성된 기대 동작과 원래의 동작을 기대 효과의 타이밍을 고려하여 합성하는 것으로 기대효과가 포함된 자연스러운 애니메이션 동작을 얻을 수 있다.

  • PDF

Implementing Augmented Reality By Using Face Detection, Recognition And Motion Tracking (얼굴 검출과 인식 및 모션추적에 의한 증강현실 구현)

  • Lee, Hee-Man
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.1
    • /
    • pp.97-104
    • /
    • 2012
  • Natural User Interface(NUI) technologies introduce new trends in using devices such as computer and any other electronic devices. In this paper, an augmented reality on a mobile device is implemented by using face detection, recognition and motion tracking. The face detection is obtained by using Viola-Jones algorithm from the images of the front camera. The Eigenface algorithm is employed for face recognition and face motion tracking. The augmented reality is implemented by overlapping the rear camera image and GPS, accelerator sensors' data with the 3D graphic object which is correspond with the recognized face. The algorithms and methods are limited by the mobile device specification such as processing ability and main memory capacity.

ButtonKeyboard: A Button-shaped Keyboard Supporting Text entry for Wearable Devices (버튼 키보드: 웨어러블 기기에서 문자입력을 지원하는 단추형 키보드)

  • Kim, Hyun-Jung;Kim, Seok-Tae;Pak, Jin-Hee;Lee, Woo-Hun
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02b
    • /
    • pp.298-303
    • /
    • 2007
  • 웨어러블 컴퓨팅 환경에서 문자입력은 필수적인 태스크이나 적절한 유저 인터페이스를 지원하기란 쉽지 않다. 탁상용 QWERTY 키보드를 소형화하여 상용화한 제품도 있지만 일상에서 사용하기에는 상당히 부담스러운 크기이다. 본 연구는 단추와 유사한 크기로 부담 없이 의복에 부착할 수 있으며 적정 수준으로 문자입력 태스크를 지원할 수 있는 버튼 키보드를 제안한다. 버튼키보드는 기존 전화키패드의 $3{\times}3$ 키 배열을 단일 키 패드로 통합하였다. 이는 내구성 있고 간결한 폼팩터를 가능하게 하며 입력장치의 소형화와 문자입력효율의 향상을 가능하게 한다. 버튼키보드는 일반 키보드용 키에 터치센서와 LED 배열을 합성하여 구현하였다. 따라서 손가락의 위치에 따라 이격, 터치, 누름등의 상태를 구분할 수 있어 멀티탭핑방식에서 발생하는 입력분절문제를 해결하였으며 와이핑 모션에 의한 특수문자와 명령 입력을 가능하게 하였다. 프로토타입을 통해 문자입력수행도 테스트 결과 20세션 학습후 한손입력에 대해 평균 14.7WPM, 두손입력에 대해 평균 14.5WPM의 입력속도를 얻었다. 20세션 평균 에러율은 6%를 기록했으며 최고속도는 두손입력시 17WPM으로 나타났다. 실험결과를 통해 본 연구에서 제안한 버튼키보드가 기기를 극적으로 소형화하였음에도 불구하고 문자입력을 적정수준으로 수행할 수 있는 가능성을 가진 문자입력장치임을 확인할 수 있었다. 차후 프로토타입의 개선을 통하여 기기가 더욱 소형화될 수 있으며 문자입력수행도 또한 향상될 여지가 있다.

  • PDF

Hand Gesture Recognition with Convolution Neural Networks for Augmented Reality Cognitive Rehabilitation System Based on Leap Motion Controller (립모션 센서 기반 증강현실 인지재활 훈련시스템을 위한 합성곱신경망 손동작 인식)

  • Song, Keun San;Lee, Hyun Ju;Tae, Ki Sik
    • Journal of Biomedical Engineering Research
    • /
    • v.42 no.4
    • /
    • pp.186-192
    • /
    • 2021
  • In this paper, we evaluated prediction accuracy of Euler angle spectrograph classification method using a convolutional neural networks (CNN) for hand gesture recognition in augmented reality (AR) cognitive rehabilitation system based on Leap Motion Controller (LMC). Hand gesture recognition methods using a conventional support vector machine (SVM) show 91.3% accuracy in multiple motions. In this paper, five hand gestures ("Promise", "Bunny", "Close", "Victory", and "Thumb") are selected and measured 100 times for testing the utility of spectral classification techniques. Validation results for the five hand gestures were able to be correctly predicted 100% of the time, indicating superior recognition accuracy than those of conventional SVM methods. The hand motion recognition using CNN meant to be applied more useful to AR cognitive rehabilitation training systems based on LMC than sign language recognition using SVM.

Efficient Multiple Object Tracking without Appearance Features (외형 특징을 사용하지 않는 효율적인 다중 물체 추적 방법)

  • Lee, Hyemin;Kim, Daijin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.872-874
    • /
    • 2021
  • 본 논문은 외형 특징을 사용하지 않는 효율적인 다중 물체 추적 방법을 제안한다. 본 논문의 목적은 다중 물체 추적 방법이 합성곱 신경망 등의 외형 특징을 사용하지 않고 순수한 모션 모델의 힘으로 도달할 수 있는 최대의 성능을 찾는 것이다. 많은 다중 물체 추적 방법들이 추적 대상들 간의 유사성을 파악하기 위해 외형 특징을 사용한다. 하지만 다양한 외형 특징들을 갖는 방법들은 기본 특징 추출 알고리즘이 다르고, 다중 추적의 성능 향상이 어느 부분으로부터 오는지 정확히 파악할 수 없다. 또한, 각각 다른 매칭 알고리즘과 특징 디자인은 서로 다른 알고리즘의 효과를 순수하게 비교할 수 없다. 이러한 관점에서, 본 연구에서는 어떠한 외형 특징을 사용하지 않고 명확하게 추적 알고리즘의 효율성을 비교할 수 있는 가이드라인을 제시한다. 외형 특징을 사용하지 않고도 실용적으로 사용 가능한 성능에 도달할 수 있음을 공인 MOT2016, MOT2016 데이터셋에 대한 실험을 통해 증명한다. 이러한 방법은 GPU 를 사용하지 않고 200 fps 이상의 높은 속도를 보여 실시간 속도를 요구하는 임베디드 시스템 상의 어플리케이션에 적합하다.

Searching Human Motion Data by Sketching 3D Trajectories (3차원 이동 궤적 묘사를 통한 인간 동작 데이터 검색)

  • Lee, Kang Hoon
    • Journal of the Korea Computer Graphics Society
    • /
    • v.19 no.2
    • /
    • pp.1-8
    • /
    • 2013
  • Captured human motion data has been widely utilized for understanding the mechanism of human motion and synthesizing the animation of virtual characters. Searching for desired motions from given motion data is an important prerequisite of analyzing and editing those selected motions. This paper presents a new method of content-based motion retrieval without the need of additional metadata such as keywords. While existing search methods have focused on skeletal configurations of body pose or planar trajectories of locomotion, our method receives a three-dimensional trajectory as its input query and retrieves a set of motion intervals in which the trajectories of body parts such as hands, foods, and pelvis are similar to the input trajectory. In order to allow the user to intuitively sketch spatial trajectories, we used the Leap Motion controller that can precisely trace finger movements as the input device for our experiments. We have evaluated the effectiveness of our approach by conducting a user study in which the users search for dozens of pre-selected motions from baseketball motion data including a variety of moves such as dribbling and shooting.