• 제목/요약/키워드: reference motion tracking

검색결과 58건 처리시간 0.025초

RGBD 센서를 이용한 실시간 사용자 동작 생성 및 보정 (Real-time user motion generation and correction using RGBD sensor)

  • 구태홍;김운미;김종민;권태수
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제23권5호
    • /
    • pp.67-73
    • /
    • 2017
  • 본 연구는 사용자의 자세를 모니터링하고 수정하기 위해 3D 피트니스 프로그램에 사용할 수 있는 몇 가지 기술을 제안한다. 첫 번째로 사용자와 전문가의 레퍼런스 동작간의 차이를 알기위해 두 가지 다른 신체 구조 사이의 리타게팅 기법을 연구했다. 두번째로 복잡한 운동 동작을 표현하는데 생기는 저가형 깊이 센서의 문제인 자가가림(Self-occlusion) 문제를 예제 데이터베이스와 시간 일관성을 활용하여 해결하였다. 마지막으로 사용자가 취하는 자세가 코치의 자세와 얼마나 다른지 알 수 있도록 피드백 해주는 UI를 제작하였다. 본 논문에서 제안하는 시스템은 사용자의 신체적 차이를 고려하여 사용자의 자세를 평가 한 다음 사용자의 자세에 대한 피드백을 받을 수 있도록 한다.

Application of Virtual Studio Technology and Digital Human Monocular Motion Capture Technology -Based on <Beast Town> as an Example-

  • YuanZi Sang;KiHong Kim;JuneSok Lee;JiChu Tang;GaoHe Zhang;ZhengRan Liu;QianRu Liu;ShiJie Sun;YuTing Wang;KaiXing Wang
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권1호
    • /
    • pp.106-123
    • /
    • 2024
  • This article takes the talk show "Beast Town" as an example to introduce the overall technical solution, technical difficulties and countermeasures for the combination of cartoon virtual characters and virtual studio technology, providing reference and experience for the multi-scenario application of digital humans. Compared with the live broadcast that combines reality and reality, we have further upgraded our virtual production technology and digital human-driven technology, adopted industry-leading real-time virtual production technology and monocular camera driving technology, and launched a virtual cartoon character talk show - "Beast Town" to achieve real Perfectly combined with virtuality, it further enhances program immersion and audio-visual experience, and expands infinite boundaries for virtual manufacturing. In the talk show, motion capture shooting technology is used for final picture synthesis. The virtual scene needs to present dynamic effects, and at the same time realize the driving of the digital human and the movement with the push, pull and pan of the overall picture. This puts forward very high requirements for multi-party data synchronization, real-time driving of digital people, and synthetic picture rendering. We focus on issues such as virtual and real data docking and monocular camera motion capture effects. We combine camera outward tracking, multi-scene picture perspective, multi-machine rendering and other solutions to effectively solve picture linkage and rendering quality problems in a deeply immersive space environment. , presenting users with visual effects of linkage between digital people and live guests.

컬러, 움직임 정보 및 깊이 카메라 초기 깊이를 이용한 분할 영역 추출 및 스테레오 정합 기법 (A Novel Segment Extraction and Stereo Matching Technique using Color, Motion and Initial Depth from Depth Camera)

  • 엄기문;박지민;방건;정원식;허남호;김진웅
    • 한국통신학회논문지
    • /
    • 제34권12C호
    • /
    • pp.1147-1153
    • /
    • 2009
  • 본 논문에서는 분할 영역기반 스테레오 정합에 있어서 분할 영역 추출시 컬러 외에 깊이 카메라의 초기 깊이, 프레임 간 분할 영역의 움직임 정보를 같이 이용한 분할 영역기반 스테레오 정합 기법을 제안한다. 제안한 기법은 깊이 카메라의 초기 깊이 정보를 이용하여 기준 영상의 객체/배경 분리를 먼저 수행하고, 분리된 객체/배경별로 컬러 영상 분할을 수행하여 분할 영역을 추출한다. 또한 분할 영역기반 깊이 정보 추출에 있어 프레임 간 깊이 정보의 연속성을 유지하기 위해 객체/배경 분리 정보, 분할 영역의 움직임 정보를 이용한다. 실험결과에서, 제안한 기법은 컬러 정보만을 이용한 기존의 분할 영역 추출 및 분할 영역 기반 스테레오 정합 기법에 비해 정적배경 영역에서 특히 분할 영역 추출과 깊이 정확도가 개선된 성능을 보였다.

포텐셜 함수와 슬라이딩 모드 제어기법을 이용한 무인기 군집비행 제어기 설계 (UAV Swarm Flight Control System Design Using Potential Functions and Sliding Mode Control)

  • 한기훈;김유단
    • 한국항공우주학회지
    • /
    • 제36권5호
    • /
    • pp.448-454
    • /
    • 2008
  • 본 논문에서는 포텐셜 함수와 슬라이딩 모드 제어기법을 이용한 행동양식 기반의 분산형 군집비행 제어구조를 제안하였다. 군집비행 행동양식을 위해 각 개체의 상호작용을 포텐셜 함수로 표현하였으며, 군집형태를 유지하며 기준궤적을 추종하기 위해 군집중심점 제어기법을 제안하였다. 시스템의 불확실성과 임무환경에 의한 포텐셜 함수 변화에 대해 강건한 성능을 유지하기 위해 슬라이딩 모드 제어기법을 적용하여 제어기를 구성하고 안정성을 평가하였다. 또한 예상하지 못한 장애물에 대한 군집 회피기동을 위해 비행경로 수정기법을 제시하였다. 수치 시뮬레이션을 통해 제안한 군집비행 제어기법의 성능을 평가하였다.

센서 스캐닝에 의한 자율주행로봇의 경로주행 알고리즘 (A Path Navigation Algorithm for an Autonomous Robot Vehicle by Sensor Scanning)

  • 박동진;안정우;한창수
    • 한국정밀공학회지
    • /
    • 제19권8호
    • /
    • pp.147-154
    • /
    • 2002
  • In this paper, a path navigation algorithm through use of a sensor platform is proposed. The sensor platform is composed of two electric motors which make panning and tilting motions. An algorithm for computing a real path and an obstacle length is developed by using a scanning method that controls rotation of the sensors on the platform. An Autonomous Robot Vehicle(ARV) can perceive the given path by adapting this algorithm. A sensor scanning method is applied to the sensor platform for using small numbers of sensor. The path navigation algorithm is composed of two parts. One is to perceive a path pattern, the other is used to avoid an obstacle. An optimal controller is designed for tracking the reference path which is generated by perceiving the path pattern. The ARV is operated using the optimal controller and the path navigation algorithm. Based on the results of actual experiments, this algorithm for an ARV proved sufficient for path navigation by small number of sensors and for a low cost controller by using the sensor platform with a scanning method.

TMS320C31칩을 사용한 산엽용 로보트의 실시간 적응 제어기 설계 (Design of a real time adaptive controller for industrial robot using TMS320C31 chip)

  • 한성현;김용태;이만형;김성권;김진오
    • 한국정밀공학회지
    • /
    • 제13권10호
    • /
    • pp.94-104
    • /
    • 1996
  • This paper presents a new approach to the design of adaptive control system using DSPs(TMS320C31) for robotic manpulators to achieve accurate trajectory tracking by the joint angles Digital signal processors are used in implementing real time adaptive control algorithms to provide an enhanced motion control for robotic manipulators. In the proposed contorl scheme, adaptation laws are derived from the improved Lyapunov second stability analysis method based on the adaptive model reference control theory. The adaptive controller consists of an adaptive feedforward controller, feedback controller, and PID type time varying auxillary control elements. The proposed adaptive control scheme is simple in structure, fast in computation, and suitable for implementation of real-time control. Morever, this scheme does not require an accurate dynamic modeling nor values of manpipulator parameters and payload. Performance of the adaptive controller is illustated by simulation and experimental results for a SCARA robot.

  • PDF

상태 표현 방식에 따른 심층 강화 학습 기반 캐릭터 제어기의 학습 성능 비교 (Comparison of learning performance of character controller based on deep reinforcement learning according to state representation)

  • 손채준;권태수;이윤상
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제27권5호
    • /
    • pp.55-61
    • /
    • 2021
  • 물리 시뮬레이션 기반의 캐릭터 동작 제어 문제를 강화학습을 이용하여 해결해나가는 연구들이 계속해서 진행되고 있다. 강화학습을 사용하여 문제를 풀기 위해서는 네트워크 구조, 하이퍼파라미터 튜닝, 상태(state), 행동(action), 보상(reward)이 문제에 맞게 적절히 설정이 되어야 한다. 많은 연구들에서 다양한 조합으로 상태, 행동, 보상을 정의하였고, 성공적으로 문제에 적용하였다. 상태, 행동, 보상을 정의함에 다양한 조합이 있다보니 학습 성능을 향상시키는 최적의 조합을 찾기 위해서 각각의 요소들이 미치는 영향을 분석하는 연구도 진행되고 있다. 우리는 지금까지 이뤄지지 않았던 상태 표현 방식에 따른 강화학습성능에 미치는 영향을 분석하였다. 첫째로, root attached frame, root aligned frame, projected aligned frame 3가지로 좌표계를 정의하였고, 이에 대해 표현된 상태를 이용하여 강화학습에 미치는 영향을 분석하였다. 둘째로, 상태를 정의 할 때, 관절의 위치, 각도로 다양하게 조합하는 경우에 학습성능에 어떠한 영향을 미치는지 분석하였다.

옵티컬 플로우 방법으로 계산된 초기 바람 추정치에 따른 대기운동벡터 알고리즘 개선 연구 (Improvements for Atmospheric Motion Vectors Algorithm Using First Guess by Optical Flow Method)

  • 오유림;박형민;김재환;김소명
    • 대한원격탐사학회지
    • /
    • 제36권5_1호
    • /
    • pp.763-774
    • /
    • 2020
  • 수치예보모델의 예측 바람장은 대기운동벡터 알고리즘의 표적 추적 과정에서 추적 정확도 향상이나 계산 시간 단축을 위해 초기 추정치로 사용된다. 대기운동벡터는 수치예보모델의 자료동화 시 활용가치가 높다고 알려졌으나, 초기 추정치로 사용된 수치예보모델 바람장이 대기운동벡터의 검증 과정에 참 값으로 사용된다는 모순이 있다. 이를 해결하기 위해서는 수치예보모델로부터 독립적인 초기 추정치가 필요하다. 본 연구에서는 Lucas and Kanade 옵티컬 플로우 방법을 적용하여 바람장을 도출한 후 이를 초기 추정치로 사용함으로써 표적 추적과정에서의 모델 의존성을 제거하고 계산 속도를 향상시키고자 하였다. 대기운동벡터 산출에는 2015년 8월 18일 ~ 9월 5일 00, 06, 12, 18시 동안의 정지궤도 위성 Himawari-8/AHI의 14번 채널 Level 1B 자료를 사용하였다. 옵티컬 플로우 방법이 대기운동벡터 산출에 미치는 영향을 평가하기 위하여 다음과 같은 세가지 방법으로 교차 검증을 수행 하였다. (1) 초기 추정치 없이, (2) KMA/UM 예보바람장을 초기 추정치로 사용하여, 그리고 (3) 옵티컬 플로우 방법으로 계산된 바람장을 초기 추정치로 사용하여 대기운동벡터를 산출하고 ECMWF ERA-Interim 재분석장과 비교 검증한 결과, 옵티컬 플로우 기반 바람장을 초기 추정치로 사용한 경우에 가장 높은 정밀도를 보였다(RMSVD: 5.296-5.804 ms-1). 계산 속도는 초기 추정치를 사용하지 않은 경우에 가장 느렸고, 나머지 테스트는 유사한 속도를 보였다. 그러므로 대기운동벡터 알고리즘의 표적 추적 과정에 옵티컬 플로우 방법을 적용하면, 모델 의존성 없는 고품질 바람벡터의 산출이 가능할 것으로 사료된다.