• 한국전자통신학회논문지
• /
• 제17권1호
• /
• pp.111-118
• /
• 2022

컴퓨터 비전 연구에서 2차원 인체 자세는 매우 광범위한 연구 방향으로 특히 자세 추적과 행동 인식에서 유의미한 분야다. 인체 자세 표적 획득은 이미지에서 인체 목표를 정확히 찾는 방법을 연구하는 것이 핵심이며 인체 자세 인식은 인공지능(AI)에 적용하는 한편 일상생활에 활용되고 있어서 매우 중요한 연구의의가 있다. 인체 자세 인식 효과의 우수성의 기준은 인식 과정의 성공률과 정확도에 의해 결정된다. 본 연구의 인체 자세 인식에서는 딥러닝 전용 데이터셋인 MS COCO를 기반하여 인체를 17개의 키 포인트로 구분하였다. 다음으로 주요 특징에 대한 세분화 마스크(segmentation mask) 방법을 사용하여 인식률을 개선하였다. 최종적으로 신경망 모델을 설계하고 간단한 단계별 학습부터 효율적인 학습에 이르기까지 많은 수의 표본을 학습시키는 알고리즘을 제안하여 정확도를 향상할 수 있었다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.949-959
• /
• 2013

Since the recent launch of Microsoft Xbox Kinect, research on 3D human pose estimation has attracted a lot of attention in the computer vision community. Kinect shows impressive estimation accuracy and real-time performance on massive graphics processing unit hardware. In this paper, we focus on further reducing the computation complexity of the existing state-of-the-art method to make the real-time 3D human pose estimation functionality applicable to devices with lower computing power. As a result, we propose two simple approaches to speed up the random-forest-based human pose estimation method. In the original algorithm, the random forest classifier is applied to all pixels of the segmented human depth image. We first use a multi-scale approach to reduce the number of such calculations. Second, the complexity of the random forest classification itself is decreased by the proposed cascade approach. Experiment results for real data show that our method is effective and works in real time (30 fps) without any parallelization efforts.

• 자동차안전학회지
• /
• 제14권3호
• /
• pp.71-76
• /
• 2022

In autonomous driving cars, 3D pose estimation can be one of the effective methods to enhance safety control for OOP (Out of Position) passengers. There have been many studies on human pose estimation using a camera. Previous methods, however, have limitations in automotive applications. Due to unexplainable failures, CNN methods are unreliable, and other methods perform poorly. This paper proposes robust real-time multi-human 3D pose estimation architecture in vehicle using monocular RGB camera. Using particle filter, our approach integrates CNN 2D/3D pose measurements with available information in vehicle. Computer simulations were performed to confirm the accuracy and robustness of the proposed algorithm.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.718-727
• /
• 2022

국내 웹툰 산업 매출액이 전년도 대비 약 65% 폭발적 성장을 하였고 향후 매출 규모가 1조원을 돌파할 것이라 예상을 하고 있다. 웹툰 제작 과정을 살펴보면 스토리와 콘티와 같이 창작을 필요로 하는 작업도 있지만, 스케치와 펜터치와 같은 단순 반복 작업도 있기 때문에 최근 주목받고 있는 딥러닝 기반 인간자세 추정방법을 사용하여 간소화 할 수 있다면, 웹툰 제작 과정을 효과적으로 개선할 수 있다. 따라서 본 연구는 인간자세 추정방법을 사용하여 인간의 동작을 스케치한 2차원 웹툰 캐릭터와 관절을 매칭 시켜서, 인간의 동작에 따라서 캐릭터의 동작을 생성시키는 방법을 제안한다. 이를 위해 생성한 2차원 캐릭터를 SVG 파일 형식인 벡터화된 그래픽 이미지로 생성시켜 인간자세의 관절을 나타내는 스켈레톤과 매칭을 시켰다. 실험결과를 통해 2차원 웹툰 캐릭터의 포즈가 웹 카메라의 사용자 자세와 동일한 동작을 생성시킬 수 있는 것을 확인할 수 있었다. 또한 저장한 정지 이미지에서 하나의 포즈를 선별하여 필요한 장면에 삽입할 수도 있고, 연속 동작에 대하여 비디오로 녹화하여 포즈 선별을 할 수 있다는 점도 확인하였다. 제안한 포즈 생성 방법은 기존의 포즈 투 포즈 방식 애니메이션 포즈 생성에 큰 기여를 할 수 있을 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3182-3198
• /
• 2019

Vision-based Human Pose Estimation has been considered as one of challenging research subjects due to problems including confounding background clutter, diversity of human appearances and illumination changes in scenes. To tackle these problems, we propose to use a new multi-stage convolution machine for estimating human pose. To provide better heatmap prediction of body joints, the proposed machine repeatedly produces multiple predictions according to stages with receptive field large enough for learning the long-range spatial relationship. And stages are composed of various modules according to their strategic purposes. Pyramid stacking module and dilation module are used to handle problem of human pose at multiple scales. Their multi-scale information from different receptive fields are fused with concatenation, which can catch more contextual information from different features. And spatial and channel information of a given input are converted to gating factors by squeezing the feature maps to a single numeric value based on its importance in order to give each of the network channels different weights. Compared with other ConvNet-based architectures, we demonstrated that our proposed architecture achieved higher accuracy on experiments using standard benchmarks of LSP and MPII pose datasets.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.811-812
• /
• 2018

딥러닝 기술의 발전에 따라, 딥러닝을 Human Pose Estimation에 적용하는 연구가 활발하게 수행되고 있다. 본 논문에서는 딥러닝을 이용한 여러 기술 중 가장 활발하게 사용이 되고 있는 Open Pose 와 Deeper Cut 기술의 특성을 분석한다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.174-184
• /
• 2022

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

• 한국컴퓨터정보학회논문지
• /
• 제23권8호
• /
• pp.9-16
• /
• 2018

In this paper, a kidnapping detection scheme in which human pose estimation is used to classify accurately between kidnapping cases and normal ones is proposed. To estimate human poses from input video, human's 10 joint information is extracted by OpenPose library. In addition to the features which are used in the previous study to represent the size change rates and the regularities of human activities, the human pose estimation features which are computed from the location of detected human's joints are used as the features to distinguish kidnapping situations from the normal accompanying ones. A frame-based kidnapping detection scheme is generated according to the selection of J48 decision tree model from the comparison of several representative classification models. When a video has more frames of kidnapping situation than the threshold ratio after two people meet in the video, the proposed scheme detects and notifies the occurrence of kidnapping event. To check the feasibility of the proposed scheme, the detection accuracy of our newly proposed scheme is compared with that of the previous scheme. According to the experiment results, the proposed scheme could detect kidnapping situations more 4.73% correctly than the previous scheme.

• 대한임베디드공학회논문지
• /
• 제15권6호
• /
• pp.281-287
• /
• 2020

In this paper, we propose a method for estimating a walking direction by which a mobile robots follows a person using TRT (Tensor RT) pose, which is motion recognition based on deep learning. Mobile robots can measure individual movements by recognizing key points on the person's pelvis and determine the direction in which the person tries to move. Using these information and the distance between robot and human, the mobile robot can follow the person stably keeping a safe distance from people. The TRT Pose only extracts key point information to prevent privacy issues while a camera in the mobile robot records video. To validate the proposed technology, experiment is carried out successfully where human walks away or toward the mobile robot in zigzag form and the robot continuously follows human with prescribed distance.

• Journal of information and communication convergence engineering
• /
• 제21권4호
• /
• pp.337-345
• /
• 2023

In this study, we formulated a method that evaluates Taekwondo Poomsae performance using a series of choreographed training movements. Despite recent achievements in 3D human pose estimation (HPE) performance, the analysis of human actions remains challenging. In particular, Taekwondo Poomsae action analysis is challenging owing to the absence of time synchronization data and necessity to compare postures, rather than directly relying on joint locations owing to differences in human shapes. To address these challenges, we first decomposed human joint representation into joint rotation (posture) and limb length (body shape), then synchronized a comparison between test and reference pose sequences using DTW (dynamic time warping), and finally compared pose angles for each joint. Experimental results demonstrate that our method successfully synchronizes test action sequences with the reference sequence and reflects a considerable gap in performance between practitioners and professionals. Thus, our method can detect incorrect poses and help practitioners improve accuracy, balance, and speed of movement.