• 방송공학회논문지
• /
• 제27권2호
• /
• pp.174-184
• /
• 2022

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.949-959
• /
• 2013

Since the recent launch of Microsoft Xbox Kinect, research on 3D human pose estimation has attracted a lot of attention in the computer vision community. Kinect shows impressive estimation accuracy and real-time performance on massive graphics processing unit hardware. In this paper, we focus on further reducing the computation complexity of the existing state-of-the-art method to make the real-time 3D human pose estimation functionality applicable to devices with lower computing power. As a result, we propose two simple approaches to speed up the random-forest-based human pose estimation method. In the original algorithm, the random forest classifier is applied to all pixels of the segmented human depth image. We first use a multi-scale approach to reduce the number of such calculations. Second, the complexity of the random forest classification itself is decreased by the proposed cascade approach. Experiment results for real data show that our method is effective and works in real time (30 fps) without any parallelization efforts.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.277-278
• /
• 2021

최근 손동작 인식에 대한 연구들이 활발하다. 하지만 대부분 Depth 정보를 포함한3D 정보를 필요로 한다. 이는 기존 연구들이 Depth 카메라 없이는 동작하지 않는다는 한계점이 있다는 것을 의미한다. 본 프로젝트는 Depth 카메라를 사용하지 않고 2D 이미지에서 Hand Keypoint Detection을 통해 손동작 인식을 하는 방법론을 제안한다. 학습 데이터 셋으로 Facebook에서 제공하는 InterHand2.6M 데이터셋[1]을 사용한다. 제안 방법은 크게 두 단계로 진행된다. 첫째로, Object Detection으로 Hand Detection을 수행한다. 데이터 셋이 어두운 배경에서 촬영되어 실 사용 환경에서 Detection 성능이 나오지 않는 점을 해결하기 위한 이미지 합성 Augmentation 기법을 제안한다. 둘째로, Keypoint Detection으로 21개의 Hand Keypoint들을 얻는다. 실험을 통해 유의미한 벡터들을 생성한 뒤 Annoy (Approximate nearest neighbors Oh Yeah) Tree를 생성한다. 생성된 Annoy Tree들로 후처리 작업을 거친 뒤 최종 Pose Estimation을 완료한다. Annoy Tree를 사용한 Pose Estimation에서는 NN(Neural Network)을 사용한 것보다 빠르며 동등한 성능을 냈다.

• 사물인터넷융복합논문지
• /
• 제10권5호
• /
• pp.19-26
• /
• 2024

본 연구는 제조 분야에서 산업용 로봇을 이용하여 빈 피킹을 구현할 때, 쉽고, 빠르고, 상대적으로 저렴한 비용의 6D 자세 추정 방법을 제시하고 검증하였다. 상세하게는 산업용 로봇과 2D 카메라를 연동하여 ①객체의 다시점 이미지를 획득하고 학습 데이터를 수집하는 방법, ②수집된 데이터에서 변수를 선택하고 선형 회귀 모델을 구현하는 방법, ③학습된 모델을 산업용 로봇에 적용하여 객체의 6D 자세를 추정, 검증 및 평가하는 방법을 제시하였다. 제시된 데이터 수집 방법과 구현된 선형 회귀 모델은 통계적으로 유의한 결과를 보였으며, 추정된 6D 자세는 참값 검증과 산업용 로봇 적용 평가에서 그 타당성을 확인할 수 있었다. 이미지를 직접 입력하는 대신 이미지에서 추출한 특징점 정보를 회귀 모델의 입력으로 사용함으로써 데이터의 크기를 줄이고 로봇에 직접 임베딩(embedding) 할 수 있었다. 본 연구는 3D 공간의 좌표 문제를 기하학이나 컴퓨터 비전의 관점이 아닌 데이터 분석의 관점에서 접근하였다.

• 대한임베디드공학회논문지
• /
• 제19권1호
• /
• pp.9-17
• /
• 2024

It is widely recognized that for 3D human pose estimation (HPE), dataset acquisition is expensive and the effectiveness of augmentation techniques of conventional visual recognition tasks is limited. We address these difficulties by presenting a simple but effective method that augments input images in terms of viewpoints when training a 3D human pose estimation (HPE) model. Our intuition is that meaningful variants of the input images for HPE could be obtained by viewing a human instance in the images from an arbitrary viewpoint different from that in the original images. The core idea is to synthesize new images that have self-occlusion and thus are difficult to predict at different viewpoints even with the same pose of the original example. We incorporate this idea into the training procedure of the 3D HPE model as an augmentation stage of the input samples. We show that a strategy for augmenting the synthesized example should be carefully designed in terms of the frequency of performing the augmentation and the selection of viewpoints for synthesizing the samples. To this end, we propose a new metric to measure the prediction difficulty of input images for 3D HPE in terms of the distance between corresponding keypoints on both sides of a human body. Extensive exploration of the space of augmentation probability choices and example selection according to the proposed distance metric leads to a performance gain of up to 6.2% on Human3.6M, the well-known pose estimation dataset.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.41-51
• /
• 2018

최근 영상 감시 분야에서는 지능형 영상 감시 시스템에 딥 러닝 기반 학습 방법이 적용되어 범죄, 화재, 이상 현상과 같은 다양한 이벤트들을 강건하게 탐지 할 수 있게 되었다. 그러나 3차원 실세계를 2차원 영상으로 투영시키면서 발생하는 3차원 정보의 손실로 인하여 폐색 문제가 발생하기 때문에 올바르게 객체를 탐지하고, 자세를 추정하기 위해서는 폐색 문제를 고려하는 것이 필요하다. 따라서 본 연구에서는 기존 RGB 정보에 깊이 정보를 추가하여 객체 탐지 과정에서 나타나는 폐색 문제를 해결하여 움직이는 객체를 탐지하고, 탐지된 영역에서 컨볼루션 신경망을 이용하여 인간의 관절 부위인 14개의 키포인트의 위치를 예측한다. 그 다음 자세 추정 과정에서 발생하는 자가 폐색 문제를 해결하기 위하여 2차원 키포인트 예측 결과와 심층 신경망을 이용하여 자세 추정의 범위를 3차원 공간상으로 확장함으로써 3차원 인간 자세 추정 방법을 설명한다. 향후, 본 연구의 2차원 및 3차원 자세 추정 결과는 인간 행위 인식을 위한 용이한 데이터로 사용되어 산업 기술 발달에 기여 할 수 있다.

• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.303-310
• /
• 2023

A single vision system limits the ability to accurately understand the spatial constraints and interactions between robots and dynamic workers caused by gantry robots and collaborative robots during production manufacturing. In this paper, we propose a 3D pose registration method for dynamic workers based on a multi-domain vision system for safety monitoring in manufacturing environments. This method uses OpenPose, a deep learning-based posture estimation model, to estimate the worker's dynamic two-dimensional posture in real-time and reconstruct it into three-dimensional coordinates. The 3D coordinates of the reconstructed multi-domain vision system were aligned using the ICP algorithm and then registered to a single 3D coordinate system. The proposed method showed effective performance in a manufacturing process environment with an average registration error of 0.0664 m and an average frame rate of 14.597 per second.

• 대한전자공학회논문지SP
• /
• 제40권6호
• /
• pp.31-40
• /
• 2003

대부분의 얼굴인식 시스템은 현재 2차원 영상을 기반으로 많은 분야에 응용되고 있다. 그러나 2차원 얼굴인식 시스템은 심하게 변화된 얼굴 포즈에 강인한 얼굴인식이 매우 어렵다. 이에 얼굴 포즈 추정은 정면 영상이 아닐 경우 인식률 향상을 위한 필수적인 과정이라 할 수 있다. 그러므로, 본 논문은 3차원 얼굴인식을 위한 새로운 얼굴 포즈 추정 방식을 제안한다 먼저 3차원 거리(range) 영상이 입력될 때 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용한다. 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 적용 한 새로운 3차원 얼굴 포즈 추정 방식을 제안한다. 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상한다. 제안 알고리즘은 정규화된 3차원 얼굴 공간에서 추출된 특징점의 기하학적 위치를 이용하여 수행된다. 또한 3차원 얼굴인식을 위하여 3차원 최근접 이웃 분류기를 이용한 데이터베이스내에서 후보 얼굴을 선택하는 방식을 제안한다. 실험 결과를 통해 다양한 얼굴 포즈에 대하여 제안 알고리즘의 효율성과 타당성을 검증하였다.

• 한국인터넷방송통신학회논문지
• /
• 제21권6호
• /
• pp.105-109
• /
• 2021

본 논문에서는 Boosted 3-D PCA 방법을 데이터 세트로 평가하고 성능을 평가한다. 그런 다음 네트워크의 특징과 성능을 분석하겠습니다. 본 논문에서는 Boosted 3-D PCA 학습방법을 사용하여 300W-LP 데이터 학습을 수행했으며 AFLW2000 데이터 세트를 사용하여 평가를 평가했다. 결과는 이 성능 결과는 기존 랜드마크 대 포즈 방법보다 자유롭게 얼굴 이미지의 데이터 세트를 사용하여 학습할 수 있으므로 실제 상황에서 포즈를 정확하게 예측할 수 있다. 키포인트 세트의 최적화는 독립적이지 않기 때문에, 우리는 계산 시간을 줄일 방법을 확인했다. 이 방법은 Boosted 3-D PCA 성능을 향상시키거나 다양한 애플리케이션 도메인에 적용하는 데 매우 중요한 자원이 될 것으로 예상한다

• 한국군사과학기술학회지
• /
• 제18권3호
• /
• pp.226-233
• /
• 2015

Pose estimation is an important operation for many vision tasks. This paper presents a method of estimating the camera pose, using a known landmark for the purpose of autonomous vertical takeoff and landing(VTOL) unmanned aerial vehicle(UAV) landing. The proposed method uses a distinctive methodology to solve the pose estimation problem. We propose to combine extrinsic parameters from known and unknown 3-D(three-dimensional) feature points, and inertial estimation of camera 6-DOF(Degree Of Freedom) into one linear inhomogeneous equation. This allows us to use singular value decomposition(SVD) to neatly solve the given optimization problem. We present experimental results that demonstrate the ability of the proposed method to estimate camera 6DOF with the ease of implementation.