• 방송공학회논문지
• /
• 제27권2호
• /
• pp.174-184
• /
• 2022

3차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다. Human3.6M과 MPI-INF-3DHP 데이터셋을 사용한 실험은 제안하는 방법이 3차원 휴먼 자세 추정을 위한 단시점 모델의 학습에 효과적임을 보여준다.

• 제어로봇시스템학회논문지
• /
• 제22권1호
• /
• pp.8-16
• /
• 2016

In the field of computer vision and robotics, bin picking is an important application area in which object pose estimation is necessary. Different approaches, such as 2D feature tracking and 3D surface reconstruction, have been introduced to estimate the object pose accurately. We propose a new approach where we can use both 2D image features and 3D surface information to identify the target object and estimate its pose accurately. First, we introduce a label detection technique using Maximally Stable Extremal Regions (MSERs) where the label detection results are used to identify the target objects separately. Then, the 2D image features on the detected label areas are utilized to generate 3D surface information. Finally, we calculate the 3D position and the orientation of the target objects using the information of the 3D surface.

• 전자공학회논문지SC
• /
• 제49권4호
• /
• pp.23-35
• /
• 2012

본 논문은 3차원 공간상에 존재하는 타원형 물체의 위치 및 자세 추정 기법을 다룬다. 영상에 투영된 타원특징을 해석하여 원래의 타원에 대한 3차원 자세정보를 구하는 것은 어려운 문제이다. 본 논문은 타원특징의 3차원 정보를 추출하기 위하여, 두개의 공면점을 도입한 위치 및 자세 추정 알고리즘을 제안한다. 제안된 방법은 모델과 영상좌표계에서 각각 정의되는 타원-공면점에 대한 대응쌍이 주어질 때 두 좌표계에 대한 동차변환행렬의 유일해를 결정한다. 타원-공면점은 폴라리티를 기반으로 원근변환에 불변하는 한 쌍의 삼각특징으로 변환되며, 삼각특징들로부터 평면 호모그래피가 추정된다. 카메라 좌표계에 대한 물체 좌표계의 3차원 위치 및 자세 파라미터들은 호모그래피 분해를 통해 계산된다. 제안된 방법은 3차원 자세 및 위치 추정 오차의 분석과 공면점의 위치에 따른 민감도의 분석을 통해 평가된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권2호
• /
• pp.800-816
• /
• 2018

In recent years, video surveillance research has been able to recognize various behaviors of pedestrians and analyze the overall situation of objects by combining image analysis technology and deep learning method. Human Activity Recognition (HAR), which is important issue in video surveillance research, is a field to detect abnormal behavior of pedestrians in CCTV environment. In order to recognize human behavior, it is necessary to detect the human in the image and to estimate the pose from the detected human. In this paper, we propose a novel approach for 2D Human Pose Estimation based on object detection using RGB-D information. By adding depth information to the RGB information that has some limitation in detecting object due to lack of topological information, we can improve the detecting accuracy. Subsequently, the rescaled region of the detected object is applied to ConVol.utional Pose Machines (CPM) which is a sequential prediction structure based on ConVol.utional Neural Network. We utilize CPM to generate belief maps to predict the positions of keypoint representing human body parts and to estimate human pose by detecting 14 key body points. From the experimental results, we can prove that the proposed method detects target objects robustly in occlusion. It is also possible to perform 2D human pose estimation by providing an accurately detected region as an input of the CPM. As for the future work, we will estimate the 3D human pose by mapping the 2D coordinate information on the body part onto the 3D space. Consequently, we can provide useful human behavior information in the research of HAR.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.328-335
• /
• 2022

With the advance of robot capabilities and functionalities, construction robots assisting construction workers have been increasingly deployed on construction sites to improve safety, efficiency and productivity. For close-proximity human-robot collaboration in construction sites, robots need to be aware of the context, especially construction worker's behavior, in real-time to avoid collision with workers. To recognize human behavior, most previous studies obtained 3D human poses using a single camera or an RGB-depth (RGB-D) camera. However, single-camera detection has limitations such as occlusions, detection failure, and sensor malfunction, and an RGB-D camera may suffer from interference from lighting conditions and surface material. To address these issues, this study proposes a novel method of 3D human pose estimation by extracting 2D location of each joint from multiple images captured at the same time from different viewpoints, fusing each joint's 2D locations, and estimating the 3D joint location. For higher accuracy, the probabilistic representation is used to extract the 2D location of the joints, considering each joint location extracted from images as a noisy partial observation. Then, this study estimates the 3D human pose by fusing the probabilistic 2D joint locations to maximize the likelihood. The proposed method was evaluated in both simulation and laboratory settings, and the results demonstrated the accuracy of estimation and the feasibility in practice. This study contributes to ensuring human safety in close-proximity human-robot collaboration by providing a novel method of 3D human pose estimation.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2007년도 하계종합학술대회 논문집
• /
• pp.211-212
• /
• 2007

Pose-variation factors present a significant problem in 2D face recognition. To solve this problem, there are various approaches for a 3D face acquisition system which was able to generate multi-view images. However, this created another pose estimation problem in terms of normalizing the 3D face data. This paper presents a 3D head pose-normalization method using 2D and 3D interaction. The proposed method uses 2D information with the AAM(Active Appearance Model) and 3D information with a 3D normal vector. In order to verify the performance of the proposed method, we designed an experiment using 2.5D face recognition. Experimental results showed that the proposed method is robust against pose variation.

• 한국정보통신학회논문지
• /
• 제14권2호
• /
• pp.469-478
• /
• 2010

본 논문은 3차원 발 자세를 추정하기 위한 효과적 형상 기술자를 제안하였다. 처리 시간을 단축시키기 위하여 특수 제작된 3차원 발 모형을 2차원 투영하여 발 형상 데이터베이스를 구축하고, 3차원 자세 요약정보를 메타 정보로 추가한 2.5차원 영상 데이터베이스를 구성하였다. 그리고 특징 공간 크기가 작고 다른 형상 기술자에 비하여 자세 추정 성능이 뛰어난 수정된 Centroid Contour Distance를 제안하였다. 제안된 기술자의 성능을 분석하기 위하여, 검색 정확도와 시공간 복잡도를 계산하고 기존의 방식들과 비교하였다. 실험 결과를 통하여 제안된 기술자는 특징 추출 시간과 자세 추정 정확도면에서 기존의 방식들보다 효과적인 것으로 나타났다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.1887-1890
• /
• 2003

This paper presents a three-dimensional (3D) head pose estimation algorithm using the stereo image. Given a pair of stereo image, we automatically extract several important facial feature points using the disparity map, the gabor filter and the canny edge detector. To detect the facial feature region , we propose a region dividing method using the disparity map. On the indoor head & shoulder stereo image, a face region has a larger disparity than a background. So we separate a face region from a background by a divergence of disparity. To estimate 3D head pose, we propose a 2D-3D Error Compensated-SVD (EC-SVD) algorithm. We estimate the 3D coordinates of the facial features using the correspondence of a stereo image. We can estimate the head pose of an input image using Error Compensated-SVD (EC-SVD) method. Experimental results show that the proposed method is capable of estimating pose accurately.

• 대한전자공학회논문지SP
• /
• 제40권6호
• /
• pp.31-40
• /
• 2003

대부분의 얼굴인식 시스템은 현재 2차원 영상을 기반으로 많은 분야에 응용되고 있다. 그러나 2차원 얼굴인식 시스템은 심하게 변화된 얼굴 포즈에 강인한 얼굴인식이 매우 어렵다. 이에 얼굴 포즈 추정은 정면 영상이 아닐 경우 인식률 향상을 위한 필수적인 과정이라 할 수 있다. 그러므로, 본 논문은 3차원 얼굴인식을 위한 새로운 얼굴 포즈 추정 방식을 제안한다 먼저 3차원 거리(range) 영상이 입력될 때 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용한다. 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 적용 한 새로운 3차원 얼굴 포즈 추정 방식을 제안한다. 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상한다. 제안 알고리즘은 정규화된 3차원 얼굴 공간에서 추출된 특징점의 기하학적 위치를 이용하여 수행된다. 또한 3차원 얼굴인식을 위하여 3차원 최근접 이웃 분류기를 이용한 데이터베이스내에서 후보 얼굴을 선택하는 방식을 제안한다. 실험 결과를 통해 다양한 얼굴 포즈에 대하여 제안 알고리즘의 효율성과 타당성을 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.