• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권10호
• /
• pp.419-426
• /
• 2022

본 논문에서는 다양한 운동 모션에서 3차원 사람 자세 추정 모델의 정확도를 향상하는 방법을 제안한다. 기존의 사람 자세 추정 모델은 사람의 자세를 추정할 때 좌표 오차를 유발하는 흔들림, 반전, 교환, 오검출 등의 문제가 발생한다. 이러한 문제는 사람 자세 추정 모델의 정확한 자세 추정을 어렵게 한다. 이를 해결하기 위해 본 논문에서는 딥러닝 기반 이상치 검출 및 보정 방법을 제안한다. 딥러닝 기반의 이상치 검출 방법은 여러 모션에서 좌표의 이상치를 효과적으로 검출하고, 모션의 특징을 활용한 규칙 기반 보정 방법을 통해 이상치를 보정한다. 다양한 실험과 분석을 통하여 제안하는 방법이 골프 스윙 모션과 다양한 운동 모션에서도 사람의 자세를 정확히 추정할 수 있고, 3차원 좌표 데이터에서도 확장 가능함을 보인다.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.328-335
• /
• 2022

With the advance of robot capabilities and functionalities, construction robots assisting construction workers have been increasingly deployed on construction sites to improve safety, efficiency and productivity. For close-proximity human-robot collaboration in construction sites, robots need to be aware of the context, especially construction worker's behavior, in real-time to avoid collision with workers. To recognize human behavior, most previous studies obtained 3D human poses using a single camera or an RGB-depth (RGB-D) camera. However, single-camera detection has limitations such as occlusions, detection failure, and sensor malfunction, and an RGB-D camera may suffer from interference from lighting conditions and surface material. To address these issues, this study proposes a novel method of 3D human pose estimation by extracting 2D location of each joint from multiple images captured at the same time from different viewpoints, fusing each joint's 2D locations, and estimating the 3D joint location. For higher accuracy, the probabilistic representation is used to extract the 2D location of the joints, considering each joint location extracted from images as a noisy partial observation. Then, this study estimates the 3D human pose by fusing the probabilistic 2D joint locations to maximize the likelihood. The proposed method was evaluated in both simulation and laboratory settings, and the results demonstrated the accuracy of estimation and the feasibility in practice. This study contributes to ensuring human safety in close-proximity human-robot collaboration by providing a novel method of 3D human pose estimation.

• 대한임베디드공학회논문지
• /
• 제19권1호
• /
• pp.9-17
• /
• 2024

It is widely recognized that for 3D human pose estimation (HPE), dataset acquisition is expensive and the effectiveness of augmentation techniques of conventional visual recognition tasks is limited. We address these difficulties by presenting a simple but effective method that augments input images in terms of viewpoints when training a 3D human pose estimation (HPE) model. Our intuition is that meaningful variants of the input images for HPE could be obtained by viewing a human instance in the images from an arbitrary viewpoint different from that in the original images. The core idea is to synthesize new images that have self-occlusion and thus are difficult to predict at different viewpoints even with the same pose of the original example. We incorporate this idea into the training procedure of the 3D HPE model as an augmentation stage of the input samples. We show that a strategy for augmenting the synthesized example should be carefully designed in terms of the frequency of performing the augmentation and the selection of viewpoints for synthesizing the samples. To this end, we propose a new metric to measure the prediction difficulty of input images for 3D HPE in terms of the distance between corresponding keypoints on both sides of a human body. Extensive exploration of the space of augmentation probability choices and example selection according to the proposed distance metric leads to a performance gain of up to 6.2% on Human3.6M, the well-known pose estimation dataset.

• 스마트미디어저널
• /
• 제13권4호
• /
• pp.16-22
• /
• 2024

투구는 야구의 시작이라 할 만큼 야구에서 주요한 부분을 차지한다. 투구 동작의 정확한 분석은 경기력 향상과 부상 예방 측면에서 매우 중요하다. 올바른 투구 동작을 분석할 때, 현재 주로 사용되는 모션캡처는 환경적으로 치명적인 단점들이 몇 가지 존재한다. 본 논문에서 우리는 이러한 단점들이 존재하는 모션캡처를 대체하기 위하여 RGB 기반의 Human Pose Estimation(HPE) 모델을 활용한 투구 동작의 분석을 제안하며 이에 대한 신뢰도를 검증하기 위해 모션캡처 데이터와 HPE 데이터의 관절 좌표를 Dynamic Time Warping(DTW) 알고리즘의 비교를 통해 두 데이터의 유사도를 검증하였다.

• 인터넷정보학회논문지
• /
• 제21권3호
• /
• pp.113-121
• /
• 2020

Human Pose Estimation (HPE) which localizes the human body joints becomes a high potential for high-level applications in the field of computer vision. The main challenges of HPE in real-time are occlusion, illumination change and diversity of pose appearance. The single RGB image is fed into HPE framework in order to reduce the computation cost by using depth-independent device such as a common camera, webcam, or phone cam. However, HPE based on the single RGB is not able to solve the above challenges due to inherent characteristics of color or texture. On the other hand, depth information which is fed into HPE framework and detects the human body parts in 3D coordinates can be usefully used to solve the above challenges. However, the depth information-based HPE requires the depth-dependent device which has space constraint and is cost consuming. Especially, the result of depth information-based HPE is less reliable due to the requirement of pose initialization and less stabilization of frame tracking. Therefore, this paper proposes a new method of HPE which is robust in estimating self-occlusion. There are many human parts which can be occluded by other body parts. However, this paper focuses only on head self-occlusion. The new method is a combination of the RGB image-based HPE framework and the depth information-based HPE framework. We evaluated the performance of the proposed method by COCO Object Keypoint Similarity library. By taking an advantage of RGB image-based HPE method and depth information-based HPE method, our HPE method based on RGB-D achieved the mAP of 0.903 and mAR of 0.938. It proved that our method outperforms the RGB-based HPE and the depth-based HPE.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권12호
• /
• pp.996-1008
• /
• 2009

본 논문은 뼈대-구조(skeleton) 형태의 Active Shape Models을 이용한 사람의 자세 정합에 대한 새로운 접근 방법을 제안한다. 제안된 방법은 모델 생성과 정합 과정에서의 빠른 수행 시간을 위해 기존 윤곽 형태(silhouette)의 모델이 아닌 뼈대-구조 형태의 모델을 적용하였다. 기존 Active Shape Models을 뼈대-구조 형태로 사람 자세 정합에 적용했을 경우 자세를 결정짓는 팔과 다리의 부정확한 정합은 사람 몸의 다양한 색상 정보와 전후(fore-rear direction)만을 고려한 특징점(landmark)의 방향정보로 인해 발생되며, 이러한 문제점은 입력 영상의 차영상 정보와 사람의 자세를 결정짓는 팔과 다리의 중요 특징점에 방향정보를 추가하여 해결하였다. 사람의 뼈대-구조 모델을 생성하기 위해 600개의 이미지를 사용 하였으며, 생성된 형태 모델은 사람의 자세에 정합될 수 있는 17개의 특징점을 포함한다. 정합 과정에서 최대 30번 이하의 반복 과정을 수행 하며, 최대 수행 시간은 0.03초로 빠른 수행 시간의 결과를 얻었다.

• 대한인간공학회지
• /
• 제19권1호
• /
• pp.77-90
• /
• 2000

The aim of this study is to develop and evaluate an efficient camera calibration method for vision-based head tracking. Tracking head movements is important in the design of an eye-controlled human/computer interface. A vision-based head tracking system was proposed to allow the user's head movements in the design of the eye-controlled human/computer interface. We proposed an efficient camera calibration method to track the 3D position and orientation of the user's head accurately. We also evaluated the performance of the proposed method. The experimental error analysis results showed that the proposed method can provide more accurate and stable pose (i.e. position and orientation) of the camera than the conventional direct linear transformation method which has been used in camera calibration. The results of this study can be applied to the tracking head movements related to the eye-controlled human/computer interface and the virtual reality technology.

• 한국산학기술학회논문지
• /
• 제11권7호
• /
• pp.2579-2585
• /
• 2010

본 논문은 단안 카메라로부터 입력된 영상에서 모션 기반의 검색을 사용한 동적인 사람 자세 추적 방법을 제안한다. 제안된 방법은 3차원 공간에서 하나의 사람 자세 후보를 생성하고, 생성된 자세 후보를 2차원 이미지 공간으로 투영하여, 투영된 사람 자세 후보와 입력 이미지와의 특징 값 유사성을 비교한다. 이 과정을 정해진 조건을 만족 할 때까지 반복하여 이미지와의 유사성과, 신체 부분간 연결성이 가장 좋은 3차원 자세를 추정한다. 제안된 방법에서는 입력 이미지에 적합한 3차원 자세를 검색할 때, 2차원 영상에서 추정된 신체 각 부분들의 모션 정보를 사용해 검색 공간을 정하고 정해진 검색 공간에서 탐색하여 사람의 자세를 추정한다. 2차원 이미지 모션은 비교적 높은 제약이 있어서 검색 공간을 의미있게 줄일 수 있다. 이 방법은 모션 추정이 검색 공간을 효율적으로 할당 해주고, 자세 추적이 여러 가지 다양한 모션에 적응할 수 있다는 장점을 가진다

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 스마트미디어저널
• /
• 제1권2호
• /
• pp.40-46
• /
• 2012

본 논문은 비전 기반 신체 제스처 인식 결과를 입력인터페이스로 사용하는 상호작용 콘텐츠에 대해 기술한다. 제작된 콘텐츠 는 아시아의 공통문화요소인 도깨비를 소재로 사용하여 지역 문화에 친숙하게 접근할 수 있도록 하였다. 그리고 콘텐츠를 구성 하는 시나리오는 도깨비와의 결투장면에서 사용자의 제스처 인식을 통해 결투를 진행하므로 사용자는 자연스럽게 콘텐츠 시나리오에 몰입할 수 있다. 시나리오의 후반부에서는 사용자는 시간과 공간이 다른 다중의 결말을 선택할 수 있다. 신체 제스처 인식 부분에서는 키넥트(KINECT)를 통해 얻을 수 있는 각 신체 부분의 3차원좌표를 이용하여 정지동작인 포즈를 활용한다. 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 인간이 사용하는 제스처는 정지동작인 포즈들의 연속적인 동작을 통해 표현이 가능하므로 HMM을 이용하여 정지동작 포즈들로 구성된 제스처를 인식하였다. 본 논문에서 기술한 체험형 콘텐츠는 사용자가 부가적인 장치의 사용 없이 제스처 인식 결과를 입력인터페이스로 사용하였으며 사용자의 몸동작만으로 자연스럽게 콘텐츠를 조작할 수 있도록 해준다. 본 논문에서 기술한 체험형 콘텐츠는 평소 접하기 어려운 도깨비를 이용하여 사용자와 실시간 상호작용이 가능케 함으로써 몰입도와 재미를 향상시키고자 하였다.