• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.303-310
• /
• 2023

A single vision system limits the ability to accurately understand the spatial constraints and interactions between robots and dynamic workers caused by gantry robots and collaborative robots during production manufacturing. In this paper, we propose a 3D pose registration method for dynamic workers based on a multi-domain vision system for safety monitoring in manufacturing environments. This method uses OpenPose, a deep learning-based posture estimation model, to estimate the worker's dynamic two-dimensional posture in real-time and reconstruct it into three-dimensional coordinates. The 3D coordinates of the reconstructed multi-domain vision system were aligned using the ICP algorithm and then registered to a single 3D coordinate system. The proposed method showed effective performance in a manufacturing process environment with an average registration error of 0.0664 m and an average frame rate of 14.597 per second.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.200-204
• /
• 2008

본 논문에서는 지능형 무인 운송 시스템의 위치 인식 문제를 풀기 위한 방법으로, 실외 환경에서 보이는 건물 혹은 건물 입구의 상대적 위치와 자세 추정이 가능한 파티클 필터 기반 3 차원 물체 인식 방법을 제안한다. 제안하는 파티클 필터에 기반한 인식 시스템은 다양한 인식 증거들을 연속 영상에서 융합 및 모델 매칭을 함으로써 강인한 3 차원 물체 인식 및 자세 추정이 가능하다. 제안하는 방법은, 적합한 인식 증거들을 수집/선택하고, 다양한 인식 증거들로 부터 나타나는 인식 대상의 자세를 3 차원 공간상의 확률적인 파티클로 표현하며, 파티클 필터링을 통하여 연속 영상 상의 다양한 인식 증거들을 융합하는 것을 특징으로 한다. 스테레오 카메라를 이용한 실험을 통하여, 제안하는 방법이 실외 건물의 기하학적 특정을 인식 증거로 활용한 효율적인 3 차원 인식 및 자세 추정을 수행하는 것은 보여준다.

• Journal of Electrical Engineering and Technology
• /
• 제12권6호
• /
• pp.2388-2398
• /
• 2017

In this study, we propose a robust face recognition system to pose variations based on automatic pose estimation. Radial basis function neural network is applied as one of the functional components of the overall face recognition system. The proposed system consists of preprocessing and recognition modules to provide a solution to pose variation and high-dimensional pattern recognition problems. In the preprocessing part, principal component analysis (PCA) and 2-dimensional 2-directional PCA ($(2D)^2$ PCA) are applied. These functional modules are useful in reducing dimensionality of the feature space. The proposed RBFNNs architecture consists of three functional modules such as condition, conclusion and inference phase realized in terms of fuzzy "if-then" rules. In the condition phase of fuzzy rules, the input space is partitioned with the use of fuzzy clustering realized by the Fuzzy C-Means (FCM) algorithm. In conclusion phase of rules, the connections (weights) are realized through four types of polynomials such as constant, linear, quadratic and modified quadratic. The coefficients of the RBFNNs model are obtained by fuzzy inference method constituting the inference phase of fuzzy rules. The essential design parameters (such as the number of nodes, and fuzzification coefficient) of the networks are optimized with the aid of Particle Swarm Optimization (PSO). Experimental results completed on standard face database -Honda/UCSD, Cambridge Head pose, and IC&CI databases demonstrate the effectiveness and efficiency of face recognition system compared with other studies.

• 스마트미디어저널
• /
• 제6권3호
• /
• pp.49-56
• /
• 2017

Images and Videos that include the human face contain a lot of information. Therefore, accurately extracting human face is a very important issue in the field of computer vision. However, in real life, human faces have various shapes and textures. To adapt to these variations, A model-based approach is one of the best ways in which unknown data can be represented by the model in which it is built. However, the model-based approach has its weaknesses when the motion between two frames is big, it can be either a sudden change of pose or moving with fast speed. In this paper, we propose an enhanced human face-tracking model. This approach included human face detection and motion estimation using Cascaded Convolutional Neural Networks, and continuous human face tracking and modeling correction steps using the Active Appearance Model. A proposed system detects human face in the first input frame and initializes the models. On later frames, Cascaded CNN face detection is used to estimate the target motion such as location or pose before applying the old model and fit new target.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권5호
• /
• pp.187-194
• /
• 2021

사람의 행동인식(Action Recognition)은 사람의 관절 움직임에 따라 어떤 행동을 하는지 인식하는 것이다. 이를 위해서 영상처리에 활용되는 컴퓨터 비전 태스크를 활용하였다. 사람의 행동인식은 딥러닝과 CCTV를 결합한 안전사고 대응서비스로서 안전관리 현장 내에서도 적용될 수 있다. 기존연구는 딥러닝을 활용하여 사람의 관절 키포인트 추출을 통한 행동인식 연구가 상대적으로 부족한 상태이다. 또한 안전관리 현장에서 작업자를 지속적이고 체계적으로 관리하기 어려운 문제점도 있었다. 본 논문에서는 이러한 문제점들을 해결하기 위해 관절 키포인트와 관절 움직임 정보만을 이용하여 위험 행동을 인식하는 방법을 제안하고자 한다. 자세추정방법(Pose Estimation)의 하나인 AlphaPose를 활용하여 신체 부위의 관절 키포인트를 추출하였다. 추출된 관절 키포인트를 LSTM(Long Short-Term Memory) 모델에 순차적으로 입력하여 연속적인 데이터로 학습을 하였다. 행동인식 정확률을 확인한 결과 "누워있기(Lying Down)" 행동인식 결과의 정확도가 높음을 확인할 수 있었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권12호
• /
• pp.509-516
• /
• 2022

3차원 공간에서 물체들의 정확한 자세 예측은 실내외 환경에서 장면 이해, 로봇의 물체 조작, 자율 주행, 증강 현실 등과 같은 많은 응용 분야들에서 폭넓게 활용되는 중요한 시각 인식 기술이다. 물체들의 자세 예측을 위한 과거 연구들은 대부분 각 인식 대상 물체마다 정확한 3차원 CAD 모델을 요구한다는 한계점이 있었다. 이러한 과거 연구들과는 달리, 본 논문에서는 3차원 CAD 모델이 없어도 RGB 컬러 영상들만 이용해서 미지 물체들의 자세를 예측해낼 수 있는 새로운 신경망 모델을 제안한다. 제안 모델은 적응형 깊이 추정기인 AdaBins를 이용하여 스스로 미지 물체 자세 예측에 필요한 각 물체의 깊이 지도를 효과적으로 추정해낼 수 있다. 벤치마크 데이터 집합들을 이용한 다양한 실험들을 통해, 본 논문에서 제안한 모델의 유용성과 성능을 평가한다.

• 로봇학회논문지
• /
• 제3권1호
• /
• pp.33-41
• /
• 2008

Based on object recognition technology, we present a new global localization method for robot navigation. For doing this, we model any indoor environment using the following visual cues with a stereo camera; view-based image features for object recognition and those 3D positions for object pose estimation. Also, we use the depth information at the horizontal centerline in image where optical axis passes through, which is similar to the data of the 2D laser range finder. Therefore, we can build a hybrid local node for a topological map that is composed of an indoor environment metric map and an object location map. Based on such modeling, we suggest a coarse-to-fine strategy for estimating the global localization of a mobile robot. The coarse pose is obtained by means of object recognition and SVD based least-squares fitting, and then its refined pose is estimated with a particle filtering algorithm. With real experiments, we show that the proposed method can be an effective vision- based global localization algorithm.

• 대한임베디드공학회논문지
• /
• 제15권6호
• /
• pp.281-287
• /
• 2020

In this paper, we propose a method for estimating a walking direction by which a mobile robots follows a person using TRT (Tensor RT) pose, which is motion recognition based on deep learning. Mobile robots can measure individual movements by recognizing key points on the person's pelvis and determine the direction in which the person tries to move. Using these information and the distance between robot and human, the mobile robot can follow the person stably keeping a safe distance from people. The TRT Pose only extracts key point information to prevent privacy issues while a camera in the mobile robot records video. To validate the proposed technology, experiment is carried out successfully where human walks away or toward the mobile robot in zigzag form and the robot continuously follows human with prescribed distance.

• 한국정보통신학회논문지
• /
• 제25권9호
• /
• pp.1183-1189
• /
• 2021

홈 트레이닝을 하는 사람들은 전문적인 대면 지도가 없기 때문에 잘못된 자세로 동작을 하여 신체에 무리가 올 수 있다. 본 연구에서는 자세 예측 모델과 다층 퍼셉트론을 이용하여 사용자의 자세를 교정 해주는 "영상 데이터 기반 동작 분류 및 자세 교정 시스템"을 제안한다. 자세 예측 모델로 뼈대 정보를 예측한 후 심층 신경망을 이용하여 어떤 운동 동작인지를 분류한 뒤, 올바른 관절의 각도를 알려주며 교정이 이루어진다. 이 과정에서 동작 분류 모델의 성능을 향상시키기 위해 연속적인 프레임들의 결과를 고려하는 투표 알고리즘을 적용하였다. 다층 퍼셉트론 기반 모델을 자세 분류 모델로 사용했을 때 0.9의 정확도를 가진다. 그리고 투표 알고리즘을 통해 분류 모델의 정확도는 0.93으로 향상된다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.189-196
• /
• 2024

지능형 선별 관제 시스템의 잦은 오탐지로 인해 관제 요원들의 업무 능률 및 시장 신뢰도 저하 문제가 꾸준히 보고되고 있다. 오탐지 문제 개선을 위해 새 AI 모델을 개발하거나 교체하는 것은 기회비용이 크므로, 훈련 데이터 세트 품질을 향상하여 문제를 개선하는 것이 현실적이다. 그러나 소규모 조직은 데이터 세트 수집 및 정제 역량이 부족한 실정이다. 이에 본 논문에서는 사람 자세 추정 모델을 중심으로 엣지 디바이스와 카메라 센서 퓨전을 활용한 사람 자세 데이터 자동 수집 시스템을 제안한다. 이 시스템은 네트워크 말단에서 현장 데이터를 직접 수집하고 레이블링하는 과정을 실시간으로 처리하도록 만들어, 중앙으로 집중되는 연산 부하를 분산시킨다. 또한 현장 데이터를 직접 레이블링하므로 새로운 훈련 데이터 구축에 도움을 준다.