• 제목/요약/키워드: Model-based pose estimation

검색결과 95건 처리시간 0.029초

Skeleton Keypoints를 활용한 CNN3D 기반의 버스 승객 승하차 예측모델 (CNN3D-Based Bus Passenger Prediction Model Using Skeleton Keypoints)

  • 장진;김수형
    • 스마트미디어저널
    • /
    • 제11권3호
    • /
    • pp.90-101
    • /
    • 2022
  • 버스는 대중적으로 많이 이용되는 교통수단이다. 그만큼 승객의 안전관리를 위해 철저한 대비가 필요하다. 하지만 2018년 승차하기 위해 접근하는 노인을 인지하지 못하고 버스가 출발하면서 사망사고가 발생하는 등 안전 시스템이 미흡한 상황이다. 기존에 뒷문 계단 쪽 센서를 통해 끼임 사고를 방지하는 안전 시스템은 있지만, 이러한 시스템은 위 사고처럼 승하차하려는 과정에서 발생하는 사고를 예방하진 못한다. 버스 승객의 승하차 의도를 예측할 수 있다면, 위와 같은 사고를 예방하는 안전 시스템 개발에 도움이 될 것이다. 그러나 승객의 승하차 의도를 예측하는 연구는 부족한 상태이다. 따라서 본 논문에서는 버스에 부착된 카메라 영상에서 UDP-Pose를 통해 승객의 skeleton keypoints를 추출하고, 이를 활용한 1×1 CNN3D 기반의 버스 승객 승하차 의도를 예측하는 모델을 제안한다. 제안한 모델은 승객의 승하차 의도를 예측하는 부분에서 RNN, LSTM 모델보다 약 1~2% 높은 정확도를 보여준다.

자율 주행 로봇의 확률론적 자기 위치 추정기법을 위해 거리 센서를 이용한 센서 모델 설계 (Sensor Model Design of Range Sensor Based Probabilistic Localization for the Autonomous Mobile Robot)

  • 김경록;정우진;김문상
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.27-29
    • /
    • 2004
  • This paper presents a sensor model design based on Monte Carlo Localization method. First, we define the measurement error of each sample using a map matching method by 2-D laser scanners and a pre-constructed grid-map of the environment. Second, samples are assigned probabilities due to matching errors from the gaussian probability density function considered of the sample's convergence. Simulation using real environment data shows good localization results by the designed sensor model.

  • PDF

The Methodology of the Golf Swing Similarity Measurement Using Deep Learning-Based 2D Pose Estimation

  • Jonghyuk, Park
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권1호
    • /
    • pp.39-47
    • /
    • 2023
  • 본 논문에서는 골프 동영상 속 스윙 자세 사이의 유사도를 측정할 수 있는 방법을 제안한다. 딥러닝 기반 인공지능 기술이 컴퓨터 비전 분야에 효과적인 것이 알려지면서 동영상을 기반으로 한 스포츠 데이터 분석에 인공지능을 활용하기 위한 시도가 증가하고 있다. 본 연구에서는 딥러닝 기반의 자세 추정 모델을 사용하여 골프 스윙 동영상 속 사람의 관절 좌표를 획득하였고, 이를 바탕으로 각 스윙 구간별 유사도를 측정하였다. 제안한 방법의 평가를 위해 GolfDB 데이터셋의 Driver 스윙 동영상을 활용하였다. 총 36명의 선수에 대해 스윙 동영상들을 두 개씩 짝지어 스윙 유사도를 측정한 결과, 본인의 또 다른 스윙이 가장 유사하다고 평가한 경우가 26명이었으며, 이때의 유사도 평균 순위는 약 5위로 확인되었다. 이로부터 비슷한 동작을 수행하고 있는 경우에도 면밀히 유사도를 측정하는 것이 가능함을 확인할 수 있었다.

High Accuracy Skeleton Estimation using 3D Volumetric Model based on RGB-D

  • Kim, Kyung-Jin;Park, Byung-Seo;Kang, Ji-Won;Kim, Jin-Kyum;Kim, Woo-Suk;Kim, Dong-Wook;Seo, Young-Ho
    • 방송공학회논문지
    • /
    • 제25권7호
    • /
    • pp.1095-1106
    • /
    • 2020
  • In this paper, we propose an algorithm that extracts a high-precision 3D skeleton using a model generated using a distributed RGB-D camera. When information about a 3D model is extracted through a distributed RGB-D camera, if the information of the 3D model is used, a skeleton with higher precision can be obtained. In this paper, in order to improve the precision of the 2D skeleton, we find the conditions to obtain the 2D skeleton well using the PCA. Through this, high-quality 2D skeletons are obtained, and high-precision 3D skeletons are extracted by combining the information of the 2D skeletons. Even though this process goes through, the generated skeleton may have errors, so we propose an algorithm that removes these errors by using the information of the 3D model. We were able to extract very high accuracy skeletons using the proposed method.

시내버스 승하차 의도분석 기반 사고방지 AI 시스템 연구 (A study on accident prevention AI system based on estimation of bus passengers' intentions)

  • 박성환;변선오;박정훈
    • 스마트미디어저널
    • /
    • 제12권11호
    • /
    • pp.57-66
    • /
    • 2023
  • 본 논문에서는 시내버스 내 CCTV 시스템을 활용, 비전AI 기반의 승하차 승객 의도를 예측하여 사고방지가 가능한 시스템에 대해 연구한 내용을 기술한다. 본 시스템은 YOLOv7 Pose 모델과 Object Tracking 기술을 활용하여 버스 내부의 승객을 감지하고 추적하며, LSTM 모델을 활용하여 승객의 승하차 여부를 예측한다. 시스템은 버스 내 CCTV 단말기 상에 설치 가능하여 운전 중 어느 때에나 승하차 여부 예측 결과를 시각적으로 확인할 수 있으며, 운전자에게 자동 알람을 주어 승하차 시 일어날 수 있는 사고를 예방할 수 있다. 테스트 결과, 승객의 승차 의도를 분석하는 채널 A와 하차 의도를 예측하는 채널 C에서 각각 0.81과 0.79의 정확도를 달성하였으며, 실시간성을 보장하기 위해 GPU 환경에서 초당 최소 5 프레임 이상의 분석이 가능하다는 것을 확인하였다. 본 알고리즘을 통해 시내버스 운행 중의 승객 승하차 과정을 모니터링하고, 그 안전과 편의성에 도움을 줄 것으로 생각된다. 추후 하드웨어가 발전하고, DB를 통해 데이터가 많이 수집된다면, 이 또한 다양한 안전 관련 지표로의 확장이 가능할 것이다. 더불어 본 알고리즘은 추후 자율주행 버스 상용화 시, 인간을 대신하여 승객 안전에 더욱 핵심적인 역할을 수행할 것이라 생각되며, 기타 지하철 및 승객이 내리고 탈 수 있는 모든 대중교통 환경에의 확장 또한 가능하여 대중교통의 안전화에 도움을 줄 것으로 생각한다.

HSFE Network and Fusion Model based Dynamic Hand Gesture Recognition

  • Tai, Do Nhu;Na, In Seop;Kim, Soo Hyung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권9호
    • /
    • pp.3924-3940
    • /
    • 2020
  • Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

Facial Feature Extraction with Its Applications

  • Lee, Minkyu;Lee, Sangyoun
    • Journal of International Society for Simulation Surgery
    • /
    • 제2권1호
    • /
    • pp.7-9
    • /
    • 2015
  • Purpose In the many face-related application such as head pose estimation, 3D face modeling, facial appearance manipulation, the robust and fast facial feature extraction is necessary. We present the facial feature extraction method based on shape regression and feature selection for real-time facial feature extraction. Materials and Methods The facial features are initialized by statistical shape model and then the shape of facial features are deformed iteratively according to the texture pattern which is selected on the feature pool. Results We obtain fast and robust facial feature extraction result with error less than 4% and processing time less than 12 ms. The alignment error is measured by average of ratio of pixel difference to inter-ocular distance. Conclusion The accuracy and processing time of the method is enough to apply facial feature based application and can be used on the face beautification or 3D face modeling.

객체추적을 위한 웨이블릿 기반 계층적 능동형태 모델 (Wavelet transform-based hierarchical active shape model for object tracking)

  • 기현종;신정호;이성원;백준기
    • 한국통신학회논문지
    • /
    • 제29권11C호
    • /
    • pp.1551-1563
    • /
    • 2004
  • 여기는 본 논문에서는 움직이는 물체 추적을 위한 윤곽선 및 형태 파라미터 추출을 위해 웨이블릿 변환을 이용한 능동형태모델의 계층적인 접근방법에 대해 제안한다. 능동형태 모델의 여러 단계 중 지역구조 모델링은 비정형 객체의 형태를 추출하기 위해 가장 중요한 비중을 차지한다. 제안한 알고리듬은 웨이블릿을 이용하여 계층적인 접근은 물론 지역구조 모델링단계를 웨이블릿 대역 분할을 이용하여 복잡한 환경에서의 객체를 강건하게 추적할 수 있도록 하였다. 또한 비정형객체를 실시간 비디오 추적에 이용하기 위해 웨이블릿을 이용한 계층적 움직임 추정방법을 적용하여 객체의 움직임을 예측, 보정하는 효과적인 방법을 제시하였다. 제안하는 알고리듬은 객체 추적에 대한 성능을 평가하기 위해 다양한 실험영상을 통해 우수함을 확인하였다.

증강현실 캐릭터 구현을 위한 AI기반 객체인식 연구 (AI-Based Object Recognition Research for Augmented Reality Character Implementation)

  • 이석환;이정금;심현
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1321-1330
    • /
    • 2023
  • 본 연구는 증강현실에서 적용할 캐릭터 생성에서 단일 이미지를 통해 여러 객체에 대한 3D 자세 추정 문제를 연구한다. 기존 top-down 방식에서는 이미지 내의 모든 객체를 먼저 감지하고, 그 후에 각각의 객체를 독립적으로 재구성한다. 문제는 이렇게 재구성된 객체들 사이의 중첩이나 깊이 순서가 불일치 하는 일관성 없는 결과가 발생할 수 있다. 본 연구의 목적은 이러한 문제점을 해결하고, 장면 내의 모든 객체에 대한 일관된 3D 재구성을 제공하는 단일 네트워크를 개발하는 것이다. SMPL 매개변수체를 기반으로 한 인체 모델을 top-down 프레임워크에 통합이 중요한 선택이 되었으며, 이를 통해 거리 필드 기반의 충돌 손실과 깊이 순서를 고려하는 손실 두 가지를 도입하였다. 첫 번째 손실은 재구성된 사람들 사이의 중첩을 방지하며, 두 번째 손실은 가림막 추론과 주석이 달린 인스턴스 분할을 일관되게 렌더링하기 위해 객체들의 깊이 순서를 조정한다. 이러한 방법은 네트워크에 이미지의 명시적인 3D 주석 없이도 깊이 정보를 제공하게 한다. 실험 결과, 기존의 Interpenetration loss 방법은 MuPoTS-3D가 114, PoseTrack이 654에 비해서 본 연구의 방법론인 Lp 손실로 네트워크를 훈련시킬 때 MuPoTS-3D가 34, PoseTrack이 202로 충돌수가 크게 감소하는 것으로 나타났다. 본 연구 방법은 표준 3D 자세벤치마크에서 기존 방법보다 더 나은 성능을 보여주었고, 제안된 손실들은 자연 이미지에서 더욱 일관된 재구성을 실현하게 하였다.

A Krein Space Approach for Robust Extended Kalman Filtering on Mobile Robots in the Presence of Uncertainties

  • Jin, Seung-Hee;Park, Jin-Bae
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.1771-1776
    • /
    • 2003
  • In mobile robot navigation, one of the key problems is the pose estimation of the mobile robot. Although the odometry can be used to describe the motions of the mobile robots quite simple and accurately, the validities of the models are limited by a number of error sources contaminating the encoder outputs so that applying the conventional extended Kalman filter to these nominal model does not yield the satisfactory performance. As a remedy for this problem, we consider the uncertain nonlinear kinematic model of the mobile robot that contains the norm bounded uncertainties and also propose a new robust extended Kalman filter based on the Krein space approach. The proposed robust filter has the same recursive structure as the conventional extended Kalman filter and can hence be readily designed to effectively account for the uncertainties. The computer simulations will be given to verify the robustness against the parameter variation as well as the reliable performance of the proposed robust filter.

  • PDF