• Journal of KIISE:Software and Applications
• /
• v.35 no.12
• /
• pp.780-788
• /
• 2008

Modeling hand poses and tracking its movement are one of the challenging problems in computer vision. There are two typical approaches for the reconstruction of hand poses in 3D, depending on the number of cameras from which images are captured. One is to capture images from multiple cameras or a stereo camera. The other is to capture images from a single camera. The former approach is relatively limited, because of the environmental constraints for setting up multiple cameras. In this paper we propose a method of reconstructing 3D hand poses from a 2D input image sequence captured from a single camera by means of Belief Propagation in a graphical model and recognizing a finger clicking motion using a hidden Markov model. We define a graphical model with hidden nodes representing joints of a hand, and observable nodes with the features extracted from a 2D input image sequence. To track hand poses in 3D, we use a Belief Propagation algorithm, which provides a robust and unified framework for inference in a graphical model. From the estimated 3D hand pose we extract the information for each finger's motion, which is then fed into a hidden Markov model. To recognize natural finger actions, we consider the movements of all the fingers to recognize a single finger's action. We applied the proposed method to a virtual keypad system and the result showed a high recognition rate of 94.66% with 300 test data.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.763-765
• /
• 2023

본 논문에서는 저성능 컴퓨터나 스마트폰의 카메라를 통해 입력받은 영상을 기반으로 사용자의 포즈를 추정하고, 실시간으로 사용자의 포즈에 따라 3D 모델의 모션이 제어되어 가시화 될 수 있는 클라이어트-서버 구조의 "자세추정 및 3D 모델 모션 제어 시스템"을 제안한다. 제안 시스템은 소켓통신 기반의 클라이언트-서버구조로 구성되어, 서버에서는 실시간 자세 추정을 위한 딥러닝 모델이 수행되고, 저성능 클라이언트에서는 실시간으로 카메라 영상을 획득하여 영상을 서버에 전송하고, 서버로부터 자세 추정 정보를 받아 이를 3D 모델에 반영하고 렌더링 함으로써 사용자와 함께 3D 모델이 같은 동작을 수행하는 증강현실 화면을 생성한다. 고성능을 요구하는 객체 자세 추정 모듈은 서버에서 실행하고, 클라이언트에서는 영상 획득 및 렌더링만을 실행하기 때문에, 모바일 앱에서의 실시간 증강현실을 위한 자세 추정 및 3D 모델 모션 제어가 가능하다. 제안 시스템은 "증강현실 기반 영상 찍기 앱" 에 반영되어 사용자의 움직임을 따라하는 3D 캐릭터들의 영상을 쉽게 생성할 수 있도록 할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1052-1055
• /
• 2020

본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.851-853
• /
• 2024

본 논문에서는 MediaPipe 라이브러리 및 OpenCV 를 활용한 포즈 추정 및 체형 인식 알고리즘을 통해 사용자의 체형과 선호도에 맞는 의류를 가상으로 입어볼 수 있는 생성형 FashionNet 을 제안한다. 구체적으로는 먼저 웹 카메라를 통해 얻어진 사용자의 외형 이미지로부터, 사용자의 신체 포즈를 추정하고, OpenCV 코드를 통해 사용자의 신체 윤곽을 검출한다. 이후 가상 옷장 데이터베이스로부터 선택된 가상 의류를 사용자의 신체 윤곽에 맞춰 입혀진 가상 피팅 이미지를 생성한다. 특히, 본 논문의 FashionNet 은 사용자와 카메라 간의 거리에 따른 인체 비율을 사전 실험으로 미리 설정해놓음으로써, 카메라와 사용자간의 거리에 관계없이 의류 사이즈가 사용자의 신체 조건에 맞게 자동으로 피팅되는 특징을 갖는다. 또한 가상 옷장 데이터베이스로부터 의류 아이템 선정의 편의를 제공하기 위해, 가상 현실 속에서 스크린상의 메뉴 버튼과 사용자의 포즈 동작간의 상호작용을 통해 FashionNet 의 다양한 기능을 수행할 수 있는 증강현실(AR) 기법을 적용하였다. 가상 옷장 데이터베이스를 사용한 다양한 가상 피팅 체험 실험을 통해 온라인상에서 자기가 원하는 의류를 가상으로 착용해 볼 수 있고 이를 통해 구매를 결정하는 등의 FashionNet 의 유효성과 가능성을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.65-68
• /
• 2011

본 논문에서는 모바일 증강현실을 실현하기 위한 3차원 모델기반 카메라 추적 기술을 제안한다. 3차원 모델기반 추적 기술은 평면적이지 않은 객체에 적용 가능하며, 특히 텍스처가 없는 환경에서 유용하다. 제안하는 방식은 대상 객체의 3차원 모델정보로부터 영상에서 추출한 에지와의 대응점을 찾고, 대응점의 거리를 최소화하는 카메라 움직임을 추정함으로써 이전 카메라 포즈(위치 및 방향)로부터 현재 포즈가 추적되는 방식이다. 안드로이드 플랫폼의 스마트폰 상에서 제안된 방식으로 카메라 포즈를 추적하고 3차원 가상 콘텐츠를 증강시켜 봄으로써 그 유용성을 확인한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2004.04a
• /
• pp.225-230
• /
• 2004

얼굴 검출은 디지털화된 임의의 정지 영상 혹은 연속된 영상으로부터 얼굴 존재 유무를 판단하고, 얼굴이 존재할 경우 영상 내 얼굴의 위치, 방향, 크기 둥을 알아내는 기술로 정의된다. 이러한 얼굴 검출은 얼굴 인식이나 표정인식, 헤드 재스쳐 등의 기초 기술로서 해당 시스템의 성능에 매우 중요한 변수 중에 하나이다. 그러나 영상내의 얼굴은 표정, 포즈, 크기, 빛의 방향 및 밝기, 안경, 수염 둥의 환경적 변화로 인해 얼굴 모양이 다양해지므로 정확하고 빠른 검출이 어렵다. 따라서 본 논문에서는 피셔의 선형 판별 분석을 이용하여 몇 가지 환경적 조건을 극복한 정확하고 빠른 얼굴 검출 방법을 제안한다. 제안된 방법은 포즈와, 배경에 무관하게 얼굴을 검출하면서도 빠른 검출이 가능하다. 이를 위해 계층적인 방법으로 얼굴 검출을 수행하며, 휴리스틱한 방법, 피셔의 판별 분석을 이용하여 얼굴 검출을 수행하고 검색 영역의 축소와 선형 결정의 계산 시간의 단축으로 검출 응답 시간을 빠르게 하였다 추출된 얼굴 영상에서 포즈를 추정하고 눈 영역을 검출함으로써 얼굴 정보의 사용에 있어 보다 많은 정보를 추출할 수 있도록 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.185-188
• /
• 2015

미리 저장된 객체의 3차원 특징점(Feature point) 좌표와 카메라 영상의 2차원 특징점 좌표를 매칭(Matching)하여 객체를 추적하는 방식의 경우, 카메라의 시점이 변할 때 특징점에서 발생되는 원근 효과(Perspective effect)가 반영되지 못하여 특징점 매칭 오류가 발생한다. 따라서 특징점에서 발생하는 원근 효과를 반영하여 정확한 카메라 포즈를 추정하기 위해 이전 프레임(Frame)의 카메라 포즈(Camera Pose)에 맞추어 텍스쳐가 포함 된 3차원 객체의 모델을 렌더링 하여 원근 효과를 적용한 후, 현재 카메라 영상과 특징점 매칭하여 프레임 사이의 카메라 움직임을 구하여 객체를 추적한다. 더 나아가 본 논문에서는 특징점 매칭에서 발생하는 작은 오류들로 인한 미세한 카메라 움직임은 2단계의 임계치(Threshold)를 적용하여 떨림 현상으로 간주하여 떨림 현상이 제거된 객체 추적을 수행한다. 매 프레임마다 카메라 포즈에 맞춘 추적 객체를 렌더링 하기 때문에 떨림 현상으로 간주되어 제거된 카메라 움직임은 누적되지 않고, 추적 오류도 발생시키지 않는다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.631-633
• /
• 2003

본 논문에서는 사용자의 연속적인 제스처들을 실시간으로 제스처를 적출하고 인식하는 게임 인터페이스를 제안한다. 제안된 인터페이스는 동영상에서 사용자의 자세를 예측하는 포즈 추정 모듈과 연속된 포즈 심벌열로부터 제스처를 적출하고 인식하는 제스처 인식 모듈로 구성되어 있다. 사용자의 자세는 영상에 나타난 머리, 양손의 좌표를 취하여 대표되는 자세를 클러스터링을 통해 구하였다. 제스처를 적출하기 위해서 연속된 포즈 심벌열로부터 가제스처들을 생성한다. 생성된 가제스처의 인식엔진의 인식값을 기준으로하여 제스처를 판별한다. 제안된 논문에서 정의한 제스처를 인터페이스로 사용하여 실제 게임인 퀘이크II에 적용해 봄으로써, 컴퓨터 게임 안에서, 제안된 인터페이스가 타탕함을 증명하였다.

• Smart Media Journal
• /
• v.12 no.7
• /
• pp.59-67
• /
• 2023

Recently, research on behavior analysis tracking human posture and movement has been actively conducted. In particular, OpenPose, an open-source software developed by CMU in 2017, is a representative method for estimating human appearance and behavior. OpenPose can detect and estimate various body parts of a person, such as height, face, and hands in real-time, making it applicable to various fields such as smart healthcare, exercise training, security systems, and medical fields. In this paper, we propose a method for classifying four exercise movements - Squat, Walk, Wave, and Fall-down - which are most commonly performed by users in the gym, using OpenPose-based deep learning models, DNN and CNN. The training data is collected by capturing the user's movements through recorded videos and real-time camera captures. The collected dataset undergoes preprocessing using OpenPose. The preprocessed dataset is then used to train the proposed DNN and CNN models for exercise movement classification. The performance errors of the proposed models are evaluated using MSE, RMSE, and MAE. The performance evaluation results showed that the proposed DNN model outperformed the proposed CNN model.

• Korea Information Processing Society Review
• /
• v.28 no.1
• /
• pp.36-47
• /
• 2021