• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.3
• /
• pp.209-218
• /
• 2013

Early researches in human action recognition have focused on tracking and classifying articulated body motions. Such methods required accurate segmentation of body parts, which is a sticky task, particularly under realistic imaging conditions. Recent trends of work have become popular towards the use of more and low-level appearance features such as spatio-temporal interest points. Given the great progress in pose estimation over the past few years, redefined views about pose-based approach are needed. This paper addresses the issues of whether it is sufficient to train a classifier only on low-level appearance features in appearance approach and proposes effective pose-based approach with pose estimation for emotional action recognition. In order for these questions to be solved, we compare the performance of pose-based, appearance-based and its combination-based features respectively with respect to scenario of various emotional action recognition. The experiment results show that pose-based features outperform low-level appearance-based approach of features, even when heavily spoiled by noise, suggesting that pose-based approach with pose estimation is beneficial for the emotional action recognition.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.322-325
• /
• 2015

본 논문에서는 개선된 자세 인식을 위한 학습을 통한 자세 인식 기법을 제안한다. 제안 자세 인식 기법은 영상의 모든 픽셀 값을 사용하지 않으며 인체의 골격의 위치 정보와 자세의 학습을 기반으로 한다. 최근 자세 인식기법에 다양한 기계 학습 기법을 적용하여 제스처 인식률을 높이는 연구가 진행되고 있지만 실시간 프레임에 적용하는데 한계가 있다. 반면 고차원의 특징점을 추출하여 신경망 학습방식을 이용하면 적은 계산량과 손쉬운 실행이 가능하다. 고차원의 특징점은 깊이 정보로부터 사람의 골격 정보를 이용해 추출하여 차원을 감소시키며 신경망 학습 방식에서는 각 자세에 대한 고차원의 특징점을 이용하여 자세의 학습을 진행한다. 신경망학습은 학습 단계에서는 미리 알려진 자세와 예측된 자세의 비교를 통해 오류를 최소화 하는 방향으로 학습을 진행하며, 판별 단계에서는 새로운 자세를 입력하여 고차원 특징점을 이용한 신경망 학습 기반의 제안 기술의 성능을 평가한다. 실험에 의하면 제안 기법은 약 96%의 자세 인식률을 보이고 자세 인식기법을 동작 인식으로 확장 가능성 또한 보인다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02c
• /
• pp.176-182
• /
• 2007

본 연구에서는 사용자가 즉석에서 연주한 곡에 대응하는 춤 동작을 자동으로 생성하는 기술을 제안한다. 본 기법은 먼저 댄서로부터 모션 캡쳐 받은 춤 시퀀스를 분절화한 후 사용자가 신디사이저를 통해 직접 연주하여 얻은 MIDI 데이터를 분석해 음악에서의 특징점을 추출한다. 그리고 분절화 한 모션의 세그먼트들을 음악에 맞춰 다시 배열하여 새로운 춤 시퀀스를 생성함으로써 사용자가 연주한 음악과 어울리는 춤 동작을 자동으로 생성한다. 이를 위해 세 단계의 작업을 수행하게 되는데, 첫 번째 단계에서 모션 캡쳐를 통해 얻게 된 데이터에서 캐릭터의 위치와 자세를 기준으로 하여 긴 시퀀스를 의미 있는 작은 춤 동작으로 분절화한다. 두 번째 단계에서는 사용자의 연주를 통해 획득한 MIDI를 분석하여 특징점을 추출하고, 마지막 단계에서는 이를 바탕으로 음악에 기반한 음악과 동작을 합성한다. 본 연구는 음악과 댄스의 리듬감이 파괴되지 않도록 합성함으로써 우리의 연구는 기존 연구에 비해서 훨씬 자연스러운 춤 시퀀스를 결과물로 만들어 낸다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.562-565
• /
• 2010

시각기반 증강현실 시스템의 구현을 위해서는 입력되는 카메라영상의 프레임을 매번 특징점을 추출하고 패턴 매칭 과정을 반복하는 것은 저 사양의 모바일 기기에서는 적합하지 않다. 본 논문에서는 이러한 문제점을 해결 하고자 카메라영상에서 패턴이 한번 인식되게 되면 그 이후의 영상에 대해서는 패턴 인식과정을 생략하고 이전 영상에서 매칭된 특징점을 광류 기반 추적기법을 사용하여 추적하도록 한다. 또한 패턴 추적 절차의 수행 중 추적이 실패하여 생기는 특징점 소실 문제는 정확한 호모그래피 행렬과 카메라 자세 추정을 어렵게 하는데 이러한 문제를 해결하도록 하는 패턴 추적의 성공 또는 실패는 판단하는 기준을 세워 모바일 기기에서 빠르게 동작하도록 하는 광류 추적 기법을 사용한 자연 특징 추적 기반 증강현실 시스템을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.35-36
• /
• 2014

본 논문에서는 Kinect 센서의 동작 인식 기능을 활용한 운동요법 앱을 설계하고 구현한다. 이 앱은 사용자의 상체, 하체 관절의 움직임을 인식하여 체조의 올바른 자세를 배울 수 있도록 한다. 이 앱의 특징은 Kinect Sensor로 인식한 관절 요소를 읽어 들이고, 각 관절의 각도를 계산하여 원하는 동작을 표현할 수 있도록 한다. 또한, 사용자의 동작과 기본 동작을 비교하여 오차 범위 내이면 새로운 동작이 진행되도록 한다. 출력되는 각 동작들은 Library를 이용하여 많은 포즈들을 입력하고 출력할 수 있기 때문에 새로운 포즈를 추가하기에 쉽다.

• Journal of the Institute of Electronics Engineers of Korea SC
• /
• v.45 no.6
• /
• pp.67-76
• /
• 2008

Reliable face recognition under various illumination environments is essential for successful commercialization. Feature-based face recognition relies on a good choice of feature vectors. Gabor feature vectors are known to be more robust to variations of pose and illumination than any other feature vectors so that they are popularly adopted for face recognition. However, they are not completely independent of illuminations. In this paper, we propose an illumination-robust face recognition method based on the Gabor feature vector illumination PCA model. We first construct the Gabor feature vector illumination PCA model where Gator feature vector space is rendered to be decomposed into two orthogonal illumination subspace and face identity subspace. Since the Gabor feature vectors obtained by projection into the face identity subspace are separated from illumination, the face recognition utilizing them becomes more robust to illumination. Through experiments, it is shown that the proposed face recognition based on Gabor feature vector illumination PCA model performs more reliably under various illumination and Pose environments.

• The KIPS Transactions:PartB
• /
• v.13B no.5 s.108
• /
• pp.499-506
• /
• 2006

This Paper describes a fast and stable camera pose estimation method for real-time augmented reality systems. From the feature tracking results of a marker on a single frame, we estimate the camera rotation matrix and the translation vector. For the camera pose estimation, we use the shape factorization method based on the scaled orthographic Projection model. In the scaled orthographic factorization method, all feature points of an object are assumed roughly at the same distance from the camera, which means the selected reference point and the object shape affect the accuracy of the estimation. This paper proposes a flexible and stable selection method for the reference point. Based on the proposed method, we implemented a video augmentation system that inserts virtual 3D objects into the input video frames. Experimental results showed that the proposed camera pose estimation method is fast and robust relative to the previous methods and it is applicable to various augmented reality applications.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.21 no.6
• /
• pp.155-161
• /
• 2021

Gesture recognition analytics through a camera in real time have been widely studied in recent years. Since a small number of features from human joints are extracted, low accuracy of classifying models is get in conventional gesture recognition studies. In this paper, CBAM (Convolutional Block Attention Module) with high accuracy for classifying images is proposed as a classification model and algorithm calculating the angle of joints depending on actions is presented to solve the issues. Employing five exercise gestures images from the fitness posture images provided by AI Hub, the images are applied to the classification model. Important 8-joint angles information for classifying the exercise gestures is extracted from the images by using MediaPipe, a graph-based framework provided by Google. Setting the features as input of the classification model, the classification model is learned. From the simulation results, it is confirmed that the exercise gestures are classified with high accuracy in the proposed model.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2007.06a
• /
• pp.477-480
• /
• 2007

얼굴 동작을 효과적으로 인식하는 방법을 제안하고자 한다. 얼굴 동작은 얼굴 표정, 얼굴 자세, 시선, 주름 같은 얼굴 특징이나 얼굴 행동 등으로 표출될 수 있다. 이러한 표출된 정보들은 얼굴 동작이 다양하고 명확하지 않아 연구 진행에 많은 어려움이 있다. 그러므로, 본 논문에서는 얼굴 동작을 묘사하는 FACS를 기반으로 하여 시각적 관찰에 의해 주요한 얼굴 동작을 표현하고, 베이지안 네트워크를 통하여 여러 정보를 분석 융합하여 얼굴 행동을 추론 할 수 있도록 하였다. 베이지안 네트워크의 하향식 추론으로 시각 정보를 선택 할 수 있고, 관측된 현상을 토대로 상향식 추론 하여 얼굴 동작의 신뢰 전파를 통하여 분류 인식한다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.22 no.2
• /
• pp.127-133
• /
• 2021

A recent study of people physically falling focused on analyzing the motions of the falls using a recurrent neural network (RNN) and a deep learning approach to get good results from detecting 2D human poses from a single color image. In this paper, we investigate a detection method for estimating the position of the head and shoulder keypoints and the acceleration of positional change using the skeletal keypoints information extracted using PoseNet from an image obtained with a low-cost 2D RGB camera, increasing the accuracy of judgments about the falls. In particular, we propose a fall detection method based on the characteristics of post-fall posture in the fall motion-analysis method. A public data set was used to extract human skeletal features, and as a result of an experiment to find a feature extraction method that can achieve high classification accuracy, the proposed method showed a 99.8% success rate in detecting falls more effectively than a conventional, primitive skeletal data-use method.