• 한국통신학회논문지
• /
• 제34권6C호
• /
• pp.593-603
• /
• 2009

본 논문은 스테레오 카메라가 이동하는 환경에서 카메라 움직임을 보정하여 새로운 다수의 사람을 검출하는 방법과 검출된 사람을 추적하고, 실루엣을 추출하는 통합된 시스템을 제안한다. 제안하는 시스템은 사람 검출, 추적, 실루엣 추출 3가지 모듈로 구성되어 있으며 3가지 모듈은 카메라가 이동하는 환경을 고려한 것이다. 사람 검출 모듈에서는 카메라 움직임(egomotion) 보정을 이용한 움직이는 영역 추출 결과와 스테레오 정보를 결합하여 움직이는 객체를 검출하였으며, 추적모듈은 변위 정보가 가중된 히스토그램 알고리즘으로 검출된 객체를 추적한다. 실루엣을 추출하는 모듈은 트라이맵(trimap)을 이용하여 사람의 실루엣 부분을 대략적으로 추정하는 단계와 그래프컷(graph cut)을 적용하여 정교하게 실루엣 추출하는 단계로 이루어져 있다. 본 논문에서 제안하는 방법을 실내 환경에서 팬-틸트(pan-tilt) 스테레오 카메라로 획득한 실험데이터를 대상으로 실험한 결과 다수의 사람의 검출 및 추적, 정교한 실루엣 추출이 가능한 것을 확인하였다. 본 논문의 실루엣 추출결과는 제스처 인식이나 걸음걸이 인식 등의 다양한 분야에도 적용가능하다.

• 대한전자공학회논문지SP
• /
• 제44권6호
• /
• pp.75-83
• /
• 2007

본 논문은 영상 기반의 사람의 자세 추정에 대하여 다룬다. 특히 사람이 걷는 동안 카메라는 사람의 측면을 관찰하고 있다고 가정한다. 사람의 자세 추정의 문제는 인간-컴퓨터 상호 작용이나 지능형 감시 시스템을 위해 연구가 되는 분야이며, 본 논문에서는 일반적인 보행 상황에서 감시 시스템 또는 위치 추적, 자세 인식에 응용할 수 있는 알고리즘을 제시한다. 이 분야의 최근의 연구동향은 마코프 네트워크를 이용하여 신체 부분들의 위치나 움직임의 관계를 조건부 독립으로 가정하여 다루고 있다. 이러한 방법들의 경우 신체를 십여 개의 부분들로 모델링하고, 연결된 신체들의 관계를 고려하여 자세를 추정한다. 본 논문에서는 이러한 방법을 응용하여 모델을 단순화하고, 더 나아가 손쉽게 사람의 자세를 파악할 수 있는 방법을 제시한다. 이를 위해 신체 부분들이 독립적임을 가정하여 그 위치를 찾은 후에, 모션 캡쳐 데이터로부터 얻은 신체 부분들의 움직임 간의 관계를 고려하여 자세를 수정하여 주었다. 사람의 신체를 찾기 위해 edge matching을 이용하였으며, 그 과정에서 신체 부분의 edge 성분의 방향성을 강조하기 위해 Anisotropic Gaussian Filter를 사용하였다. 신체의 부분이 가려지는 경우, 모델의 silhouette을 이용하여 가려지는 부분에 대해 추가의 matching cost를 부여함으로써 occlusion 시에도 신체의 부분을 찾을 수 있도록 하였다.

• 한국지능시스템학회논문지
• /
• 제17권7호
• /
• pp.913-918
• /
• 2007

본 논문에서는 인간과 로봇의 인터액션을 위해 연속된 이미지 정보로부터 얻을 수 있는 색상(color)과 기울기(gradient) 정보를 이용하여 인간 몸의 실루엣 추출 기법을 제안한다. 연속된 이미지 정보로부터 얻어진 RGB 영상 정보에서 색상 배경 제거 기법은 각각의 신체 비율 정보로부터 추출된 모션 영역 정보에서 색상 공판별 평균 이미지 정보를 얻고 옷 색상 정보를 볼록 합하여 계산된다. 기울기 배경 제거 기법은 공간상 정보와 시간상 정보의 볼록 합으로 계산된다. 최종적으로 색상 정보와 기울기 정보의 볼록 합을 하여 인간 몸의 실루엣을 추출한다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

• 정보처리학회논문지B
• /
• 제10B권6호
• /
• pp.657-664
• /
• 2003

사람의 동작을 믿을 수 있게 따라가는 것은 감시용 비디오나 사람과 컴퓨터간의 사용자 인터페이스 개발에 있어서 필수적이다. 이 논문은 모습 기반법(appearance-based method)과 모델 사용법을 혼용하여 사람을 추적하는 새로운 방법에 관한 논문이다. 하나의 비디오 입력이 화소 단위 및 물체 단위로 처리된다. 화소 단위의 처리에 있어서 개별 화소색을 분류하는 훈련방법으로, 가우스 혼합 모델(Gaussian mixture model)을 사용하였다. 물체 단위의 처리에 있어서 사람 몸에 대한 삼차원 모델링을 하고, 모델 몸체를 투사면(projection plane)에 투사시켰다. 투사된 몸체와 배경을 제외한 영상과 계산 기하 방법을 사용하여, 화소보다 작은 단위로 겹쳐지는 면적을 계산하였다. 우리의 방법은 정방향 기구학 (forward kinematics)을 사용하므로 역방향 기구학(inverse kinematics)을 사용하는 방법과 달리 계산 결함(singularity)을 갖지 않는다. 이 논문에서는 사람의 동작을 추적하기 위한 문제를 비선형 방정식 문제로 바꾸었다. 비선형 방정식의 비용 함수는 전경(foreground)의 영상 실루엣(silhouette)과 투사된 삼차원 모델 몸체의 실루엣의 겹쳐지는 면적이다. 화소 단위의 영상을 화소를 하나의 면적으로 계산함으로써, 겹쳐지는 면적에 대한 실수 단위의 계산은 계산 기하를 사용하였다. 이 논문의 방법은 다양한 사람 동작을 인식하기 위하여 사용되었다. 비디오에 나타나는 사람 동작 추적은 매우 우수하다.

• Journal of Electrical Engineering and Technology
• /
• 제11권6호
• /
• pp.1857-1862
• /
• 2016

Human activity recognition using depth information is an emerging and challenging technology in computer vision due to its considerable attention by many practical applications such as smart home/office system, personal health care and 3D video games. This paper presents a novel framework of 3D human body detection, tracking and recognition from depth video sequences using spatiotemporal features and modified HMM. To detect human silhouette, raw depth data is examined to extract human silhouette by considering spatial continuity and constraints of human motion information. While, frame differentiation is used to track human movements. Features extraction mechanism consists of spatial depth shape features and temporal joints features are used to improve classification performance. Both of these features are fused together to recognize different activities using the modified hidden Markov model (M-HMM). The proposed approach is evaluated on two challenging depth video datasets. Moreover, our system has significant abilities to handle subject's body parts rotation and body parts missing which provide major contributions in human activity recognition.

• 제어로봇시스템학회논문지
• /
• 제14권2호
• /
• pp.178-183
• /
• 2008

Human motion analysis is researched as a new method for human-robot interaction (HRI) because it concerns with the key techniques of HRI such as motion tracking and pose recognition. To analysis human motion, extracting features of human body from sequential images plays an important role. After finding the silhouette of human body from the sequential images obtained by CCD color camera, the skeleton model is frequently used in order to represent the human motion. In this paper, using the silhouette of human body, we propose the feature extraction method based on hybrid skeleton for detecting human motion. Finally, we show the effectiveness and feasibility of the proposed method through some experiments.

• 인터넷정보학회논문지
• /
• 제9권3호
• /
• pp.91-101
• /
• 2008

본 논문에서는 구성요소와 그들 간의 유연한 연결을 가진 인체 모델로 인체를 추적하기 위한 구성요소 기반 확률 전파를 제안한다. 인체는 사람의 동작을 추적하는데 필요한 6개의 인체 부위로 나뉘는데, 머리, 몸통, 왼팔, 오른팔, 왼발, 오른발 등이다. 제안하는 추적 방법은 인체 전체의 실루엣을 추적하지 않는 것이 아니라 구성요소로 이루어진 인체모델을 이용하여 인체의 각 부위를 개별적으로 추적하게 된다. 제안된 인체 추적 시스템은 유아의 동작 교육에 적용되는데, 균형잡기, 앙감질, 뛰기, 걷기, 회전하기, 구부리기, 뻗기와 같은 동작을 추적하는데 이용된다. 제안하는 시스템은 인체 모델의 각 부위를 개별적으로 탐지하고 움직임을 추적하여 평균 97%의 추적율을 획득하였다.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.851-859
• /
• 2011

본 논문에서는 인간과 컴퓨터의 상호작용을 위해 연속된 입력영상에서 인체의 실루엣과 조인트를 자동추출하고 조인트를 추적함으로 객체를 추적하는 방법을 제안한다. 또한 추출된 조인트를 이용하여 인체를 매핑하여 사람의 동작을 재현한다. 이를 위해 인체의 치수를 이용하여 인체 움직임을 제어하는 14개의 조인트로 인체를 모델링한다. 제안방법은 단일카메라로 RGB 컬러로 입력되는 영상을 색상, 채도, 명암의 영상으로 변환한 후 차 영상기법을 이용하여 인체의 실루엣을 추출한다. 추출된 실루엣의 코너점과 인체 모델링 정보를 이용하여 조인트를 자동 검출한다. 객체의 움직임 추적은 전체 영상 중 조인트를 중심으로 블록매칭 기법을 이용하며 추출된 조인트의 위치정보를 이용하여 인체의 움직임을 매핑한다. 제안방법을 실험동영상에 적용한 결과 인체의 실루엣과 조인트를 자동 검출하며 추출된 조인트로 인체의 매핑이 효율적으로 이루어졌다. 또한 조인트의 추적이 매핑된 인체에 반영되어 인체의 움직임도 적절히 표현되었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권5호
• /
• pp.1856-1869
• /
• 2015

This paper addresses the issues of 3D human activity detection, tracking and recognition from RGB-D video sequences using a feature structured framework. During human tracking and activity recognition, initially, dense depth images are captured using depth camera. In order to track human silhouettes, we considered spatial/temporal continuity, constraints of human motion information and compute centroids of each activity based on chain coding mechanism and centroids point extraction. In body skin joints features, we estimate human body skin color to identify human body parts (i.e., head, hands, and feet) likely to extract joint points information. These joints points are further processed as feature extraction process including distance position features and centroid distance features. Lastly, self-organized maps are used to recognize different activities. Experimental results demonstrate that the proposed method is reliable and efficient in recognizing human poses at different realistic scenes. The proposed system should be applicable to different consumer application systems such as healthcare system, video surveillance system and indoor monitoring systems which track and recognize different activities of multiple users.

• 한국콘텐츠학회논문지
• /
• 제11권4호
• /
• pp.215-224
• /
• 2011

인간과 컴퓨터의 상호작용이 관심분야로 대두되면서 인체를 검출하고 추적하는 기술들에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 단일카메라의 입력으로 인체의 비율을 이용하여 인체 부위를 연결하는 조인트를 자동으로 검출하고 객체를 추적하는 알고리즘을 제안한다. 제안방법은 입력영상과 배경영상의 회색조 영상과 색상 영상의 차영상을 구한 후 그 결과를 결합하여 배경과 전경을 분리하고 객체를 추출한다. 또한 얼굴길이와 인체 각 영역의 측정값을 이용하여 인체 비율을 모델링하고 추출된 객체 실루엣의 코너점과 모델링된 비율을 이용해 객체의 조인트를 자동으로 추출한다. 추출된 조인트의 움직임을 블록매칭 기법으로 객체의 움직임을 추적한다. 제안방법을 카메라로 입력되는 실험동영상에 적용한 결과 인체의 실루엣과 조인트를 자동 검출하며 추출된 조인트 또한 효율적으로 추적되었다.