• 한국콘텐츠학회논문지
• /
• 제11권12호
• /
• pp.619-628
• /
• 2011

일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다. 제안된 시스템에서 사용되는 포즈는 인체 관절 중 14개 관절의 3차원 위치정보를 이용해서 구성한 포즈 템플릿과 현재 사용자의 포즈를 비교해 인식된다. 이 방법을 이용하여 제작된 시스템은 사용자가 부가적인 장치의 사용 없이 사용자의 몸동작만으로 자연스럽게 게임 콘텐츠를 조작할 수 있도록 해준다. 제안된 3차원 인식 기술을 게임 콘텐츠에 적용하여 성능을 평가한다. 향후 다양한 환경에서 더욱 강건하게 포즈를 인식할 수 있는 연구를 수행할 계획이다.

• 한국전자통신학회논문지
• /
• 제17권1호
• /
• pp.111-118
• /
• 2022

컴퓨터 비전 연구에서 2차원 인체 자세는 매우 광범위한 연구 방향으로 특히 자세 추적과 행동 인식에서 유의미한 분야다. 인체 자세 표적 획득은 이미지에서 인체 목표를 정확히 찾는 방법을 연구하는 것이 핵심이며 인체 자세 인식은 인공지능(AI)에 적용하는 한편 일상생활에 활용되고 있어서 매우 중요한 연구의의가 있다. 인체 자세 인식 효과의 우수성의 기준은 인식 과정의 성공률과 정확도에 의해 결정된다. 본 연구의 인체 자세 인식에서는 딥러닝 전용 데이터셋인 MS COCO를 기반하여 인체를 17개의 키 포인트로 구분하였다. 다음으로 주요 특징에 대한 세분화 마스크(segmentation mask) 방법을 사용하여 인식률을 개선하였다. 최종적으로 신경망 모델을 설계하고 간단한 단계별 학습부터 효율적인 학습에 이르기까지 많은 수의 표본을 학습시키는 알고리즘을 제안하여 정확도를 향상할 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.186-192
• /
• 2009

본 논문은 비전을 이용한 인간 정면 상반신 포즈를 인식 방법에 대해서 기술한다. 일반적으로 HCI(Human Computer Interaction)와 HRI(Human Robot Interaction)에서는 인간이 정면을 바라볼 때 얼굴, 손짓으로 의사소통 하는 경우가 많기 때문에 본 논문에서는 인식의 범위를 인간의 정면 그리고 상반신에 대해서만 한정한다. 인간 포즈인식의 주요 두 가지 어려움은 첫째 인간은 다양한 관절로 이루어진 객체이기 때문에 포즈의 자유도가 높은 문제점 때문에 모델링이 어렵다는 것이다. 둘째는 모델링된 정보와 영상과의 매칭이 어려운 것이다. 이를 해결하기 위해 본 논문에서는 모델링이 쉬운 그림모델(Pictorial Model)을 이용해 인체를 다수 사각형 파트로 모델링 하였고 이를 이용해 주요한 상반신 포즈를 DB화 해 인식한다. DB 포즈로 표현되지 못하는 세부포즈는 인식된 주요 포즈 파라미터로 부터 파티클필터를 이용해 예측한 다수 파티클로부터 가장 높은 사후분포를 갖는 파티클을 찾아 주요 포즈를 업데이트하여 결정한다. 따라서 주요한 포즈 인식과 이를 기반으로 한 세부 포즈를 추적하는 두 단계를 통해 인체 정면 상반신 포즈를 정확하게 인식 할 수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권5호
• /
• pp.187-194
• /
• 2021

사람의 행동인식(Action Recognition)은 사람의 관절 움직임에 따라 어떤 행동을 하는지 인식하는 것이다. 이를 위해서 영상처리에 활용되는 컴퓨터 비전 태스크를 활용하였다. 사람의 행동인식은 딥러닝과 CCTV를 결합한 안전사고 대응서비스로서 안전관리 현장 내에서도 적용될 수 있다. 기존연구는 딥러닝을 활용하여 사람의 관절 키포인트 추출을 통한 행동인식 연구가 상대적으로 부족한 상태이다. 또한 안전관리 현장에서 작업자를 지속적이고 체계적으로 관리하기 어려운 문제점도 있었다. 본 논문에서는 이러한 문제점들을 해결하기 위해 관절 키포인트와 관절 움직임 정보만을 이용하여 위험 행동을 인식하는 방법을 제안하고자 한다. 자세추정방법(Pose Estimation)의 하나인 AlphaPose를 활용하여 신체 부위의 관절 키포인트를 추출하였다. 추출된 관절 키포인트를 LSTM(Long Short-Term Memory) 모델에 순차적으로 입력하여 연속적인 데이터로 학습을 하였다. 행동인식 정확률을 확인한 결과 "누워있기(Lying Down)" 행동인식 결과의 정확도가 높음을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권2호
• /
• pp.800-816
• /
• 2018

In recent years, video surveillance research has been able to recognize various behaviors of pedestrians and analyze the overall situation of objects by combining image analysis technology and deep learning method. Human Activity Recognition (HAR), which is important issue in video surveillance research, is a field to detect abnormal behavior of pedestrians in CCTV environment. In order to recognize human behavior, it is necessary to detect the human in the image and to estimate the pose from the detected human. In this paper, we propose a novel approach for 2D Human Pose Estimation based on object detection using RGB-D information. By adding depth information to the RGB information that has some limitation in detecting object due to lack of topological information, we can improve the detecting accuracy. Subsequently, the rescaled region of the detected object is applied to ConVol.utional Pose Machines (CPM) which is a sequential prediction structure based on ConVol.utional Neural Network. We utilize CPM to generate belief maps to predict the positions of keypoint representing human body parts and to estimate human pose by detecting 14 key body points. From the experimental results, we can prove that the proposed method detects target objects robustly in occlusion. It is also possible to perform 2D human pose estimation by providing an accurately detected region as an input of the CPM. As for the future work, we will estimate the 3D human pose by mapping the 2D coordinate information on the body part onto the 3D space. Consequently, we can provide useful human behavior information in the research of HAR.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권3호
• /
• pp.209-218
• /
• 2013

인간의 동작 인식에 대한 이전 연구는 주로 관절체로 표현된 신체 움직임을 추적하고 분류하는데 초점을 맞춰 왔다. 이 방식들은 실제 이미지 사용 환경에서 신체 부위에 대한 정확한 분류가 필요하다는 점이 까다롭기 때문에 최근의 동작 인식 연구 동향은 시공간상의 관심 점과 같이 저수준의, 더 추상적인 외형특징을 이용하는 방식이 일반화되었다. 하지만 몇 년 사이 자세 예측 기술이 발전하면서 자세 기반 방식에 대한 시각을 재정립하는 것이 필요하다. 본 연구는 외형 기반 방식에서 저수준의 외형특징만으로 분류기를 학습시키는 것이 충분한지에 대한 문제를 제기하면서 자세 예측을 이용한 효과적인 자세기반 동작인식 방식을 제안하였다. 이를 위해 다양한 감정을 표현하는 동작 시나리오를 대상으로 외형 기반, 자세 기반 특징 및 두 가지 특징을 조합한 방식을 비교하였다. 실험 결과, 자세 예측을 이용한 자세 기반 방식이 저수준의 외형특징을 이용한 방식보다 감정 동작 분류 및 인식 성능이 더 나았으며 잡음 때문에 심하게 망가진 이미지의 감정 동작 인식에도 자세 예측을 이용한 자세기반의 방식이 효과적이었다.

• 한국멀티미디어학회논문지
• /
• 제25권9호
• /
• pp.1257-1265
• /
• 2022

Recognition of sign language is challenging due to the occlusion of hands, accuracy of hand gestures, and high computational costs. In recent years, deep learning techniques have made significant advances in this field. Although these methods are larger and more complex, they cannot manage long-term sequential data and lack the ability to capture useful information through efficient information processing with faster convergence. In order to overcome these challenges, we propose a word-level sign language recognition (SLR) system that combines a real-time human pose detection library with the minimized version of the gated recurrent unit (GRU) model. Each gate unit is optimized by discarding the depth-weighted reset gate in GRU cells and considering only current input. Furthermore, we use sigmoid rather than hyperbolic tangent activation in standard GRUs due to performance loss associated with the former in deeper networks. Experimental results demonstrate that our pose-based optimized GRU (Pose-OGRU) outperforms the standard GRU model in terms of prediction accuracy, convergency, and information processing capability.

• Advances in robotics research
• /
• 제2권2호
• /
• pp.129-140
• /
• 2018

With the increasing demand for the development of human pose estimation, such as human-computer interaction and human activity recognition, there have been numerous approaches to detect the 2D poses of people in images more efficiently. Despite many years of human pose estimation research, the estimation of human poses with images remains difficult to produce satisfactory results. In this study, we propose a robust 2D human body pose estimation method using an RGB camera sensor. Our pose estimation method is efficient and cost-effective since the use of RGB camera sensor is economically beneficial compared to more commonly used high-priced sensors. For the estimation of upper-body joint positions, semantic segmentation with a fully convolutional network was exploited. From acquired RGB images, joint heatmaps accurately estimate the coordinates of the location of each joint. The network architecture was designed to learn and detect the locations of joints via the sequential prediction processing method. Our proposed method was tested and validated for efficient estimation of the human upper-body pose. The obtained results reveal the potential of a simple RGB camera sensor for human pose estimation applications.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권2호
• /
• pp.559-575
• /
• 2023

3D human pose estimation is widely applied in various fields, including action recognition, sports analysis, and human-computer interaction. 3D human pose estimation has achieved significant progress with the introduction of convolutional neural network (CNN). Recently, several researches have proposed the use of multiview approaches to avoid occlusions in single-view approaches. However, as the number of cameras increases, a 3D pose estimation system relying on a CNN may lack in computational resources. In addition, when a single host system uses multiple cameras, the data transition speed becomes inadequate owing to bandwidth limitations. To address this problem, we propose a distributed real-time 3D pose estimation framework based on asynchronous multiple cameras. The proposed framework comprises a central server and multiple edge devices. Each multiple-edge device estimates a 2D human pose from its view and sendsit to the central server. Subsequently, the central server synchronizes the received 2D human pose data based on the timestamps. Finally, the central server reconstructs a 3D human pose using geometrical triangulation. We demonstrate that the proposed framework increases the percentage of detected joints and successfully estimates 3D human poses in real-time.

• 스마트미디어저널
• /
• 제1권2호
• /
• pp.40-46
• /
• 2012

본 논문은 비전 기반 신체 제스처 인식 결과를 입력인터페이스로 사용하는 상호작용 콘텐츠에 대해 기술한다. 제작된 콘텐츠 는 아시아의 공통문화요소인 도깨비를 소재로 사용하여 지역 문화에 친숙하게 접근할 수 있도록 하였다. 그리고 콘텐츠를 구성 하는 시나리오는 도깨비와의 결투장면에서 사용자의 제스처 인식을 통해 결투를 진행하므로 사용자는 자연스럽게 콘텐츠 시나리오에 몰입할 수 있다. 시나리오의 후반부에서는 사용자는 시간과 공간이 다른 다중의 결말을 선택할 수 있다. 신체 제스처 인식 부분에서는 키넥트(KINECT)를 통해 얻을 수 있는 각 신체 부분의 3차원좌표를 이용하여 정지동작인 포즈를 활용한다. 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 인간이 사용하는 제스처는 정지동작인 포즈들의 연속적인 동작을 통해 표현이 가능하므로 HMM을 이용하여 정지동작 포즈들로 구성된 제스처를 인식하였다. 본 논문에서 기술한 체험형 콘텐츠는 사용자가 부가적인 장치의 사용 없이 제스처 인식 결과를 입력인터페이스로 사용하였으며 사용자의 몸동작만으로 자연스럽게 콘텐츠를 조작할 수 있도록 해준다. 본 논문에서 기술한 체험형 콘텐츠는 평소 접하기 어려운 도깨비를 이용하여 사용자와 실시간 상호작용이 가능케 함으로써 몰입도와 재미를 향상시키고자 하였다.