• 한국멀티미디어학회논문지
• /
• 제17권5호
• /
• pp.556-565
• /
• 2014

This paper proposes a method to track object of real-time video transferred through single web-camera and to recognize risk-situation and human actions. The proposed method recognizes human basic actions that human can do in daily life and finds risk-situation such as faint and falling down to classify usual action and risk-situation. The proposed method models the background, obtains the difference image between input image and the modeled background image, extracts human object from input image, tracts object's motion and recognizes human actions. Tracking object uses the moment information of extracting object and the characteristic of object's recognition is moment's change and ratio of object's size between frames. Actions classified are four actions of walking, waling diagonally, sitting down, standing up among the most actions human do in daily life and suddenly falling down is classified into risk-situation. To test the proposed method, we applied it for eight participants from a video of a web-cam, classify human action and recognize risk-situation. The test result showed more than 97 percent recognition rate for each action and 100 percent recognition rate for risk-situation by the proposed method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권2호
• /
• pp.559-575
• /
• 2023

3D human pose estimation is widely applied in various fields, including action recognition, sports analysis, and human-computer interaction. 3D human pose estimation has achieved significant progress with the introduction of convolutional neural network (CNN). Recently, several researches have proposed the use of multiview approaches to avoid occlusions in single-view approaches. However, as the number of cameras increases, a 3D pose estimation system relying on a CNN may lack in computational resources. In addition, when a single host system uses multiple cameras, the data transition speed becomes inadequate owing to bandwidth limitations. To address this problem, we propose a distributed real-time 3D pose estimation framework based on asynchronous multiple cameras. The proposed framework comprises a central server and multiple edge devices. Each multiple-edge device estimates a 2D human pose from its view and sendsit to the central server. Subsequently, the central server synchronizes the received 2D human pose data based on the timestamps. Finally, the central server reconstructs a 3D human pose using geometrical triangulation. We demonstrate that the proposed framework increases the percentage of detected joints and successfully estimates 3D human poses in real-time.

• 대한전자공학회논문지SP
• /
• 제47권2호
• /
• pp.20-32
• /
• 2010

기존 모션 캡쳐의 경우, 고가의 장비나 사용의 복잡도, 동작자의 움직임 제한 등 모션 캡쳐의 어려움이 있었다. 최근 실시간으로 모션 캡쳐가 가능한 컴퓨터 비젼 기반 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다시점 영상으로부터 쉽고, 빠르게 추출할 수 있는 피부색과 정확한 3차원 복원을 위한 2차원 영상 좌표 보정을 사용하여 효율적인 다시점 영상 분석 알고리즘을 제안한다. 동작자의 피부색을 검출하고, 카메라 보정 및 에피폴라 기하학 정보를 이용하여 보다 정확한 영상 분석, 그라고 칼만 필터(Kalman filter)를 사용한 추적 등을 통해 보다 안정적인 모션 캡쳐가 가능하게 된다. 실험결과를 통하여, 제안된 방법은 보다 정확한 위치 추정 및 살시간 모션 캡쳐를 위한 알고리즘임을 보여주고 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권2호
• /
• pp.483-503
• /
• 2014

In this paper, human action recognition using pyramid histograms of oriented gradients and collaborative multi-task learning is proposed. First, we accumulate global activities and construct motion history image (MHI) for both RGB and depth channels respectively to encode the dynamics of one action in different modalities, and then different action descriptors are extracted from depth and RGB MHI to represent global textual and structural characteristics of these actions. Specially, average value in hierarchical block, GIST and pyramid histograms of oriented gradients descriptors are employed to represent human motion. To demonstrate the superiority of the proposed method, we evaluate them by KNN, SVM with linear and RBF kernels, SRC and CRC models on DHA dataset, the well-known dataset for human action recognition. Large scale experimental results show our descriptors are robust, stable and efficient, and outperform the state-of-the-art methods. In addition, we investigate the performance of our descriptors further by combining these descriptors on DHA dataset, and observe that the performances of combined descriptors are much better than just using only sole descriptor. With multimodal features, we also propose a collaborative multi-task learning method for model learning and inference based on transfer learning theory. The main contributions lie in four aspects: 1) the proposed encoding the scheme can filter the stationary part of human body and reduce noise interference; 2) different kind of features and models are assessed, and the neighbor gradients information and pyramid layers are very helpful for representing these actions; 3) The proposed model can fuse the features from different modalities regardless of the sensor types, the ranges of the value, and the dimensions of different features; 4) The latent common knowledge among different modalities can be discovered by transfer learning to boost the performance.

• 한국컴퓨터정보학회논문지
• /
• 제25권1호
• /
• pp.55-61
• /
• 2020

딥 러닝 기술의 발전과 컴퓨팅 파워 등의 개선으로 인해 비디오 기반 연구는 최근 많은 관심을 얻고 있다. 비디오 데이터가 이미지 데이터와 비교하여 가장 큰 차이는 비디오 데이터에는 많은 양의 시간적, 공간적 정보가 포함되어 있다는 점이다. 이처럼 비디오에 포함된 많은 양의 데이터로 인해 컴퓨터 비전 연구에 있어서 행동 인식은 중요한 연구 과제 중 하나이지만, 비디오와 같이 움직임이 있는 환경에서 인간의 행동 인식은 매우 복잡하고 도전적인 과제이다. 인간에 대한 여러 연구를 바탕으로 인공지능에서는 인간과 유사한 주의(attention)메커니즘이 효율적인 인식 모델이라는 것을 알게 되었다. 이 효율적인 모델은 이미지 정보와 복잡한 연속 비디오 정보를 처리하는 데 이상적이다. 본 논문에서는 이러한 연구배경을 기반으로, 비디오에서 인간의 행동을 효율적으로 인식하기 위해 먼저 인간의 행동에 주목한 후 비디오 행동 인식에 주의메커니즘을 도입하고자 한다. 논문의 주요내용은 두 가지 주의 메카니즘을 기반으로 컨볼루션 신경망을 이용한 새로운 3D 잔류 주의 네트워크를 제안함으로써 비디오에서 인간의 행동을 식별하고자 한다. 제안 모델의 평가 결과 최대 90.7%정도의 정확도를 보였다.

• 전자공학회논문지CI
• /
• 제47권1호
• /
• pp.116-122
• /
• 2010

급격한 컴퓨터 기술의 발달로 인간과 컴퓨터 상호작용 (Human Computer Interface : HCI)에 대한 중요성이 높아지면서 보다 인간 친화적인 시스템 설계에 대한 요구가 높아지고 있다. 인간 친화적인 시스템 구축을 위해서는 먼저 개인성과 감성적요소가 고려되어야 한다. 지식(Knowledge), 감정(Emotion), 개인성(Personality)의 각 영역에서 이를 실현하려는 시도는 많이 되고 있으나 이 세 가지 요소를 연결하는 시도는 아직 미흡한 실정이다. 지식이 기억될 때 감정도 함께 기억되는 경우가 많으며 사고 과정과 결정 단계에서 감정적인 상태는 막대한 영향을 미친다. 따라서 좀 더 인간 친화적이며 섬세하고 효율적인 지능 시스템 구현을 위해서는 이러한 세 가지 요소를 고려한 시스템이 모델링되고 설계되어야 한다. 본 논문에서는 개인성을 고려한 지식-감정 반응 모델을 설계하고, 개인성을 구현하기위하여 5가지 타입을 정의하고 타입매칭선택 메커니즘에 의해 추출된 사고 스레드의 감정벡터를 계산하고 자극에 반응하는 방법을 제안하였다. 또한 제안된 시스템을 가상메모리에 적용하여 타입별 감정 반응을 시뮬레이션 하였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.47-57
• /
• 2009

최근 컴퓨터비젼 분야에서 이벤트 검출 및 인식이 활발히 연구되고 있으며, 도전적인 주제들 중 하나이다. 본 논문에서는 사무실 환경에서 발생할 수 있는 이벤트의 검출 및 인식을 위한 방법을 제안한다. 제안된 방법은 MHI(Motion History Image) 시퀀스(sequence)를 이응한 인간의 모션을 분석하며, 사람의 처형과 착용한 옷의 종류와 색상, 그리고 카메라로부터의 위치관계에 불변한 특성을 가진다. 제안된 방법은 기존의 방법들 중, 칼라 정보를 이용한 방법에 비해 조명의 변화에 민감하지 않은 장점이 있으며, 관심의 대상이 되는 객체의 외형과 같은 사전지식에 의존하는 방법에 비해 스케일에 민감하지 않은 장점이 있다. 에지검출 기술을 HMI 순서 영상 정보와 결합하여 사람 모션의 기하학적 특징을 추출한 후, 이벤트 인식의 기본정보로 활용한다. 제안된 방법은 단순한 이벤트 검출 프레임웍을 사용하기 때문에 검출하고자 하는 이벤트의 설명만을 첨가하는 것으로 확장이 가능하다. 또한, 제안된 방법은 컴퓨터비젼 기술에 기반한 많은 감시시스템 뿐 아니라 상황인식 기반의 이벤트 검출 시스템에 핵심기술이다.

• 한국통신학회논문지
• /
• 제40권11호
• /
• pp.2284-2290
• /
• 2015

다양한 외형 변화를 가지는 물체의 범주 인식성능을 향상 시키는데 있어서 사람의 행동은 매우 효과적인 컨텍스트 정보이다. 본 연구에서는 Bayesian 접근법을 기반으로 하는 간단한 확률 그래프 모델을 통해 사람의 행동을 물체 범주 인식을 위한 컨텍스트 정보로 활용하였다. 다양한 외형의 컵, 전화기, 가위 그리고 스프레이 물체에 대해 실험을 수행한 결과 물체의 용도에 대한 사람의 행동을 인식함으로써 물체 인식 성능을 8%~28%개선할 수 있었다.

• Journal of Information Processing Systems
• /
• 제12권3호
• /
• pp.489-501
• /
• 2016

As interest in the Internet increases, related technologies are also quickly progressing. As smart devices become more widely used, interest is growing in words are missing here like "improving the" or "figuring out how to use the" future Internet to resolve the fundamental issues of transmission quality and security. The future Internet is being studied to improve the limits of existing Internet structures and to reflect new requirements. In particular, research on words are missing here like "finding new forms of" or "applying new forms of" or "studying various types of" or "finding ways to provide more" reliable communication to connect the Internet to various services is in demand. In this paper, we analyze the security threats caused by malicious activities in the future Internet and propose a human behavior analysis-based security service model for malware detection and intrusion prevention to provide more reliable communication. Our proposed service model provides high reliability services by responding to security threats by detecting various malware intrusions and protocol authentications based on human behavior.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권1호
• /
• pp.321-344
• /
• 2017

Smart homes are the new generation of homes where pervasive computing is employed to make the lives of the residents more convenient. Human activity recognition (HAR) is a fundamental task in these environments. Since critical decisions will be made based on HAR results, accurate recognition of human activities with low uncertainty is of crucial importance. In this paper, a novel HAR method based on a difference of convex programming (DCP) problem is represented, which manages to handle uncertainty. For this purpose, given an input sensor data stream, a primary belief in each activity is calculated for the sensor events. Since the primary beliefs are calculated based on some abstractions, they naturally bear an amount of uncertainty. To mitigate the effect of the uncertainty, a DCP problem is defined and solved to yield secondary beliefs. In this procedure, the uncertainty stemming from a sensor event is alleviated by its neighboring sensor events in the input stream. The final activity inference is based on the secondary beliefs. The proposed method is evaluated using a well-known and publicly available dataset. It is compared to four HAR schemes, which are based on temporal probabilistic graphical models, and a convex optimization-based HAR procedure, as benchmarks. The proposed method outperforms the benchmarks, having an acceptable accuracy of 82.61%, and an average F-measure of 82.3%.