• Journal of International Society for Simulation Surgery
• /
• 제2권1호
• /
• pp.7-9
• /
• 2015

Purpose In the many face-related application such as head pose estimation, 3D face modeling, facial appearance manipulation, the robust and fast facial feature extraction is necessary. We present the facial feature extraction method based on shape regression and feature selection for real-time facial feature extraction. Materials and Methods The facial features are initialized by statistical shape model and then the shape of facial features are deformed iteratively according to the texture pattern which is selected on the feature pool. Results We obtain fast and robust facial feature extraction result with error less than 4% and processing time less than 12 ms. The alignment error is measured by average of ratio of pixel difference to inter-ocular distance. Conclusion The accuracy and processing time of the method is enough to apply facial feature based application and can be used on the face beautification or 3D face modeling.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권12호
• /
• pp.789-799
• /
• 2008

상호작용이 가능한 컴퓨팅 환경에서 사람과 컴퓨터 사이의 자연스러운 정보 교환을 위해 동작 인식과 관련한 연구가 활발하게 이루어지고 있다. 기존의 2차원 특징값을 이용하는 인식 알고리즘은 특징값 추출과 인식 속도는 빠르지만, 정확한 인식을 위해서 많은 환경적인 제약이 따른다. 또한 2.5차원 특징값을 이용하는 알고리즘은 2차원 특징값에 비해 높은 인식률을 제공하지만 물체의 회전 변화에 취약하고, 3차원 특징값을 이용하는 인식 알고리즘은 특징값 추출을 위해 3차원 물체를 재구성하는 선행 과정이 필요하기 때문에 인식 속도가 느리다. 본 논문은 3차원 물체 재구성 단계와 특징값 추출 단계를 통합하여 실시간으로 3차원 정보를 가지는 특징값 추출 방법을 제안한다. 제안하는 방법은 기존의 GPU 기반 비주얼 헐 생성 방법의 세부 과정 중에서 동작 인식에 필요한 데이타 생성 부분만을 수행하여 임의의 시점에서 3차원 물체에 대한 3종류의 프로젝션 맵을 생성하고, 각각의 프로젝션 맵에 대한 후-모멘트(Hu-moment)를 계산한다. 실험에서 우리는 기존의 방법들과 단계별 수행 시간을 비교하고, 생성된 후-모멘트에 대한 혼동 행렬(confusion matrix)을 계산함으로써 제안하는 방법이 실시간 동작 인식 환경에 적용될 수 있음을 확인하였다.

• 제어로봇시스템학회논문지
• /
• 제19권5호
• /
• pp.457-461
• /
• 2013

This paper proposes an image feature-based real-time RGB-D (Red-Green-Blue Depth) 3D SLAM (Simultaneous Localization and Mapping) system. RGB-D data from Kinect style sensors contain a 2D image and per-pixel depth information. 6-DOF (Degree-of-Freedom) visual odometry is obtained through the 3D-RANSAC (RANdom SAmple Consensus) algorithm with 2D image features and depth data. For speed up extraction of features, parallel computation is performed with GPU acceleration. After a feature manager detects a loop closure, a graph-based SLAM algorithm optimizes trajectory of the sensor and builds a 3D point cloud based map.

• 대한전자공학회논문지SP
• /
• 제48권1호
• /
• pp.122-131
• /
• 2011

최근에 널리 사용되고 있는 단일 영상 기반의 3차원 얼굴 복원 방법인 변형 가능한 3차원 얼굴 형상 모델(3D morphable shape model)은 입력 영상으로부터 2차원 얼굴 특징점들을 정확하게 추출할 경우, 입력 얼굴과 유사한 3차원 얼굴 형상을 생성할 수 있다. 그러나 실시간 3차원 얼굴 복원 시스템과 같이 사용자의 협조가 불가능한 경우에는 자동으로 얼굴 특징점들을 추출해야 하기 때문에, 특징점 추출 오류가 발생하여 정확한 3차원 얼굴 형상을 생성하기 어려운 문제가 있다. 이러한 문제를 해결하기 위해서, 본 논문에서는 특징점 추출 시 오추출 특징점과 정추출 특징점을 자동으로 분류하고, 정추출 특징점들만을 이용하여 3차원 얼굴을 복원하는 방법을 제안하였다. 실험결과에서는 특징점 자동 추출 오류를 고려하지 않은 기존 방법과 비교한 결과, 제안방법의 3차원 얼굴 복원 성능이 크게 향상되었음을 확인하였다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제12권4호
• /
• pp.263-269
• /
• 2012

The ability to characterize feature objects from radar readings is often limited by simply looking at their still frame reflectivity, differential reflectivity and differential phase data. In many cases, time-series study of these objects' reflectivity profile is required to properly characterize features objects of interest. This paper introduces a novel technique to automatically track multiple 3D radar structures in C,S-band in real-time using Doppler radar and profile their characteristic reflectivity distribution in time series. The extraction of reflectivity profile from different radar cluster structures is done in three stages: 1. static frame (zone-linkage) clustering, 2. dynamic frame (evolution-linkage) clustering and 3. characterization of clusters through time series profile of reflectivity distribution. The two clustering schemes proposed here are applied on composite multi-layers CAPPI (Constant Altitude Plan Position Indicator) radar data which covers altitude range of 0.25 to 10 km and an area spanning over hundreds of thousands $km^2$. Discrete numerical simulations show the validity of the proposed technique and that fast and accurate profiling of time series reflectivity distribution for deformable 3D radar structures is achievable.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권3호
• /
• pp.1189-1204
• /
• 2018

Detecting and capturing 3D human structures from the intensity-based image sequences is an inherently arguable problem, which attracted attention of several researchers especially in real-time activity recognition (Real-AR). These Real-AR systems have been significantly enhanced by using depth intensity sensors that gives maximum information, in spite of the fact that conventional Real-AR systems are using RGB video sensors. This study proposed a depth-based routine-logging Real-AR system to identify the daily human activity routines and to make these surroundings an intelligent living space. Our real-time routine-logging Real-AR system is categorized into two categories. The data collection with the use of a depth camera, feature extraction based on joint information and training/recognition of each activity. In-addition, the recognition mechanism locates, and pinpoints the learned activities and induces routine-logs. The evaluation applied on the depth datasets (self-annotated and MSRAction3D datasets) demonstrated that proposed system can achieve better recognition rates and robust as compare to state-of-the-art methods. Our Real-AR should be feasibly accessible and permanently used in behavior monitoring applications, humanoid-robot systems and e-medical therapy systems.

• 한국멀티미디어학회논문지
• /
• 제14권3호
• /
• pp.368-377
• /
• 2011

본 논문에서는 특징점 정합을 통한 객체인식, 파노라마 이미지 생성, 3차원 영상 복원 등에 사용될 수 있는 알고리즘 중 대표적인 SURF 알고리즘 기반 특징점 추출기의 하드웨어 구조 설계 및 FPGA 검증 결과에 대해 기술한다. SURF 알고리즘은 크기와 회전변화에 강한 특징점과 서술자를 생성함으로써 객체인식, 파노라마 이미지 생성, 3차원 영상 복원 등에 활용될 수 있다. 하지만 ARMl1(667Mhz) 프로세서와 128Mbytes의 DDR 메모리를 사용하는 임베디드 환경에서 실험결과 VGA($640{\times}480$) 해상도 C영상의 특정점 추출 처리 시약 7,200msec의 시간이 걸려 실시간 동작이 불가능한 것으로 파악되었다. 본 논문에서는 SURF 알고리즘의 핵심 요소인 적분 이미지 메모리 접근 패턴을 분석하여 메모리 접근 횟수와 메모리 사용량을 줄이는 방법을 이용해 실시간 동작이 가능하도록 하드웨어로 설계하였다. 설계된 하드웨어를 Xilinx(社)의 Vertex-5 FPGA 를 이용하여 검증한 결과 l00Mhz 클록에서 VGA 영상의 특징점 추출시 약 60frame/sec로 동작하여 실시간 응용으로 충분함을 알 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 추계학술대회
• /
• pp.77-80
• /
• 2013

SURF 알고리즘은 영상의 특징점 검출 및 서술자를 생성하는 알고리즘으로 크기와 회전, 조명 및 시점 등의 환경 변화에 강인한 특징을 가지고 있다. 이러한 특징 때문에 객체 인식, 파노라마 이미지, 3차원 영상 복원 등 영상처리 분야에서 많이 사용되고 있다. 하지만 SURF 알고리즘과 같은 대부분의 인식 알고리즘은 많은 양의 연산을 필요로 하기 때문에 실시간 구현이 어렵다. 본 논문은 SURF의 메모리 접근 횟수와 메모리 사용량을 분석하여 효율적인 메모리를 설계함으로써 메모리 접근 횟수와 메모리 사용량을 최소화하여 실시간 구현이 가능하도록 설계하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (A)
• /
• pp.301-302
• /
• 2008

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권3호
• /
• pp.1595-1613
• /
• 2017

The IR camera and laser-based IR projector provide an effective solution for real-time collection of moving targets in RGB-D videos. Different from the traditional RGB videos, the captured depth videos are not affected by the illumination variation. In this paper, we propose a novel feature extraction framework to describe human activities based on the above optical video capturing method, namely spatial-temporal texture features for 3D human activity recognition. Spatial-temporal texture feature with depth information is insensitive to illumination and occlusions, and efficient for fine-motion description. The framework of our proposed algorithm begins with video acquisition based on laser projection, video preprocessing with visual background extraction and obtains spatial-temporal key images. Then, the texture features encoded from key images are used to generate discriminative features for human activity information. The experimental results based on the different databases and practical scenarios demonstrate the effectiveness of our proposed algorithm for the large-scale data sets.