• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.706-708
• /
• 2005

본 연구에서는 다단계 필터와 복합형 신경망을 사용하는 얼굴 검출 시스템에서 FMM 모델을 이용한 특징선정 기법을 소개한다. 색상, 모션 및 명암을 이용한 다단계 필터는 검출 대상 영역의 개수를 줄임으로써 시스템의 실시간 검출기능을 가능하게 한다. 신경망을 이용한 특징추출 단계에서는 대상영역의 기본 특징으로부터 일련의 특징지도를 생성하게 된다. 이 과정에서 패턴 분류 신경망의 입력으로 사용되는 특징집합이 지나치게 커짐으로써 신경망의 규모와 계산량이 방대해지는 단정을 갖는다. 이에 본 논문에서는 FMM 모델의 수정된 특성으로부터 특징과 각 클래스에 대한 상호 연관도 요소를 정의하고, 이로부터 특징의 상대적 중요도를 평가함으로써 성능의 저하 없이 최적의 특징집합을 선정하는 방법론을 소개한다.

• 대한산업공학회지
• /
• 제18권2호
• /
• pp.11-22
• /
• 1992

Up to now, most researches on production automation have concentrated on local automation, e. g. CAD, CAM, robotics, etc. However, to achieve total automation it is required to link each local modules such as CAD, CAM into a unified and integrated system. One such missing link is between CAD and computer vision system. This thesis is an attempt to link the gap between CAD and computer vision system. In this paper, we propose algorithms that carry out edge detection, thinning and pruning from the image data of manufactured parts, which are obtained from video camera and then transmitted to computer. We also propose a feature extraction and surface determination algorithm which extract informations from the image data. The informations are compatible to IGES CAD data. In addition, we suggest a methodology to reduce search efforts for CAD data bases. The methodology is based on graph submatching algorithm in GEFG(Generalized Edge Face Graph) representation for each part.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1077-1079
• /
• 2020

본 논문에서는 현재 활발히 연구 중에 있는 얼굴 인식의 전 과정인 얼굴 검출단계를 OpenCV를 이용한 안드로이드 기반의 휴대용 스마트폰으로 실시간 얼굴 및 눈 영역을 검출하는 어플리케이션의 개발을 수행하였다. 얼굴 검출 및 눈 검출 기술은 OpenCV에서 제공하는 실시간 얼굴 인식을 위해 이미지에서 얼굴의 특징을 찾는 기법 중 하나인 Haar-like Feature을 이용한 검출 방식을 사용하였다. 얼굴 검출 및 눈 검출에 대해 스마트폰에서 촬영한 이미지를 사용하여 구현 결과를 평가하였다.

• 한국컴퓨터정보학회논문지
• /
• 제23권11호
• /
• pp.51-57
• /
• 2018

In this paper, we studied about the extraction of the parameter and implementation of speechreading system to recognize the Korean 8 vowel. Face features are detected by amplifying, reducing the image value and making a comparison between the image value which is represented for various value in various color space. The eyes position, the nose position, the inner boundary of lip, the outer boundary of upper lip and the outer line of the tooth is found to the feature and using the analysis the area of inner lip, the hight and width of inner lip, the outer line length of the tooth rate about a inner mouth area and the distance between the nose and outer boundary of upper lip are used for the parameter. 2400 data are gathered and analyzed. Based on this analysis, the neural net is constructed and the recognition experiments are performed. In the experiment, 5 normal persons were sampled. The observational error between samples was corrected using normalization method. The experiment show very encouraging result about the usefulness of the parameter.

• 한국통신학회논문지
• /
• 제28권12C호
• /
• pp.1239-1249
• /
• 2003

시선 위치 추적이란 현재 사용자가 쳐다보고 있는 위치를 컴퓨터 시각 인식 방법을 이용하여 파악하는 연구이다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라를 이용하여 사용자의 얼굴 및 눈동자 움직임을 추적하였다. 그러나 이러한 경우, 광각 카메라 내에 포함된 눈동자 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하지 못하는 문제점이 있었다. 그러므로 이 논문에서는 얼굴 영상을 취득하기 위한 광각 카메라 및 눈 영역을 확대하여 취득하는 협각 카메라, 즉 2개의 카메라를 이용하여 시선 위치추적 시스템을 구현하였다. 또한, 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라에서 추출된 얼굴 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 실험자가 눈동자는 고정으로 하고 얼굴만 움직여서 쳐다보는 경우에 약 3.1cm, 흐리고 얼굴 및 눈동자를 같이 움직여서 쳐다보는 경우에 약 3.57cm의 최소 자승 에러성능을 나타냈다. 처리 속도도 Pentium-IV 1.8 GHz에서 약 30ms 이내의 처리 속도를 나타냈다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제11권3호
• /
• pp.284-291
• /
• 2005

본 연구에서는 학습한 표정 패턴을 기반으로 비디오에서 사람의 얼굴을 검출하고 표정을 분석하여 분류하는 프레임워크를 제안한다. 제안 프레임워크는 얼굴 표정을 인식하는데 있어 공간적 정보 외시간에 따라 변하는 표정의 패턴을 표현하기 위해 표정 특성을 공간적으로 분석한 PCA와 시공간적으로 분석한 Hidden Markov Model(HMM) 기반의 표정 HMM을 이용한다. 표정의 공간적 특징 추출은 시간적 분석 과정과 밀접하게 연관되어 있기 때문에 다양하게 변화하는 표정을 검출하여 추적하고 분류하는데 HMM의 시공간적 접근 방식을 적용하면 효과적이기 때문이다. 제안 인식 프레임워크는 현재의 시각적 관측치와 이전 시각적 결과간의 사후 확률 방법에 의해 완성된다. 결과적으로 제안 프레임워크는 대표적인 6개 표정뿐만 아니라 표정의 정도가 약한 프레임에 대해서도 정확하고 강건한 표정 인식 결과를 보인다. 제안 프레임 워크를 이용하면 표정 인식, HCI, 키프레임 추출과 같은 응용 분야 구현에 효과적이다

• 지능정보연구
• /
• 제28권1호
• /
• pp.89-106
• /
• 2022

최근 영상 데이터의 급증으로 이를 효과적으로 처리하기 위해 객체 탐지 및 추적, 행동 인식, 표정 인식, 재식별(Re-ID)과 같은 다양한 컴퓨터비전 기술에 대한 수요도 급증했다. 그러나 객체 탐지 및 추적 기술은 객체의 영상 촬영 장소 이탈과 재등장, 오클루전(Occlusion) 등과 같이 성능을 저하시키는 많은 어려움을 안고 있다. 이에 따라 객체 탐지 및 추적 모델을 근간으로 하는 행동 및 표정 인식 모델 또한 객체별 데이터 추출에 난항을 겪는다. 또한 다양한 모델을 활용한 딥러닝 아키텍처는 병목과 최적화 부족으로 성능 저하를 겪는다. 본 연구에서는 YOLOv5기반 DeepSORT 객체추적 모델, SlowFast 기반 행동 인식 모델, Torchreid 기반 재식별 모델, 그리고 AWS Rekognition의 표정 인식 모델을 활용한 영상 분석 시스템에 단일 연결 계층적 군집화(Single-linkage Hierarchical Clustering)를 활용한 재식별(Re-ID) 기법과 GPU의 메모리 스루풋(Throughput)을 극대화하는 처리 기법을 적용한 행동 및 표정 검출용 영상 분석 시스템을 제안한다. 본 연구에서 제안한 시스템은 간단한 메트릭을 사용하는 재식별 모델의 성능보다 높은 정확도와 실시간에 가까운 처리 성능을 가지며, 객체의 영상 촬영 장소 이탈과 재등장, 오클루전 등에 의한 추적 실패를 방지하고 영상 내 객체별 행동 및 표정 인식 결과를 동일 객체에 지속적으로 연동하여 영상을 효율적으로 분석할 수 있다.

• Journal of Information Processing Systems
• /
• 제16권1호
• /
• pp.6-29
• /
• 2020

Biometrics identification using multiple modalities has attracted the attention of many researchers as it produces more robust and trustworthy results than single modality biometrics. In this paper, we present a novel multimodal recognition system that trains a deep learning network to automatically learn features after extracting multiple biometric modalities from a single data source, i.e., facial video clips. Utilizing different modalities, i.e., left ear, left profile face, frontal face, right profile face, and right ear, present in the facial video clips, we train supervised denoising auto-encoders to automatically extract robust and non-redundant features. The automatically learned features are then used to train modality specific sparse classifiers to perform the multimodal recognition. Moreover, the proposed technique has proven robust when some of the above modalities were missing during the testing. The proposed system has three main components that are responsible for detection, which consists of modality specific detectors to automatically detect images of different modalities present in facial video clips; feature selection, which uses supervised denoising sparse auto-encoders network to capture discriminative representations that are robust to the illumination and pose variations; and classification, which consists of a set of modality specific sparse representation classifiers for unimodal recognition, followed by score level fusion of the recognition results of the available modalities. Experiments conducted on the constrained facial video dataset (WVU) and the unconstrained facial video dataset (HONDA/UCSD), resulted in a 99.17% and 97.14% Rank-1 recognition rates, respectively. The multimodal recognition accuracy demonstrates the superiority and robustness of the proposed approach irrespective of the illumination, non-planar movement, and pose variations present in the video clips even in the situation of missing modalities.

• 전자공학회논문지CI
• /
• 제45권1호
• /
• pp.25-36
• /
• 2008

눈 검출은 눈 동공의 정 중앙의 위치를 찾아내는 작업을 의미하며, 얼굴 인식 및 관련된 응용 분야 등에서 필요한 작업이다. 현재까지 보고된 대부분의 눈 검출 방법의 경우 성공적인 적용을 위해서는 여전히 정확도 및 검출 속도의 개선을 필요로 한다. 본 논문에서는 큰 계산량의 부담이 없는 다중 해상도 가버 특징 벡터를 이용한 강인한 눈 검출 방법을 제안한다. 가버 특징 벡터를 사용한 눈 검출은 EBGM 등에서 이미 이용되고 있다. 그런데, RBGM 등에서 사용한 눈 검출 방법은 초기값에 민감하고 조명, 자세 등에 강인하지 못하여, 만족할 만한 검출률을 얻기 위해서는 광범위한 탐색 범위가 필요하다. 이는 계산량의 상당한 증가를 초래한다. 본 논문에서 제안한 눈 검출 방법은 다중 해상도 접근 방법을 활용한다. 먼저, 원래 해상도 얼굴 이미지를 다운샘플링하여 얻은 저해상도 얼굴 이미지에서, 초기 추정 눈 위치에서의 가버 특징 벡터와 해당 해상도의 눈에 대한 가버 특징 벡터 모델과의 가버젯 유사도를 이용하여 눈 위치를 검출한다. 이후 검출된 눈 위치를 업스케일링하여 상위 해상도의 얼굴 이미지에서의 눈 위치 초기값으로 취하고 앞 단계에서처럼 가버젯 유사도를 이용하여 눈을 검출한다. 이 과정을 반복하여 최종적으로 원래 해상도 얼굴 이미지에서의 눈 위치를 확정한다. 또한, 본 논문에서는 제안된 다중 해상도 접근 방법이 조명에 대해서도 보다 강인하도록 하는 데 효과적인 조명 정규화 기법을 제안하고, 이를 다중 해상도 접근 방법의 전처리 단계에 추가적으로 적용함으로써 눈 검출 성공률을 더욱 개선하였다. 실험을 통해, 본 논문에서 제안한 다중스케일 가버 특징 벡터 기반 눈 검출 방법은 계산량을 크게 증가 시키지 않으면서 기존 연구들에서 보고된 다른 눈 검출 방법에 비해 정확도가 개선된 검출 방법이며, 자세 및 조명 변화에 대해서도 강인하다는 것을 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권12호
• /
• pp.1228-1238
• /
• 2003

이 논문에서는 컴퓨터 시각 인식 방법에 의해 모니터 상에 사용자가 쳐다보고 있는 시선 위치를 파악하기 위한 새롭고 실용적인 방법을 제안한다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라 시스템을 주로 많이 이용하였다. 그러나 이러한 경우 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하기 어려운 문제점이 있다. 그러므로 이 논문에서는 광각 카메라(얼굴의 움직임에 의한 시선 위치 추적용) 및 눈 영역을 확대하여 취득하는 협각 카메라(눈동자 움직임에 의한 시선 위치 추적용), 즉 이중 카메라를 이용하여 시선 위치 추적 시스템을 구현하였다. 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라로부터 추출된 눈 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있으며, 눈 특징점을 보다 빠르고 정확하게 추출하기 위해 이중 적외선 조명을 사용하였다. 실험 결과, 본 논문에서는 실시간으로 동작하는 시선 위치 추적 시스템을 구현할 수 있었으며, 이때 얼굴 및 눈동자 움직임을 모두 고려하여 계산한 모니터상의 시선 위치 정확도는 약 3.44cm의 최소 자승 에러성능을 나타냈다.