• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권4호
• /
• pp.403-410
• /
• 2004

바이모달 음성인식기는 잡음 환경하 음성인식 성능을 향상하기 위해 고안되었다. 바이모달 음 성인식기에 있어 영상을 통한 시각 특징 추출은 매우 중요한 역할을 하며 이를 위한 입술 위치 검출은 시각 특징 추출을 위한 중요한 선결 과제이다 본 논문은 색상분포와 SVM을 이용하여 시각 특징 추출을 위한 입술 위치 검출 방법을 제안하였다. 제안된 방법은 얼굴색/입술 색상 분포를 학습하여 이로부터 입술의 초기 위치를 빠르게 찾아내고 SVM을 이용하여 입술의 정확한 위치를 찾음으로써 정확하고 빠르게 입술의 위치를 찾도록 하였으며 실험을 통해 바이모달 인식기에 적용하기에 적합함을 알 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.372-378
• /
• 2003

얼굴 인식을 위한 주요 기법인 PCA, LBA 등과 같은 mapping에 의한 기법과 템플리트 정합기법 모두 얼굴 영역의 회전, 이동, 표정, 그리고 조명조건의 변화에 민감한 특성을 가진다. 본 논문에서는, 영상의 변화를 보상할 수 있는 전처리 과정으로서 기하학적 특징에 기반한 순수 얼굴영역검출기법을 도입하고 후처리 과정으로서 간단한 정합기법을 사용한 얼굴인식 기법을 제안한다. 제안한 기법은 PCA와 LDA 기법에 비해 영상의 변화에 민감하지 않고 높은 인식률을 보장할 수 있는 장점을 가진다.

• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.337-351
• /
• 2021

Automatically recognizing facial expressions in video sequences is a challenging task because there is little direct correlation between facial features and subjective emotions in video. To overcome the problem, a video facial expression recognition method using spatiotemporal recurrent neural network and feature fusion is proposed. Firstly, the video is preprocessed. Then, the double-layer cascade structure is used to detect a face in a video image. In addition, two deep convolutional neural networks are used to extract the time-domain and airspace facial features in the video. The spatial convolutional neural network is used to extract the spatial information features from each frame of the static expression images in the video. The temporal convolutional neural network is used to extract the dynamic information features from the optical flow information from multiple frames of expression images in the video. A multiplication fusion is performed with the spatiotemporal features learned by the two deep convolutional neural networks. Finally, the fused features are input to the support vector machine to realize the facial expression classification task. The experimental results on cNTERFACE, RML, and AFEW6.0 datasets show that the recognition rates obtained by the proposed method are as high as 88.67%, 70.32%, and 63.84%, respectively. Comparative experiments show that the proposed method obtains higher recognition accuracy than other recently reported methods.

• 전기전자학회논문지
• /
• 제21권4호
• /
• pp.388-396
• /
• 2017

얼굴 검출에는 다양한 포즈, 빛의 세기, 얼굴이 가려지는 현상 등의 많은 변수가 존재하므로, 높은 성능의 검출 시스템이 요구된다. 이에 영상 분류에 뛰어난 Convolutional Neural Network (CNN)이 적절하나, CNN의 많은 연산은 고성능 하드웨어 자원을 필요로한다. 그러나 얼굴 검출을 위한 소형, 모바일 시스템의 개발에는 저가의 저전력 환경이 필수적이고, 이를 위해 본 논문에서는 소형의 FPGA를 타겟으로, 얼굴 검출에 적절한 3-Stage Cascade CNN 구조를 기반으로하는 CPU-FPGA 통합 시스템을 설계 구현한다. 가속을 위해 알고리즘 단계에서 Adaptive Region of Interest (ROI)를 적용했으며, Adaptive ROI는 이전 프레임에 검출된 얼굴 영역 정보를 활용하여 CNN이 동작해야 할 횟수를 줄인다. CNN 연산 자체를 가속하기 위해서는 FPGA Accelerator를 이용한다. 가속기는 Bottleneck에 해당하는 Convolution 연산의 가속을 위해 FPGA 상에 다수의 FeatureMap을 한번에 읽어오고, Multiply-Accumulate (MAC) 연산을 병렬로 수행한다. 본 시스템은 Terasic사의 DE1-SoC 보드에서 ARM Cortex A-9와 Cyclone V FPGA를 이용하여 구현되었으며, HD ($1280{\times}720$)급 입력영상에 대해 30FPS로 실시간 동작하였다. CPU-FPGA 통합 시스템은 CPU만을 이용한 시스템 대비 8.5배의 전력 효율성을 보였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제16권1호
• /
• pp.1-7
• /
• 2010

비전 기반의 감시 시스템에서 동일인의 식별은 매우 중요하다. 감시 시스템에서 주로 사용되는 CCTV 카메라의 영상은 상대적으로 낮은 해상도를 가지므로 얼굴 인식 기법을 이용하여 동일인을 식별하기는 어렵다. 본 논문에서는 CCTV 카메라 영상에서 의상 특징을 이용하여 동일인을 식별하는 알고리즘을 제안한다. 건물의 주출입구에서 출입자가 인증을 받을 때, 의상 특징이 데이터베이스에 저장된다. 그 후, 건물 내에서 촬영한 영상에 대해 배경 차감 및 피부색 발견 기법을 이용하여 의상 영역을 발견한다. 의상의 특징 벡터는 텍스처와 색상 특징을 이용하여 구성한다. 텍스처 특징은 지역적 에지 히스토그램을 이용하여 추출된다. 색상 특징은 색상 지도의 옥트리 기반 양자화(octree-based quantization)를 이용하여 추출된다. 건물 내의 촬영 영상이 주어질 때, 데이터베이스에서 의상 특징이 가장 유사한 사람을 발견함으로써 동일인을 식별하며, 의상 특징 벡터 간의 유사도 측정을 위해서는 유클리디안 거리(Euclidean distance)를 사용한다. 실험 결과, 얼굴인식 기법이 최대 43%의 성공률을 보인 데 비해, 의상 특징을 이용하여 80%의 성공률로 동일인을 식별하였다.

• 제어로봇시스템학회논문지
• /
• 제16권12호
• /
• pp.1150-1158
• /
• 2010

In this study, the Polynomial-based Radial Basis Function Neural Networks is proposed as one of the recognition part of overall face recognition system that consists of two parts such as the preprocessing part and recognition part. The design methodology and procedure of the proposed pRBFNNs are presented to obtain the solution to high-dimensional pattern recognition problem. First, in preprocessing part, we use a CCD camera to obtain a picture frame in real-time. By using histogram equalization method, we can partially enhance the distorted image influenced by natural as well as artificial illumination. We use an AdaBoost algorithm proposed by Viola and Jones, which is exploited for the detection of facial image area between face and non-facial image area. As the feature extraction algorithm, PCA method is used. In this study, the PCA method, which is a feature extraction algorithm, is used to carry out the dimension reduction of facial image area formed by high-dimensional information. Secondly, we use pRBFNNs to identify the ID by recognizing unique pattern of each person. The proposed pRBFNNs architecture consists of three functional modules such as the condition part, the conclusion part, and the inference part as fuzzy rules formed in 'If-then' format. In the condition part of fuzzy rules, input space is partitioned with Fuzzy C-Means clustering. In the conclusion part of rules, the connection weight of pRBFNNs is represented as three kinds of polynomials such as constant, linear, and quadratic. Coefficients of connection weight identified with back-propagation using gradient descent method. The output of pRBFNNs model is obtained by fuzzy inference method in the inference part of fuzzy rules. The essential design parameters (including learning rate, momentum coefficient and fuzzification coefficient) of the networks are optimized by means of the Particle Swarm Optimization. The proposed pRBFNNs are applied to real-time face recognition system and then demonstrated from the viewpoint of output performance and recognition rate.

• 대한전자공학회논문지SP
• /
• 제39권3호
• /
• pp.23-35
• /
• 2002

시선 위치 추적이란 모니터상에 사용자가 쳐다보고 있는 지점을 파악해 내는 기술이다 이 논문에서는 컴퓨터 비젼 방법을 이용하여 사용자가 모니터 상에 어느 지점을 쳐다보고 있는지를 파악(시선 위치 추적)하는 새로운 방법을 제안한다. 시선위치를 파악하기 위해 본 논문에서는 얼굴 영역 및 얼굴 특징점(양 눈, 양 콧구멍, 입술 끝점 등)을 2차원 카메라 영상으로부터 추출하였으며, 이들의 움직임으로부터 카메라 보정 및 매개변수 추정 방법등을 이용하여 초기 3차원 위치를 추정해 내었다. 이후 모니터 상의 한 지점을 쳐다보기 위해 사용자가 얼굴을 움직이는 경우 이러한 얼굴의 3차원 움직임 량 역시 자동으로 추정하였다. 이로부터 변화된 얼굴 특징점의 3차원 위치를 계산해 낼 수 있었으며, 이를 바탕으로 모니터 상의 시선 위치를 구하였다. 실험 결과, 19인치 모니터상의 임의의 지점을 사용자가 쳐다보았을 때, 약 2.01인치의 시선 위치에러 성능을 얻었다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권10호
• /
• pp.363-372
• /
• 2022

최근 코로나 19 팬더믹 이후 원격근무의 확대와 더불어 랜섬웨어 팬더믹이 심화하고 있다. 현재 안티바이러스 백신 업체들이 랜섬웨어에 대응하고자 노력하고 있지만, 기존의 파일 시그니처 기반 정적 분석은 패킹의 다양화, 난독화, 변종 혹은 신종 랜섬웨어의 등장 앞에 무력화될 수 있다. 이러한 랜섬웨어 탐지를 위한 다양한 연구가 진행되고 있으며, 시그니처 기반 정적 분석의 탐지 방법과 행위기반의 동적 분석을 이용한 탐지 연구가 현재 주된 연구유형이라고 볼 수 있다. 본 논문에서는 단일 분석만을 이용하여 탐지모델에 적용하는 것이 아닌 ".text Section" Opcode와 실제 사용하는 Native API의 빈도수를 추출하고 K-means Clustering 알고리즘, 코사인 유사도, 피어슨 상관계수를 이용하여 선정한 특징정보들 사이의 연관성을 분석하였다. 또한, 타 악성코드 유형 중 웜과 Cerber형 랜섬웨어를 분류, 탐지하는 실험을 통해, 선정한 특징정보가 특정 랜섬웨어(Cerber)를 탐지하는 데 특화된 정보임을 검증하였다. 위와 같은 검증을 통해 최종 선정된 특징정보들을 결합하여 기계학습에 적용하여, 최적화 이후 정확도 93.3% 등의 탐지율을 나타내었다.

• 전자공학회논문지CI
• /
• 제43권3호
• /
• pp.30-38
• /
• 2006

본 논문에서는 스테레오 얼굴영상으로부터 3차원 정보인 거리와 깊이 정보를 이용해 거리에 따라 얼굴인식률이 떨어지는 것을 개선하였다. 단안 영상은 객체의 거리, 크기, 이동, 회전, 깊이 등의 불확실한 정보로 인해 인식률이 떨어지는 문제점이 있다. 또한 얼굴의 회전, 조명, 표정변화 등의 영상정보가 취득되지 않으면 인식률이 매우 저하되는 단점이 있다. 그래서 본 연구는 이와 같은 문제점을 해결하고자 한다. 제안된 방법은 눈 검출 알고리듬, 얼굴의 회전 방향분석, PCA(Principal Component Analysis)로 구성된다. 또한 제한된 영역에서 얼굴을 고속으로 검출하기 위해 RGB컬러공간에서 YCbCr공간으로 변환한다. 얼굴후보 영역에서 다층 상대적인 밝기 맵을 생성하여 얼굴의 기하학적인 구조로부터 얼굴인지를 판별한다. 스테레오 얼굴영상으로부터 거리 및 눈과 입의 깊이 정보를 취득하고, 거리에 따라 확대, 축소, 이동, 회전 등의 정규화를 통해 $92{\times}112$ 크기의 얼굴을 검출한다. 검출된 왼쪽 얼굴영상과 추정된 방향의 차를 PCA로 학습한다. 제안된 방법은 정면에서 최대 95.8%(100cm), 포즈변화에 따라 98.3%의 인식률을 얻을 수 있었다. 따라서 실험을 통하여 제안된 방법은 거리에 따라 확대, 축소와 회전 등의 정확한 정규화로 높은 인식률을 얻을 수 있음을 보였다.