• 한국지능시스템학회논문지
• /
• 제15권2호
• /
• pp.191-196
• /
• 2005

칼라 영상을 이용한 감정 인식 기술은 사회의 여러 분야에서 필요성이 대두되고 있음에도 불구하고 인식 과정의 어려움으로 인해 풀리지 않는 문제로 남아있다. 특히, 얼굴 영상을 이용한 감정 인식 기술은 많은 응용이 가능하기 때문에 개발의 필요성이 증대되고 있다. 얼굴 영상을 이용하여 감정을 인식하는 시스템은 매우 다양한 기법들이 사용되는 복합적인 시스템이다. 따라서, 이를 설계하기 위해서는 얼굴 영상 분석, 특징 벡터 추출 및 패턴 인식 등 다양한 기법의 연구가 필요하다. 본 논문에서 이전에 연구된 얼굴 영상 기법들을 바탕으로 한 새로운 감정 인식 시스템을 제안한다. 제안된 시스템은 감정 분석에 적합한 퍼지 이론을 바탕으로 한 퍼지 분류기를 이용하여 감정을 인식한다. 제안된 시스템의 성능을 평가하기 위해 평가데이터 베이스가 구축되었으며, 이를 통해 제안된 시스템의 성능을 평가하였다.

• Journal of Information Processing Systems
• /
• 제20권4호
• /
• pp.535-549
• /
• 2024

Facial expressions (FEs) serve as fundamental components for human emotion assessment and human-computer interaction. Traditional convolutional neural networks tend to overlook valuable information during the FE feature extraction, resulting in suboptimal recognition rates. To address this problem, we propose a deep learning framework that incorporates hierarchical feature fusion, contextual data, and an attention mechanism for precise FE recognition. In our approach, we leveraged an enhanced VGGNet16 as the backbone network and introduced an improved group convolutional channel attention (GCCA) module in each block to emphasize the crucial expression features. A partial decoder was added at the end of the backbone network to facilitate the fusion of multilevel features for a comprehensive feature map. A reverse attention mechanism guides the model to refine details layer-by-layer while introducing contextual information and extracting richer expression features. To enhance feature distinguishability, we employed islanding loss in combination with softmax loss, creating a joint loss function. Using two open datasets, our experimental results demonstrated the effectiveness of our framework. Our framework achieved an average accuracy rate of 74.08% on the FER2013 dataset and 98.66% on the CK+ dataset, outperforming advanced methods in both recognition accuracy and stability.

• International Journal of Computer Science & Network Security
• /
• 제24권4호
• /
• pp.26-34
• /
• 2024

Most human emotions are conveyed through facial expressions, which represent the predominant source of emotional data. This research investigates the impact of crowds on human emotions by analysing facial expressions. It examines how crowd behaviour, face recognition technology, and deep learning algorithms contribute to understanding the emotional change according to different level of crowd. The study identifies common emotions expressed during congestion, differences between crowded and less crowded areas, changes in facial expressions over time. The findings can inform urban planning and crowd event management by providing insights for developing coping mechanisms for affected individuals. However, limitations and challenges in using reliable facial expression analysis are also discussed, including age and context-related differences.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권6호
• /
• pp.570-579
• /
• 2005

표정인식 연구는 맨$\cdot$머신 인터페이스 개발, 개인 식별, 가상모델에 의한 표정복원 등 응용가치의 무한한 가능성과 함께 다양한 분야에서 연구되고 있다 본 논문에서는 인간의 기본정서 중 행복, 분노, 놀람, 슬픔에 대한 4가지 표정을 얼굴의 강체 움직임이 없는 얼굴동영상으로부터 간단히 표정인식 할 수 있는 방법을 제안한다. 먼저, 얼굴 및 표정을 결정하는 요소들과 각 요소의 특징영역들을 색상, 크기 그리고 위치정보를 이용하여 자동으로 검출한다. 다음으로 Gradient Method를 이용하여 추정한 광류 값으로 특징영역들에 대한 방향패턴을 결정한 후, 본 연구가 제안한 방향모델을 이용하여 방향패턴에 대한 매칭을 행한다. 각 정서를 대표하는 방향모델과의 패턴 매칭에서 그 조합 값이 최소를 나타내는 부분이 가장 유사한 정서임을 판단하고 표정인식을 행한다. 마지막으로 실험을 통하여 본 논문의 유효성을 확인한다.

• 한국정보전자통신기술학회논문지
• /
• 제13권3호
• /
• pp.206-211
• /
• 2020

얼굴검출 과정은 영상 모니터링에서 매우 중요한 과정이며 생체 인식 기술의 한 종류이다. 검출과정은 변수가 많고 복잡하여 하드웨어가 발전하고 있는 근래에 와서 소프트웨어적인 발전이 이루어지고 있다. CCTV를 이용하는 분야 중 얼굴 검출 기술은 얼굴을 분석하기 이전에 실행되는 과정으로 영상에서 얼굴이 있는 곳을 찾아내는 기술이다. 사람의 얼굴은 조명이나 피부 색, 방향과 각도, 표정 등 여러 가지 환경적 조건에 따라 민감한 반응을 하기 때문에, 얼굴 검출에 관한 연구는 많은 어려움이 있다. 얼굴 검출 기술의 활용성과 중요성은 시간이 지날수록 각광받고 있으나, 얼굴 검출 이전에 선행되어야 하는 얼굴 영역 검출 기술에 대해서는 간과하는 측면이 많다. 본 논문의 시스템은 AdaBoost detector에서 검출 못하는 기울어진 얼굴을 검출할 수 있어 다른 사물의 검출도 같은 기술을 사용할 수 있을 것이다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.309-316
• /
• 2024

얼굴 인식 기술은 다양한 분야에서 활용되고 있지만, 이는 사진 스푸핑과 같은 위조 공격에 취약하다는 문제를 가지고 있다. 이를 극복하기 위한 여러 연구가 진행되고 있지만, 대부분은 멀티모달 카메라와 같은 특별한 장비를 장착하거나 고성능 환경에서 동작하는 것을 전제로 하고 있다. 본 연구는 얼굴 인식 위조 공격 문제를 해결하기 위해, 특별한 장비 없이 일반적인 웹캠에서 동작할 수 있는 LH-FAS v2를 제안한다. 제안된 방법에서는, 머리 자세 추정에는 FSA-Net을, 얼굴 식별에는 ArcFace를 활용하여 사진 스푸핑 여부를 판별한다. 실험을 위해, 사진 스푸핑 공격 비디오로 구성된 VD4PS 데이터셋을 제시하였으며, 이를 통해 LH-FAS v2의 균형 잡힌 정확도와 속도를 확인하였다. 본 방법은 향후 사진 스푸핑 방어에 효과적일 것으로 기대한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권8호
• /
• pp.3962-3980
• /
• 2019

To deal with single sample face recognition, this paper presents a patch based semi-supervised linear regression (PSLR) algorithm, which draws facial variation information from unlabeled samples. Each facial image is divided into overlapped patches, and a regression model with mapping matrix will be constructed on each patch. Then, we adjust these matrices by mapping unlabeled patches to $[1,1,{\cdots},1]^T$. The solutions of all the mapping matrices are integrated into an overall objective function, which uses ${\ell}_{2,1}$-norm minimization constraints to improve discrimination ability of mapping matrices and reduce the impact of noise. After mapping matrices are computed, we adopt majority-voting strategy to classify the probe samples. To further learn the discrimination information between probe samples and obtain more robust mapping matrices, we also propose a multistage PSLR (MPSLR) algorithm, which iteratively updates the training dataset by adding those reliably labeled probe samples into it. The effectiveness of our approaches is evaluated using three public facial databases. Experimental results prove that our approaches are robust to illumination, expression and occlusion.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권9호
• /
• pp.2505-2528
• /
• 2023

The field of facial expression recognition (FER) has been actively researched to improve human-computer interaction. In recent years, deep learning techniques have gained popularity for addressing FER, with numerous studies proposing end-to-end frameworks that stack or widen significant convolutional neural network layers. While this has led to improved performance, it has also resulted in larger model sizes and longer inference times. To overcome this challenge, our work introduces a novel lightweight model architecture. The architecture incorporates three key factors: Depth-wise Separable Convolution, Residual Block, and Attention Modules. By doing so, we aim to strike a balance between model size, inference speed, and accuracy in FER tasks. Through extensive experimentation on popular benchmark FER datasets, our proposed method has demonstrated promising results. Notably, it stands out due to its substantial reduction in parameter count and faster inference time, while maintaining accuracy levels comparable to other lightweight models discussed in the existing literature.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.493-495
• /
• 2023

Deep learning methods and attention mechanisms have been incorporated to improve facial emotion recognition, which has recently attracted much attention. The fusion approaches have improved accuracy by combining various types of information. This research proposes a fusion network with self-attention and local attention mechanisms. It uses a multi-layer perceptron network. The network extracts distinguishing characteristics from facial images using pre-trained models on RAF-DB dataset. We outperform the other fusion methods on RAD-DB dataset with impressive results.

• 정보처리학회논문지B
• /
• 제9B권4호
• /
• pp.491-500
• /
• 2002

본 논문에서는 칼라 얼굴 영상으로부터 피부색 정보, 얼굴의 기하학적 특징벡터 및 안면각 정보를 이용한 실시간 얼굴검출 및 인식 알고리즘을 제안하였다. 제안한 알고리즘에서는 HSI 칼라좌표계상의 얼굴 피부색 정보와 얼굴 에지 정보를 함께 이용함으로써 얼굴 영역 검출 효율을 개선하였다. 또한 추출된 얼굴 영역으로부터 얼굴인식율 개선을 위해 얼굴 특징자들을 추출하고 추출된 얼굴 특징자들의 기하학적 관계로 구성된 얼굴 특징벡터와 얼굴 안면각 정보를 사용하여 얼굴 인식율을 개선하였다. 실험에서는 제안한 방법이 기존의 방법에 비해 얼굴 영역 검출율 뿐만 아니라 얼굴 인식율도 개선되었음을 알 수 있다.