• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권10호
• /
• pp.4080-4097
• /
• 2020

In recent years, convolutional neural network (CNN) has become the primary method for face detection. But its shortcomings are obvious, such as expensive calculation, heavy model, etc. This makes CNN difficult to use on the mobile devices which have limited computing and storage capabilities. Therefore, the design of lightweight CNN for face detection is becoming more and more important with the popularity of smartphones and mobile Internet. Based on the CPU real-time face detector FaceBoxes, we propose a multi-task lightweight face detector, which has low computing cost and higher detection precision. First, to improve the detection capability, the squeeze and excitation modules are used to extract attention between channels. Then, the textual and semantic information are extracted by shallow networks and deep networks respectively to get rich features. Finally, the landmark detection module is used to improve the detection performance for small faces and provide landmark data for face alignment. Experiments on AFW, FDDB, PASCAL, and WIDER FACE datasets show that our algorithm has achieved significant improvement in the mean average precision. Especially, on the WIDER FACE hard validation set, our algorithm outperforms the mean average precision of FaceBoxes by 7.2%. For VGA-resolution images, the running speed of our algorithm can reach 23FPS on a CPU device.

• 한국멀티미디어학회논문지
• /
• 제24권8호
• /
• pp.1020-1025
• /
• 2021

Facial alignment is very important task for human life. And facial landmark detection is one of the instrumental methods in face alignment. We introduce the stacked hourglass networks with transposed convolutional layers for facial landmark detection. our method substitutes nearest neighbor upsampling for transposed convolutional layer. Our method returns better accuracy in facial landmark detection compared to stacked hourglass networks with nearest neighbor upsampling.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권9호
• /
• pp.3685-3700
• /
• 2015

To avoid influences caused by pose, illumination and facial expression variations, we propose a robust three-step algorithm based on ASM and POEM for facial landmark localization. Firstly, Model Selection Factor is utilized to achieve a pose-free initialized shape. Then, we use the global shape model of ASM to describe the whole face and the texture model POEM to adjust the position of each landmark. Thirdly, a second localization is presented to discriminatively refine the subtle shape variation for some organs and contours. Experiments are conducted in four main face datasets, and the results demonstrate that the proposed method accurately localizes facial landmarks and outperforms other state-of-the-art methods.

• 정보과학회 논문지
• /
• 제41권9호
• /
• pp.666-673
• /
• 2014

본 논문에서는 비제약적 얼굴 데이터 베이스를 위한 확장성 있는 얼굴 인식 방법을 연구하고, 간단한 실험 결과를 소개한다. 기존의 얼굴 인식 연구들은 주로 조명, 얼굴 각도, 표정, 배경 등 제약이 있는 환경에서의 정확도 향상에 초점을 맞추고 있어서 비제약적 얼굴 데이터 베이스에 사용하기에 적합하지 않다. 제안하는 얼굴인식 방법은 비제약적 얼굴 인식을 위한 특징 추출 알고리즘으로, 먼저 지역적 특징이 존재하는 눈, 코, 입과 같이 얼굴의 중요한 특징을 나타내는 영역을 분리한다. 각 얼굴 주요 위치는 고차원의 다중 스케일 국부 이진패턴 히스토그램(Multi-scale LBP histogram) 특징 벡터로 기술된다. 단일 얼굴 주요 위치에 해당하는 다중 스케일 국부 이진패턴 히스토그램 특징 벡터는 주성분 분석법(PCA: Principal Component Analysis)과 선형 판별 분석법(LDA: Linear Discriminant Analysis)의 차원 축소 과정을 통해 저차원 얼굴 특징 벡터를 생성한다. 저차원 얼굴 특징 벡터는 랭크 획득과 Precision at k(p@k) 성능 평가 방법을 이용하여 제안한 알고리즘의 얼굴 인식 성능을 검증한다. 본 연구는 FERET, LFW 및 PubFig83 데이터 베이스를 이용하여 얼굴 인식 실험을 수행하였으며, 제안한 알고리즘을 이용한 얼굴 인식 방법이 기존의 방법보다 향상된 인식성능을 보였다.

• 응용통계연구
• /
• 제31권5호
• /
• pp.539-554
• /
• 2018

최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용이 중요시 된다. 특히 인간을 대상으로 상황에 맞는 대응을 하기 위해서는 인간의 표정을 실시간으로 인식하여 빠르고 정확한 판단을 내리는 것이 필요하다. 따라서, 보다 빠르고 정확하게 표정을 인식하는 시스템을 구축하기 위해 얼굴 이미지 분석에 대한 많은 연구들이 선행되어 왔다. 본 연구에서는 웹사이트 Kaggle에서 제공한 48*48 8-bit grayscale 이미지 데이터셋을 사용하여 얼굴인식과 표정분류로 구분된 두 단계를 거치는 얼굴표정 자동 인식 시스템을 구축하였고, 이를 기존의 연구와 비교하여 자료 및 방법론의 특징을 고찰하였다. 분석 결과, Face landmark 정보에 주성분분석을 적용하여 단 30개의 주성분만으로도 빠르고 효율적인 예측모형을 얻을 수 있음이 밝혀졌다. LDA, Random forest, SVM, Bagging 중 SVM방법을 적용했을 때 가장 높은 정확도를 보이며, LDA방법을 적용하는 경우는 SVM 다음으로 높은 정확도를 보이며, 매우 빠르게 적합하고 예측하는 것이 가능하다.

• Journal of information and communication convergence engineering
• /
• 제11권3호
• /
• pp.207-215
• /
• 2013

In this paper, we address the challenging computer vision problem of obtaining a reliable facial expression analysis from a naturally interacting person. We propose a system that combines a 3D generic face model, 3D head tracking, and 2D tracker to track facial landmarks and recognize expressions. First, we extract facial landmarks from a neutral frontal face, and then we deform a 3D generic face to fit the input face. Next, we use our real-time 3D head tracking module to track a person's head in 3D and predict facial landmark positions in 2D using the projection from the updated 3D face model. Finally, we use tracked 2D landmarks to update the 3D landmarks. This integrated tracking loop enables efficient tracking of the non-rigid parts of a face in the presence of large 3D head motion. We conducted experiments for facial expression recognition using both framebased and sequence-based approaches. Our method provides a 75.9% recognition rate in 8 subjects with 7 key expressions. Our approach provides a considerable step forward toward new applications including human-computer interactions, behavioral science, robotics, and game applications.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.564-572
• /
• 2019

최근 딥러닝 기술의 발전과 함께 얼굴 특징점 검출 방법의 성능은 크게 향상되었다. 대표적인 얼굴 특징점 검출 방법인 히트맵 회귀 방법은 효율적이고 강력한 방법으로 널리 사용되고 있으나, 단일 네트워크를 통해 특징점 좌표를 즉시 얻을 수 없으며, 히트맵으로부터 특징점 좌표를 결정하는 과정에서 정확도가 손실된다는 단점이 존재한다. 이러한 문제점들을 해결하기 위해 본 논문에서는 기존의 히트맵 회귀 방법에 적분 회귀 방법을 결합할 것을 제안한다. 여러 가지 데이터셋을 사용한 실험을 통해 제안하는 적분 회귀 네트워크가 얼굴 특징점 검출 성능을 크게 향상시킨다는 것을 보인다.

• Archives of Plastic Surgery
• /
• 제32권3호
• /
• pp.311-313
• /
• 2005

Generally, many Asian women tend to dislike the square jaw, as they believe it makes the face look wider, giving a stubborn and strong impression. Contouring of the mandible is therefore a relatively common aesthetic procedure among Asians. These days, the use of botulinum toxin for contouring of the lower face offer simple alternative to surgery. Motor point, which is the site over a muscle where its contraction may be elicited by a minimal intensity short duration electrical stimulus, is the optimal injection point of botulinum toxin. Study was undertaken to identify the location of motor point of the masseter muscle and the skin surface landmark. First, the thickest point of the masseter muscle was inspected through palpation and inspection by 3 different individual plastic surgeons and then compound muscle action potentials(CMAPs) of masseter muscle in 15 health volunteers were recorded using EMG. For the localization of the measured points, line between lateral canthus to the mandibular angle was used. Location of motor points were mapped to skin surface from lateral canthus in a percentage of the distance along the landmark line and in distance in millimeters. The clinical injection point was located at 71.69 percentile and 7.3 mm of the landmark line. The motor point test was located at 72.54 percentile and 7.1 mm of the landmark line. The depth of motor point was 16mm. There was no statistically significant difference between the clinical injection point and the motor point. We conclude that surface mapping of motor point of the masseter muscle would increase accessibility and accuracy in botulinum toxin injection for contouring of the lower face.

• 한국인터넷방송통신학회논문지
• /
• 제22권1호
• /
• pp.163-170
• /
• 2022

본 논문은 실생활 속 정제되지 않은 입력으로 인해 안면의 특징점을 추출하여 객체 인식 모델의 이상적인 성능과 속도를 보증해주지 못하는 문제점을 가중치 합산을 통한 저장 알고리즘을 통해 개선하는 방법을 소개한다. 많은 안면인식 프로세스들은 이상적인 상황에서의 정확도를 보장해주지만, 실생활에서 발생할 수 있는 수많은 방해요인에 대해서는 대처하지 못한다는 문제점이 주목받고 있으며 이는 곧 보안과 밀접하게 관련된 안면인식 프로세스에서 심각한 문제를 발생할 수도 있다. 본 논문에서는 사람의 고유한 특징점은 사진의 구도 등의 여러 변수가 있어도 결국 평균적인 하나의 형태를 띤다는 점을 이용하여 입력으로 추출된 특징점을 여러 방해 요인에 과적합 되어있지 않은 소수의 특징점과 비교를 통해 실시간으로 빠르게, 그리고 정확하게 안면인식을 할수 있는 방법을 가중치 합산방식을 통하여 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.239-240
• /
• 2020

마스크 쓴 얼굴에 대해 랜드마크 분석을 진행하기 위해서는 대량의 마스크가 착용된 얼굴 데이터셋이 필요하다. 본 논문에서는 공개된 얼굴 데이터셋에 자동으로 마스크를 합성하여 대량의 마스크를 착용한 얼굴 데이터셋을 생성하는 시스템을 제안한다. 마스크는 얼굴의 많은 부분을 가리는 물체이다. 따라서 마스크를 쓴 얼굴에 대해서는 일반적인 얼굴 데이터셋으로 학습된 landmark detector가 잘 작동하지 않는다. landmark detector가 잘 작동하게 하려면 마스크를 쓴 얼굴에 대해서 학습을 시켜야 한다. 그러나 현재 마스크를 쓴 얼굴 이미지와 풍부한 landmark 정보를 함께 가지고 있는 데이터셋이 존재하지 않기 때문에 학습에 어려움이 있다. 이 문제를 해결하기 위해 마스크 얼굴 이미지 데이터셋을 만들어내는 방법을 제안하고 마스크를 착용한 얼굴에도 잘 작동하는 랜드마크 검출기를 학습시켜 그 효용을 입증하였다.