• Journal of the Korea Convergence Society
• /
• v.9 no.8
• /
• pp.1-8
• /
• 2018

In the field of biometric security such as face and iris recognition, it is essential to extract facial features such as eyes and lips. In this paper, we have studied a method of detecting eye and lip region in face image using faster R-CNN. The faster R-CNN is an object detection method using deep running and is well known to have superior performance compared to the conventional feature-based method. In this paper, feature maps are extracted by applying convolution, linear rectification process, and max pooling process to facial images in order. The RPN(region proposal network) is learned using the feature map to detect the region proposal. Then, eye and lip detector are learned by using the region proposal and feature map. In order to examine the performance of the proposed method, we experimented with 800 face images of Korean men and women. We used 480 images for the learning phase and 320 images for the test one. Computer simulation showed that the average precision of eye and lip region detection for 50 epoch cases is 97.7% and 91.0%, respectively.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.4
• /
• pp.39-46
• /
• 2009

Many lip region detection methods have been developed in PC environment. But the existing methods are difficult to run on real-time in resource limited mobile devices. To solve the problem, this paper proposes a real-time lip region detection method for lipreading in Mobile device. It detects face region by using adaptive face color information. After that, it detects lip region by using geometrical relation between eyes and lips. The proposed method is implemented in a smart phone with Intel PXA 270 embedded processor and 386MB memory. Experimental results show that the proposed method runs at the speed 9.5 frame/see and the correct detection rate was 98.8% for 574 images.

• Annual Conference of KIPS
• /
• 2004.11a
• /
• pp.887-890
• /
• 2004

임의 영상에서 얼굴 영역을 검출하고 얼굴 특징점 정보를 획득하는 기술은 얼굴 인식 및 표정 인식 시스템에서 중요한 역할을 한다. 본 논문은 색도 정보와 Top-hat 연산을 이용함으로써 얼굴의 유효 특징점을 효과적으로 검출할 수 있는 방법을 제안한다. 제안한 방법은 얼굴 영역 검출, 눈/눈썹 특징추출, 입술 특징추출의 세 과정으로 나눈다. 얼굴 영역은 $YC_{b}C_{r}$을 이용하여 피부색 영역을 추출한 후 모폴로지 연산과 분할을 통해 획득하고, 눈/눈썹 특징점은 BWCD(Black & White Color Distribution) 변환과 Top-hat 연산을 이용하며. 입술 특징점은 눈/눈썹과의 지정학적 상관관계와 입술 색상분포를 이용하는 방법을 사용한다. 실험을 수행한 결과. 제안한 방법이 다양한 영상에 대해서도 효과적으로 얼굴의 유효 특징점을 검출할 수 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.262-264
• /
• 2003

얼굴영상을 효율적으로 처리하기 위해선 먼저 입력영상에서 얼굴영역과 얼굴을 구성하는 각 기관을 검출하는 전처리과정이 필요하다. 본 논문에서는 얼굴의 크기와 얼굴의 회전, 조영의 변화가 어느 정도 허용되고 피부색 배경이 얼굴에 병합된 경우에도 얼굴영역과 얼굴기관(눈, 입)을 강건하게 검출할 수 있는 방법으로, 입력영상에 따른 적응적 칼라 색상정보와 얼굴기관의 부분 템플릿매칭을 조합한 알고리즘을 제안한다. 변환된 HSV 칼라 좌표계상의 대역적 피부색상 정보와 히스토그램을 이용한 적응적 피부색상 정보로 얼굴영역을 검출한 뒤, 얼굴영역 안에서 입술색상 정보로 도출된 입술영역의 X축 기울기를 이용해 회전얼굴을 보정하고, 양안의 조합으로 이루어진 부분 템플릿을 이용해 눈을 검출한다.

• The KIPS Transactions:PartB
• /
• v.10B no.4
• /
• pp.465-472
• /
• 2003

For an effective pre-treatment process of a face input image, it is necessary to detect each of face components, calculate the face area, and estimate the rotary angle of the face. A proposed method of this study can estimate an robust result under such renditions as some different levels of illumination, variable fate sizes, fate rotation angels, and background color similar to skin color of the face. The first step of the proposed method detects the estimated face area that can be calculated by both adapted skin color Information of the band-wide HSV color coordinate converted from RGB coordinate, and skin color Information using histogram. Using the results of the former processes, we can detect a lip area within an estimated face area. After estimating a rotary angle slope of the lip area along the X axis, the method determines the face shape based on face information. After detecting eyes in face area by matching a partial template which is made with both eyes, we can estimate Y axis rotary angle by calculating the eye´s locations in three dimensional space in the reference of the face area. As a result of the experiment on various face images, the effectuality of proposed algorithm was verified.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.655-657
• /
• 2022

본 논문은 유튜브에 업로드 된 운동 영상을 시청하는 사람의 얼굴 영역을 YoloV3을 이용하여 얼굴 영상에서 눈 및 입술영역을 검출하는 방법을 연구하여, YoloV3은 딥 러닝을 이용한 물체 검출 방법으로 기존의 특징 기반 방법에 비해 성능이 우수한 것으로 알려져 있다. 본 논문에서는 영상을 다차원적으로 분리하고 클래스 확률(Class Probability)을 적용하여 하나의 회귀 문제로 접근한다. 영상의 1 frame을 입력 이미지로 CNN을 통해 텐서(Tensor)의 그리드로 나누고, 각 구간에 따라 객체인 경계 박스와 클래스 확률을 생성해 해당 구역의 눈과 입을 검출한다. 검출된 이미지 감성 분석을 통해, 운동 영상 중 하이라이트 부분을 자동으로 선별하는 시스템을 설계하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.313-315
• /
• 2006

본 연구에서는 실내에서 입력받은 영상의 조명과 크기 변화 등에 강인한 얼굴 검출 기법을 소개한다. 제안된 얼굴 검출 기법은 후보 영역 선정 과정과 얼굴패턴 검출 과정, 얼굴 영역 보정 과정으로 이루어진다. 후보 영역 선정 과정에서는 조명보정과 색상 필터, 움직임 필터를 이용하여 얼굴패턴의 후보 영역을 선정한다. 얼굴패턴 검출 과정에서는 CNN을 이용하여 특징을 추출하고, WFMM 신경망을 이용하여 얼굴 패턴을 검증한다. 얼굴 영역 보정 과정은 형태학적 연산 등의 영상 처리를 이용하여 눈 영역과 입술 영역의 위치를 판별한 후 최종적인 얼굴 영역을 결정한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.15 no.1
• /
• pp.110-115
• /
• 2005

This paper proposes the method to detect contours of a face, eyes and a mouth in a color image for making an avatar automatically. First, we use the HSI color model to exclude the effect of various light condition, and we find skin regions in an input image by using the skin color is defined on HS-plane. And then, we use deformable templates and Genetic Algorithm(GA) to detect contours of a face, eyes and a mouth. Deformable templates consist of B-spline curves and control point vectors. Those can represent various shape of a face, eyes and a mouth. And GA is very useful search procedure based on the mechanics of natural selection and natural genetics. Second, an avatar is created automatically by using contours and Fuzzy C-means clustering(FCM). FCM is used to reduce the number of face color As a result, we could create avatars like handmade caricatures which can represent the user's identity, differing from ones generated by the existing methods.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.14 no.8
• /
• pp.1827-1835
• /
• 2010

In this paper, facial feature areas in user picture are created by facial feature points extracted by ASM(Active Shape Model). In a existing virtual make-up application, users manually select a few features that are exactly. Users are uncomfortable with this method. We propose a virtual makeup application using ASM that does not require user input. In order to express a natural makeup, the modified alpha blendings for each cosmetic are used to blend skin color with cosmetic color. The Virtual makeup application was implemented to apply Foundation, Blush, Lip Stick, Lip Liner, Eye Pencil, Eye Liner and Eye Shadow.