• The Journal of the Korea Contents Association
• /
• v.7 no.1
• /
• pp.48-57
• /
• 2007

Eye localization is necessary for face recognition and related application areas. Most of eye localization algorithms reported thus far still need to be improved about precision and computational time for successful applications. In this paper, we propose an improved eye localization method based on multi-scale Gator feature vector models. The proposed method first tries to locate eyes in the downscaled face image by utilizing Gabor Jet similarity between Gabor feature vector at an initial eye coordinates and the eye model bunch of the corresponding scale. The proposed method finally locates eyes in the original input face image after it processes in the same way recursively in each scaled face image by using the eye coordinates localized in the downscaled image as initial eye coordinates. Experiments verify that our proposed method improves the precision rate without causing much computational overhead compared with other eye localization methods reported in the previous researches.

• KIPS Transactions on Software and Data Engineering
• /
• v.4 no.7
• /
• pp.291-296
• /
• 2015

In this paper, we propose a new confidence measure using pixel selection for eye detection and design a hybrid eye detector. For this, we produce sub-images by applying a pixel selection method to the eye patches and construct the BDA(Biased Discriminant Analysis) feature space for measuring the confidence of the eye detection results. For a hybrid eye detector, we select HFED(Haar-like Feature based Eye Detector) and MFED(MCT Feature based Eye Detector), which are complementary to each other, as basic detectors. For a given image, each basic detector conducts eye detection and the confidence of each result is estimated in the BDA feature space by calculating the distances between the produced eye patches and the mean of positive samples in the training set. Then, the result with higher confidence is adopted as the final eye detection result and is used to the face alignment process for face recognition. The experimental results for various face databases show that the proposed method performs more accurate eye detection and consequently results in better face recognition performance compared with other methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.488-491
• /
• 2003

본 논문에서는 실시간 CCD 카메라 입력 영상으로부터 다중 컬러 정보를 이용하여 얼굴 영역을 검출 및 추적하고 기울어진 얼굴을 보정하는 알고리즘을 제안하였다. 제안한 알고리즘은 먼저 획득된 RGB 영상에서 YCbCr컬러 모델과 YIQ컬러 모델로 변환한 후 Cr성분과 I성분을 추출하여 얼굴 피부색을 검출, 얼굴 영역 추출에 사용하였다. 또한 추출된 얼굴 후보 영역에서 수평, 수직 투영(Projection)정보로부터 최종 얼굴 영역으로 검출한 다음 검출된 얼굴 중심 좌표와 이전에 검출된 얼굴 중심 좌표 값을 유클리드언 거리로 얼굴을 추적하였으며 검출된 얼굴로부터 레이블링(Labeling)기법으로 눈 특징자를 검출, 눈의 기울기 각도를 보정함으로써 얼굴 기울기를 보정하였다. 제안한 얼굴 추적 및 기울기 보정 알고리즘을 사용하여 실험한 결과 다중 색상 정보를 사용함으로써 주위환경 변화에 강인하게 실시간 얼굴 영역 김출 및 추적이 가능하였고, 기울어진 얼굴 영상을 자동 보정함으로써 인식에 용이하였다.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.748-757
• /
• 2021

In this paper, we propose a gaze estimation network in which eye landmark position detection and gaze direction vector estimation are integrated into one deep learning network. The proposed network uses the Stacked Hourglass Network as a backbone structure and is largely composed of three parts: a landmark detector, a feature map extractor, and a gaze direction estimator. The landmark detector estimates the coordinates of 50 eye landmarks, and the feature map extractor generates a feature map of the eye image for estimating the gaze direction. And the gaze direction estimator estimates the final gaze direction vector by combining each output result. The proposed network was trained using virtual synthetic eye images and landmark coordinate data generated through the UnityEyes dataset, and the MPIIGaze dataset consisting of real human eye images was used for performance evaluation. Through the experiment, the gaze estimation error showed a performance of 3.9, and the estimation speed of the network was 42 FPS (Frames per second).

• Proceedings of the IEEK Conference
• /
• 2003.07e
• /
• pp.2096-2099
• /
• 2003

본 논문에서는 입력 영상의 컬러 정보를 이용함으로써 조명 변화나 얼굴의 자세 변화에 둔감하게 얼굴 정보를 고속 검출하는 알고리듬을 제안하였다 계산복잡도가 작으면서도, 조명의 변화에 민감하지 않은 특성을 가진 NCC (normalized color component) 좌표계에서 정의한 살색에 기반하여 얼굴 후보 영역을 검출하고, 검출된 얼굴 후보 영역 내에서의 눈의 검출에도 색상 분포 특성을 이용함으로써 얼굴의 숙임(nod), 돌림(shake), 기울임(tilt)등에 의한 자세 변화에 대해서도 둔감하게 두 눈의 위치를 고속으로 찾도록 하였다. 특히 집중자(concentrator)를 제안 적용하여 유동적인 눈썹의 영향을 줄이고 눈안의 중심 위치를 찾도록 가중치 눈지도(eye map)를 도입하였다. 제안된 알고리듬이 조명 변화나 얼굴의 다양한 자세 변화가 있는 영상에서 얼굴 후보 영역과 두 눈의 위치를 효과적으로 검출함을 실험을 통해 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.574-576
• /
• 2003

현재 홍채 인식은 주로 수동형 영상 획득 시스템을 통한 홍채 획득이 주를 이루고 있다. 이는 장비가 고가인 점과 정확한 홍채 위치추적의 어려움 등의 문제로 인한 것이다. 본 연구에서는 24bit 칼라 영상에서 피부색 정보와 윤곽선 검출 정보를 이용한 실시간 자동 홍채 인식 시스템을 제안하였다. 제안한 방법에서는 HSI 칼라 좌표계상에서의 얼굴 피부색 인식 외에 조명으로 인한 잡음을 제거 하였고, 배경과 사용자의 보다 정확한 영역 분리를 위하여 영상을 이진화한 후 윤곽선 영역을 다시 한 번 제거 한 후 레이블링을 실행 하였다. 또한, 보다 정확한 눈 영역 추출을 위하여 일정 크기까지의 줌을 한 후 윤곽선 검출을 사용하였다. 이러한 방법들을 통하여, 주위 환경에 영향을 덜 받으면서 보다 정확한 눈 영역을 추출 할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.262-264
• /
• 2003

얼굴영상을 효율적으로 처리하기 위해선 먼저 입력영상에서 얼굴영역과 얼굴을 구성하는 각 기관을 검출하는 전처리과정이 필요하다. 본 논문에서는 얼굴의 크기와 얼굴의 회전, 조영의 변화가 어느 정도 허용되고 피부색 배경이 얼굴에 병합된 경우에도 얼굴영역과 얼굴기관(눈, 입)을 강건하게 검출할 수 있는 방법으로, 입력영상에 따른 적응적 칼라 색상정보와 얼굴기관의 부분 템플릿매칭을 조합한 알고리즘을 제안한다. 변환된 HSV 칼라 좌표계상의 대역적 피부색상 정보와 히스토그램을 이용한 적응적 피부색상 정보로 얼굴영역을 검출한 뒤, 얼굴영역 안에서 입술색상 정보로 도출된 입술영역의 X축 기울기를 이용해 회전얼굴을 보정하고, 양안의 조합으로 이루어진 부분 템플릿을 이용해 눈을 검출한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05a
• /
• pp.599-602
• /
• 2003

본 논문에서는 스테레오 영상의 정합을 통한 얼굴의 굴곡 특징과 좌표 정보로서 정지 영상에서 생기는 제약 조건의 약화와 굴곡 특징을 이용하여 보다 강건한 얼굴 특징 추출 알고리즘을 제안한다. 얼굴 인식 기술은 정지 영상을 통한 얼굴 영역의 특징들로 얼굴을 구별하고, 얼굴을 검색하기 위하여 다양한 특징을 추출하는데 정지 영상에서는 추출할 수 없는 좌표 정보를 이용한 눈, 코, 입의 정보들과 굴곡 정보를 이용함으로서 얼굴 인식의 효율성을 높이는데 있다. 제안된 알고리즘의 단계는 색상으로부터의 얼굴 영역 검출 단계 얼굴 특징의 추출을 위한 전처리 단계, 눈, 코, 입에 대한 특징 정보로서 사람의 판별 유무와 찾아진 얼굴 영역에 눈 템플릿을 적용하고, 눈 사이의 거리와 기울어짐 코와 입에 대한 거리 정보들로서 스테레오 영상의 굴곡 특징 정보를 추출하는 단계로 이루어져 있다. 또한, 기존의 특징 정보뿐만 아니라 스테레오 영상의 정합을 통한 굴곡 특징 정보를 사용 각각 영상의 종류에 대해서 100%, 93%, 76%의 인식률을 얻었으며 평균 90%로서 정지 영상과의 비교를 통해 8%의 인식률의 향상으로 본 연구의 유효성을 입증하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.435-440
• /
• 2003

본 논문에서는 실시간 출입통제시스템에 적용이 가긍한 복잡한 배경에서의 다중 얼굴 영역 검출과 추적을 통한 얼굴 인식 알고리즘을 제안하였다. 제안된 알고리즘에서는 배경영상과 입력된 연속적인 프레임간의 차영상을 적용함으로써 물체의 움직임을 감지한 후. IISI컬러 좌표모델을 이용하여 얼굴의 1차 후보 영역을 검출하고, 잡음제거를 위해 모폴로지 연산을 수행하였다 또한 Line Projection을 이용한 객체 분할법(Object Segmentation)으로 객체를 분할함으로써 다중 얼굴 영역을 추출하였다. 또한 추출된 얼굴영역에서 눈 영역 검출을 통해 각각의 얼굴 영역들을 검증하였으며 검증된 얼굴들의 최외각 4개의 좌표를 이용하여 얼굴 추적율을 높였다. 마지막으로 얼굴 인식은 추출된 얼굴 영역으로부터 주성분 분석(PCA ： Principle Component Analysis)방법을 이용함으로써 97～98％의 높은 인식율을 보였다.