• Journal of KIISE:Software and Applications
• /
• v.28 no.11
• /
• pp.855-863
• /
• 2001

We propose an image alignment algorithm based on variable-sized blocks of cylindrical prototype model to generate a face texture for a realistic 3D face model. This is a block matching algorithm which aligns 2D images of a 3D cylindrical model using th correlation between them. While matching blocks, it does not use same sized blocks with considering a curvature of 3D model. And we make a texture of aligned images using a technique of image mosaic. For this purpose, we stitch them with assigning linear weights according to the overlapped region and using the cross-dissolve technique.

• Journal of KIISE:Software and Applications
• /
• v.30 no.9
• /
• pp.885-893
• /
• 2003

In this paper, a new practical implementation of a person verification system using features of longitudinal section and transection and other facial, rotation compensated 3D face image, is proposed. The approach works by finding the nose tip that has a protrusion shape on the face. In feature recognition of 3D face image, one has to take into consideration the orientated frontal posture to normalize. Next, the special points in regions, such as nose, eyes and mouth are detected. The depth of nose, the area of nose and the volume of nose based both on the 3 longitudinal section and a transection are calculated. The eye interval and mouth width are also computed. Finally, the 12 features on the face were extracted. The Ll measure for comparing two feature vectors were used, because it is simple and robust. In the experimental results, proposed method achieves recognition rate of 95.5% for the longitudinal section and transection.

• Journal of Broadcast Engineering
• /
• v.24 no.3
• /
• pp.440-451
• /
• 2019

We propose a system that allows three dimensional manipulation of face in video. The 3D face manipulation of the proposed system overlays the 3D face model with the user 's manipulation on the face region of the video frame, and it allows 3D manipulation of the video in real time unlike existing applications or methods. To achieve this feature, first, the 3D morphable face model is registered with the image. At the same time, user's manipulation is applied to the registered model. Finally, the frame image mapped to the model as texture, and the texture-mapped and deformed model is rendered. Since this process requires lots of operations, parallel processing is adopted for real-time processing; the system is divided into modules according to functionalities, and each module runs in parallel on each thread. Experimental results show that specific parts of the face in video can be manipulated in real time.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.397-402
• /
• 2008

본 논문에서는 햅틱 인터랙션 기반의 3차원 가상 얼굴 메이크업 시뮬레이션에서 메이크업 대상에 대한 정교한 페인팅을 적용하기 위한 자동화된 마스크 생성 방법을 개발한다. 본 연구에서는 메이크업 시뮬레이션 이전의 전처리 과정에서 마스크를 생성한다. 우선, 3차원 스캐너 장치로부터 사용자의 얼굴 텍스쳐 이미지와 3차원 기하 표면 모델을 획득한다. 획득된 얼굴 텍스쳐 이미지로부터 AdaBoost 알고리즘, Canny 경계선 검출 방법과 색 모델 변환 방법 등의 영상처리 알고리즘들을 적용하여 마스크 대상이 되는 주요 특정 영역(눈, 입술)들을 결정하고 얼굴 이미지로부터 2차원 마스크 영역을 결정한다. 이렇게 생성된 마스크 영역 이미지는 3차원 표면 기하 모델에 투영되어 최종적인 3차원 특징 영역의 마스크를 레이블링하는데 사용된다. 이러한 전처리 과정을 통하여 결정된 마스크는 햅틱 장치와 스테레오 디스플레이기반의 가상 인터페이스를 통해서 자연스러운 메이크업 시뮬레이션을 수행하는데 사용된다. 본 연구에서 개발한 방법은 사용자에게 전처리 과정에서의 어떠한 개입 없이 자동적으로 메이크업 대상이 되는 마스크 영역을 결정하여 정교하고 손쉬운 메이크업 페인팅 인터페이스를 제공한다.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.465-468
• /
• 2000

얼굴 영상은 똑같은 표정의 같은 사람이라도 조명에 따라 매우 다른 얼굴 영상으로 나타난다. 따라서 본 논문에서는 조명 변화에 강인한 얼굴 인식 방법을 제안한다. 제안된 방법은 오프라인 훈련(off-line training)과 온라인 인식(on-line recognition)의 두 부분으로 이루어져 있다. 오프라인 훈련은 PCA(principal component analysis)를 기반으로 한다. 온라인 인식에서는 조명 변화에 대한 보상, 얼굴 특징의 추출, 그리고 인식을 위한 분류 과정의 3 단계로 구성되어 있다. 오프라인 훈련에서는 전체 훈련 얼굴 영상 데이터에 PCA를 적용하여 조명 변화가 최대한 제외된 특징 벡터 공간을 생성한다. 실제 인식 단계에서는 첫 번째로 입력 영상으로 들어온 얼굴 영상에서 조명의 영향을 보상하기 위해 준동형 필터링(homomorphic filtering) 후 밝기 정규화(normalization)를 취한다. 두 번째 단계에서는 입력 데이터의 차원을 줄이고 얼굴 특징 벡터를 구하기 위해 PCA를 수행한다. 마지막 과정으로서 입력 영상의 특징 벡터들과 오프라인에서 미리 구하여진 특징 벡터들의 유사도를 측정하여 얼굴을 인식하게 된다. 실험 결과 제안된 방법은 기존의 Eigenface 방법에 비해 우수한 성능을 나타내었다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.50 no.5
• /
• pp.199-207
• /
• 2013

Spin images representing efficiently surface features of 3D mesh models have been used to detect facial landmark points. However, at a certain point, different normal direction can lead to quite different spin images. Moreover, since 3D points are projected to the 2D (${\alpha}-{\beta}$) space during spin image generation, surface features cannot be described clearly. In this paper, we present a method to detect 3D facial landmark using improved spin images by partitioning the search area with respect to angle. By generating sub-spin images for angular partitioned 3D spaces, more unique features describing corresponding surfaces can be obtained, and improve the performance of landmark detection. In order to generate spin images robust to inaccurate surface normal direction, we utilize on averaging surface normal with its neighboring normal vectors. The experimental results show that the proposed method increases the accuracy in landmark detection by about 34% over a conventional method.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.10B
• /
• pp.1390-1398
• /
• 2001

시선 위치 추적이란 사용자가 모니터 상의 어느 지점을 쳐다보고 있는 지를 파악해 내는 기술이다. 시선 위치를 파악하기 위해 본 논문에서는 2차원 카메라 영상으로부터 얼굴 영역 및 얼굴 특징점을 추출한다. 초기에 모니터상의 3 지점을 쳐다볼 때 얼굴 특징점들은 움직임의 변화를 나타내며, 이로부터 카메라 보정 및 매개변수 추정 방법을 이용하여 얼굴특징점의 3차원 위치를 추정한다. 이후 사용자가 모니터 상의 또 다른 지점을 쳐다볼 때 얼굴 특징점의 변화된 3차원 위치는 3차원 움직임 추정방법 및 아핀변환을 이용하여 구해낸다. 이로부터 변화된 얼굴 특징점 및 이러한 얼굴 특징점으로 구성된 얼굴평면이 구해지며, 이러한 평면의 법선으로부터 모니터 상의 시선위치를 구할 수 있다. 실험 결과 19인치 모니터를 사용하여 모니터와 사용자까지의 거리를 50∼70cm정도 유지하였을 때 약 2.08인치의 시선위치에러 성능을 얻었다. 이 결과는 Rikert의 논문에서 나타낸 시선위치추적 성능(5.08cm 에러)과 비슷한 결과를 나타낸다. 그러나 Rikert의 방법은 모니터와 사용자 얼굴까지의 거리는 항상 고정시켜야 한다는 단점이 있으며, 얼굴의 자연스러운 움직임(회전 및 이동)이 발생하는 경우 시선위치추적 에러가 증가되는 문제점이 있다. 동시에 그들의 방법은 사용자 얼굴의 뒤 배경에 복잡한 물체가 없는 것으로 제한조건을 두고 있으며 처리 시간이 상당히 오래 걸리는 문제점이 있다. 그러나 본 논문에서 제안하는 시선 위치 추적 방법은 배경이 복잡한 사무실 환경에서도 사용가능하며, 약 3초 이내의 처리 시간(200MHz Pentium PC)이 소요됨을 알 수 있었다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.7 no.2
• /
• pp.322-327
• /
• 2003

Based on dynamic muscle model to construct efficient face animation in this paper 30 face modelling techniques propose. Composed face muscle by faceline that connect 256 point and this point based on dynamic muscle model, and constructed wireframe because using this. After compose standard model who use wireframe, because using front side and side 2D picture, enforce texture mapping and created 3D individual face model. Used front side of characteristic points and side part for correct mapping, after make face that have texture coordinates using 2D coordinate of front side image and front side characteristic points, constructed face that have texture coordinates using 2D coordinate of side image and side characteristic points.

• Journal of Korea Multimedia Society
• /
• v.11 no.11
• /
• pp.1501-1514
• /
• 2008

The face shape extracted by the depth values has different appearance as the most important facial information. The face images decomposed into frequency subband are signified personal features in detail. In this paper, we develop a method for recognizing the range face images by multiple frequency domains for each depth image using the modified fuzzy c-mean algorithm. For the proposed approach, the first step tries to find the nose tip that has a protrusion shape on the face from the extracted face area. And the second step takes into consideration of the orientated frontal posture to normalize. Multiple contour line areas which have a different shape for each person are extracted by the depth threshold values from the reference point, nose tip. And then, the frequency component extracted from the wavelet subband can be adopted as feature information for the authentication problems. The third step of approach concerns the application of eigenface to reduce the dimension. And the linear discriminant analysis (LDA) method to improve the classification ability between the similar features is adapted. In the last step, the individual classifiers using the modified fuzzy c-mean method based on the K-NN to initialize the membership degree is explained for extracted coefficient at each resolution level. In the experimental results, using the depth threshold value 60 (DT60) showed the highest recognition rate among the extracted regions, and the proposed classification method achieved 98.3% recognition rate, incase of fuzzy cluster.

• Journal of Korea Multimedia Society
• /
• v.16 no.4
• /
• pp.520-528
• /
• 2013

Makeup simulation is a tool that tests various makeup methods on a virtual digital face using input and display devices. Although several simulation systems supporting various makeup styles have been recently developed, most systems have many limitations on realistic skin representations because they use 2D facial images. We develope a realistic makeup simulation method which can control skin reflectance and roughness parameters. The method allows a user to simulate makeup applications while changing skin parameters using high-resolution facial data acquired by 3D scanners. Besides we use a point-based shape representation which enables simple and flexible 3D rendering, and provide a more realistic makeup simulation by applying different skin parameters on each part of the face.