• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• 한국정보통신학회논문지
• /
• 제7권2호
• /
• pp.322-327
• /
• 2003

본 논문에서는 효율적인 얼굴 애니메이션을 구축하기 위하여 동적인 근육 모델을 기반으로 한 3차원 얼굴 모델링 기법을 제안하였다. 동적인 근육 모델을 기반으로 얼굴 근육을 256개의 점과 이 점들을 연결한 faceline으로 구성한 wireframe을 구축하고, wireframe을 이용한 표준 모델을 구성한 후 정면과 측면의 두장의 2D 영상을 사용하여 텍스처 매핑을 실시하여 3차원 개인 얼굴 모델을 생성하였다. 정확한 매핑을 위하여 특징점들의 정면과 측면 부분을 이용했는데, 정면 이미지와 정면 특징점들의 2차원 좌표를 이용하여 텍스터 좌표를 가진 얼굴을 만든 다음, 측면 이미지와 측면 특징점들의 2차원 좌표를 이용하여 텍스터 좌표를 가진 얼굴을 구축하였다.

• 대한전자공학회논문지SP
• /
• 제47권1호
• /
• pp.35-43
• /
• 2010

고유얼굴 기반 얼굴 인식 방법과 같은 얼굴 형태 기반 얼굴 인식 방법에 사용되는 1차원 PCA는 고차원의 얼굴 형태 데이터 벡터들의 처리로 인하여 부정확한 얼굴 표현과 과도한 계산량을 초래할 수 있다. 이에 개선 방안의 하나로 2차원 PCA 기반 얼굴 인식 방법이 개발되었다. 그러나 단순한 2차원 PCA 적용으로 얻어진 얼굴 표현 모델에는 얼굴 공통 특성 성분과 개인 식별 특성 성분이 모두 포함된다. 얼굴 공통 특성 성분은 오히려 개인 식별 능력을 방해할 수가 있고 또한 인식 처리 시간의 증가를 초래한다. 본 논문에서는 2차원 PCA 적용으로 얻어진 얼굴 특성 공간에서 얼굴 공통 특성 영향이 분리된 얼굴 고유 식별 특성 부분공간 모델을 개발하고 개발된 모델에 기반한 새로운 강인한 얼굴 인식 방법을 제안한다. 제안한 얼굴 고유식별 특성 부분공간 모델 기반 얼굴 인식 방법은 얼굴 고유 식별 특성에만 주로 의존하기 때문에 기존 1차원 PCA 및 2차원 PCA 기반 얼굴 인식 방법보다 얼굴 인식 성능 및 인식 속도에 대해서 더 우수한 성능을 보인다. 이는 다양한 조명 조건하에 다양한 얼굴 자세를 갖는 얼굴 이미지들로 구성된 Yale A 및 IMM 얼굴 데이터베이스를 이용한 실험을 통해 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
• /
• pp.521-523
• /
• 1999

본 논문에서는 입력 영상 열에서 얼굴 영역을 추출하고, 영역 내 특징점들의 움직임 벡터를 원근 움직임 모델에 정합하여 얼굴 영역을 추적하는 새로운 방법을 제안한다. 제안된 방법은 계층적 형판정합을 이용하여 얼굴 영역을 추출하고, 해당 영역에서 DoG 반응의 국부최대치를 찾아 특징점을 구한다. 그리고 최소제곱추정기법을 이용하여 각 특징점에서 얻어진 움직임 벡터를 원근 모델에 정합한다. 제안된 방법은 선별된 특징점에서 움직임 벡터를 계산함으로써 연산량을 줄일 수 있었고, 원근 움직임 모델을 이용함으로써 잡영에 강한 특성을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.133-135
• /
• 2018

본 논문에서는 포즈에 적응적인 가중치 맵 (weight map)에 기반한, 얼굴 교체시스템을 위한 블렌딩 기법을 제안한다. 우선 얼굴교체를 진행하기 위해 목표얼굴이 들어있는 영상으로부터 실시간으로 얼굴의 기하학적 특징점 (land mark)을 검출한다. 다음 검출된 특징점의 분포에 따라 얼굴영역에 대해 삼각화 (triangulation)를 진행한다. 참조영상에 대해서도 같은 과정을 적용하고 대응되는 영역끼리 워핑 (warping) 변환을 시키면 목표 얼굴과 같은 포즈의 참조얼굴을 얻을 수 있다. 그 다음 두 영상의 피부색 톤을 일치시켜주고 안면교체를 진행한다. 하지만 교체된 영역과 목표 얼굴 사이에 부자연스러운 경계가 발생하게 되는데 블렌딩 기법을 통해 이런 경계를 제거한다. 본 논문에서는 사전에 표준얼굴형태모델을 이용하여 정면 얼굴의 가중치 맵을 생성하고, 표준얼굴형태모델과 목표 얼굴사이 변환관계를 이용하여 포즈에 대응되는 가중치지도를 생성하였다. 이렇게 얻어진 가중치 맵은 일관되게 정해진 가중치 맵에 비해 포즈변화에 적응적으로 대처할 수 있어 보다 자연스러운 얼굴교체 효과를 얻을 수 있다.

• 전자공학회논문지S
• /
• 제36S권1호
• /
• pp.104-114
• /
• 1999

본 논문에서능 2차원 칼라 동영상으로부터 3차원 개인 얼굴 모델을 자동 생성하는 효율적인 방법을 다루었다. 복잡한 배경이 포함된 영상에서 얼굴 영역을 안정적으로 추출하기 위하여 피부 색상 분포에 근거한 색상 움직임 추출 방법을 이용하였다. 검출된 얼굴 영역 내에서 색상 정보과 경계선 정보를 활용하여, MPEG-4의 SNHC(Synthetic-Natural Hybrid Coding) 에서 제안하고 있는 개개인의 얼굴 특성을 표현하는 31개의 얼굴 특징점 파라메타(Facial Description Rarameter: FDP)를 자동 추출하였다. 추출된 2차원 얼굴 특징점을 1038개의 삼각형 메쉬로 이루어진 3차원 일반 얼굴 모델(Generic model)에 적용시켜 변형함으로써 개개인의 얼굴에 해당하는 모델을 자동 생성하였다. 제안하는 알고리듬은 컬러 동영상에서 배경의 복잡성, 얼굴 크기 등에 상관없이 정면상에 가까운 경우 안정적인 특징점을 추출하였으며, 펜티엄 PC에서 약 2초 이내에 개개인의 얼굴 모습에 유사한 얼굴 모델을 생성할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제9권4호
• /
• pp.470-481
• /
• 2006

본 논문에서는 복합 컬러모델과 얼굴특정 정보를 이용하여 실시간으로 얼굴영역을 검출 추적하고 기울어진 얼굴영상을 보정하는 시스템을 제안하였다. 제안한 시스템은 YCbCr과 YIQ 컬러모텔을 사용하여 얼굴 후보영역을 검출하였다. 얼굴 후보영역에서 수평 수직 투영기법을 사용하여 얼굴을 검출하고 하우스도르프 정합 방법을 사용하여 얼굴을 추적하였다. 또한 검출된 얼굴영상으로부터 눈 특징자의 기울기 정보를 보정함으로써 얼굴 기울기를 보정하였다. 실험결과 제안한 알고리즘이 주위환경 변화가 있는 실시간 얼굴검출과 추적 및 기울어진 얼굴인식에 강인하였다. 실험에서는 110개의 테스트 얼굴 영상을 사용하여 좋은 성능결과를 얻었다. 실험결과 얼굴검출과 얼굴추적율은 각각 92.27%와 92.70%를 나타내었고 얼굴 정보들로부터 90.0%의 얼굴인식율을 얻었다.

• 정보처리학회논문지B
• /
• 제15B권5호
• /
• pp.477-486
• /
• 2008

얼굴의 기하학적 특징이 변하여 생기는 표정은 얼굴 인식 시스템의 인식 결과에 다양한 영향을 끼친다. 얼굴 인식율을 개선하기 위해 본 연구에서는 인식 대상 얼굴과 참조 얼굴 사이의 표정 차이를 줄이는 방법으로 얼굴 표정 정규화를 제안한다. 본 연구에서는 대형의 이미지 데이터베이스를 구축하지 않고도 한 개의 정지 이미지에 일반적인 얼굴 근육 모델을 이용하는 접근 방식을 제시하여 얼굴 표정 모델링과 정규화를 처리한다. 첫 번째 방식은 본능적으로 변하는 얼굴 표정의 생물학적 모델을 구축하기 위해 선형 근육 모델의 기하학적 계수를 예측하는 것이다. 두 번째 방식은 RBF(Radial Basis Function)기반의 보간과 와핑을 통해 주어진 표정에 따라 얼굴 근육 모델을 무표정한 얼굴로 정규화한 것이다. 실험 결과, 기저얼굴 방식, 지역 이진 패턴 방식, 회색조 상관측정 방식과 같은 얼굴 인식 과정의 전처리 단계로 본 연구의 표정 정규화 과정을 적용하면 정규화를 거치지 않은 것보다 더 높은 인식율을 보인다.

• 정보보호학회논문지
• /
• 제33권2호
• /
• pp.201-210
• /
• 2023

딥러닝 기반 얼굴 인증 모델은 높은 성능을 보이며 많은 분야에 이용되지만, 얼굴 이미지를 모델에 입력하는 과정에서 사용자의 얼굴 이미지가 유출될 가능성이 존재한다. 얼굴 이미지의 노출을 최소화하기 위한 방법으로 비식별화 기술이 존재하지만, 얼굴 인증이라는 특수한 상황에서 기존 기술을 적용할 때에는 인증 성능이 감소하는 문제점이있다. 본 논문에서는 원본 얼굴 이미지에 다른 인물의 얼굴 특성을 결합한 뒤, StyleGAN을 통해 비식별화 얼굴이미지를 생성한다. 또한, HopSkipJumpAttack을 활용해 얼굴 인증 모델에 맞춰 특징들의 결합 비율을 최적화하는 방법을 제안한다. 우리는 제안 방법을 통해 생성된 이미지들을 시각화하여 사용자 얼굴의 비식별화 성능을 확인하고, 실험을 통해 얼굴 인증 모델에 대한 인증 성능을 유지할 수 있음을 평가한다. 즉, 제안 방법을 통해 생성된 비식별화 이미지를 사용하여 얼굴 인증을 할 수 있으며, 동시에 얼굴 개인정보 유출을 방지할 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
• /
• pp.163-167
• /
• 2009

본 논문에서는 크게 2단계에 걸쳐 다양한 형태의 얼굴을 가진 2차원 애니메이션 상의 캐릭터 얼굴구성요소를 추출하고 표정을 분석한다. 첫 번째 단계에서는, 기존의 얼굴인식 및 표정인식 분야에서 이용되었던 동적메쉬모델을 간소화하여 캐릭터 얼굴에 적용하기 위한 최적의 표준 메쉬모델을 제작하고, 이 모델을 사용하여 얼굴구성요소의 위치 및 형태정보를 추출한다. 두 번째 단계에서는, 앞 단계에서 추출된 3가지 얼굴구성요소(눈썹, 눈, 입)를 사용하여 FACS(Facial Action Coding System)에 정의된 AU(Action Units) 44개 중 12개의 AU를 사용하여 캐릭터의 5까지 기본적인 얼굴 표정에 대해 분석 및 정의한다. 본 논문에서 정의한 AU로 기본적인 5가지 얼굴표정에 대해 표정분석 정확도를 측정하였고, 서로 다른 캐릭터에 실험함으로써 제안된 AU정의의 타당성을 제시한다.