• 정보처리학회논문지B
• /
• 제18B권1호
• /
• pp.21-28
• /
• 2011

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 학술대회
• /
• pp.15-20
• /
• 1999

본 논문에서는 사람의 정면 얼굴을 찍은 컬러 동영상에서 얼굴의 각 구성 요소에 대한 특징점들을 추출하여 3차원 개인 얼굴 모델을 생성하고 이를 얼굴의 표정 움직임에 따라 애니메이션 하는 방법을 제시한다. 제안된 방법은 얼굴의 정면만을 촬영하도록 고안된 헬멧형 카메라( Head-mounted camera)를 사용하여 얻은 2차원 동영상의 첫 프레임(frame)으로부터 얼굴의 특징점들을 추출하고 이들과 3차원 일반 얼굴 모델을 바탕으로 3차원 얼굴 특징점들의 좌표를 산출한다. 표정의 변화는 초기 영상의 특징점 위치와 이 후 영상들에서의 특징점 위치의 차이를 기반으로 알아낼 수 있다. 추출된 특징점 및 얼굴 움직임은 보다 다양한 응용 이 가능하도록 최근 1단계 표준이 마무리된 MPEG-4 SNHC의 FDP(Facial Definition Parameters)와FAP(Facial Animation Parameters)의 형식으로 표현되며 이를 이용하여 개인 얼굴 모델 및 애니메이션을 수행하였다. 제안된 방법은 단일 카메라로부터 촬영되는 영상을 기반으로 이루어지는 MPEG-4 기반 화상 통신이나 화상 회의 시스템 등에 유용하게 사용될 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.408-410
• /
• 1998

동영상에서 얼굴의 움직임을 이해하는 것은 인간과 컴퓨터간의 상호작용을 이루는 분야에서 중요한 문제이다. 본 논문에서는 2차원 동영상에서 얼굴요소 및 얼굴의 움직임을 측정하기 위해 optical flow를 통해 매개변수화된 움직임 벡터를 추출한다. 그리고 나서, 이를 소수의 매개변수들의 조합으로 만들어 얼굴의 움직임에 대한 정보를 묘사할 수 있게 하였다. 매개변수화된 움직임 벡터는 얼굴 및 얼굴 요소의 특징에 따라 다른 벡터 모델을 사용한다. 2차원 동영상에서 매개변수화된 움직임 벡터는 매 프레임마다 갱신되어 각 프레임에서 얼굴 및 얼굴 요소의 위치를 파악한다. 또한, 갱신된 벡터의 매개변수 조합으로 만들어 확인된 움직임에 대한 정보가 3차원 얼굴모델에 전달되며 3차원 얼굴 모델의 단위행위(Action Unit)와 연결되어 2차원 동영상에서의 얼굴 움직임을 합성할 수 있게 하였다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
• /
• pp.117-120
• /
• 2000

본 논문에서는 2매의 2차원 얼굴영상으로부터 이들을 합성하여 3차원 얼굴의 가상형상을 복원한다. 여기서 2매의 2차원 얼굴영상은 정면과 측면 영상을 사용한다. 우선 임의의 일반 얼굴에 대한 기준모델을 설정하고, 이 모델에서, 얼굴형상의 특징을 표현하는 귀, 2개의 눈, 코 및 입 부분에 집중적으로 특징점을 규정하고, 그 외에 이마 및 턱 부분에도 특징 점을 규정하여 그 위치좌표를 저장해 둔다. 그 후 정면영상의 좌 우측에 측면영상을 대칭적으로 접속하고 영상의 기하변환 방법을 적용하여 점차적으로 합성한다. 이때 나타나는 합성부분에 색상 및 명도의 차를 제거하기 위해 선형보간법을 적용하여 자연스런 3차원 가상얼굴을 구현하게 된다. 그 결과 불특정 얼굴형상도 3차원으로 구현할 수 있음을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.169-171
• /
• 2003

현실감 있는 얼굴 모델을 생성하기 위한 방법은 70년대부터 계속되었지만, 얼굴 구조의 복잡성, 색상과 텍스처의 다양한 분포, 잔주름과 같은 미세한 부분을 표현하기 어렵다는 정들로 인해 아직까지도 계속 연구되어지고 있다. 본 논문은 기존의 하드웨어 의존적인 3차원 얼굴 모델을 생성 방법이 아닌 2차원 얼굴 영상만으로 얼굴 모델을 생성하는 방법을 제시한다. 연구 수행 단계는 크게 얼굴 영역 검출 과정과 얼굴 모델링 과정으로 나뉘어지며, 얼굴 영역 검출을 위해 정규화된 TS 색상값과 얼굴의 피부색에 대한 평균과 공분산을 이용한 마할라노비스 거리 측정법을 이용한다. 얼굴 모델링 과정에서는 2차원 영상으로부터 3차원 정보를 추출한 뒤 일반 얼굴 모델에 변형을 주어 모델을 생성한다. 보다 현실감 있는 모델을 생성하기 위해 텍스쳐 매핑 기법을 추가한다. 본 연구를 통해 생성되는 얼굴 모델은 아바타 생성, 화상회의, 인증 시스템과 같은 분야에 적용 가능하며, 입력 영상에 대한 제약점을 줄이고 또한 사람의 손이 거치지 않고 전체적으로 자동화되어 처리할 수 있는 시스템을 제안한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.748-750
• /
• 2004

본 논문은 연속적으로 입력되는 2차원 얼굴 영상에서 얼굴의 특징 영역들을 추출하여 3차원 얼굴 모델의 표정을 실시간으로 제어하는 방법에 관한 연구이다. 2차원 얼굴 영상에서 얼굴을 추출하기 위해 Hue, Saturation 색상 값을 사용하며, 두 가지 색상 값을 이용하여 피부색과 배경색을 분리함으로써 얼굴 영역을 추출 할 수 있다. 추출 된 얼굴에서 특징 영역인 눈 코, 입술 영역 등의 일지를 각각의 영역에 적합한 추출 방법을 이용하여 추출한 뒤, 프레임 별로 영역들의 움직임을 비교함으로써 영역의 움직임 정보를 획득 할 수 있다. 이 정보를 3차원 얼굴 모델에 적용하여 2차원 동영상에서 획득된 대상의 얼굴의 표정을 3차원 얼굴 모델에 실시간으로 표현 할 수 있도록 한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권9호
• /
• pp.705-709
• /
• 2009

본 논문에서는 직교하는 2장의 얼굴영상과 얼굴 특징 자동추출을 통하여 3차원 얼굴모델을 생성하는 기술을 제안한다. 제안하는 기술은 3차원 얼굴모델을 개인화하는 부분과 2장의 얼굴영상으로부터 얻은 텍스쳐 맵을 3차원 얼굴모델에 사상하는 부분으로 구성된다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권6호
• /
• pp.618-631
• /
• 2000

본 논문에서는 2차원 얼굴 영상의 움직임을 추출하여 3차원 얼굴 모델에 합성하는 방법을 연구하였다. 본 논문은 동영상에서의 움직임을 추정하기 위하여 광류를 기반으로 한 추정방법을 이용하였다. 2차원 동영상에서 얼굴요소 및 얼굴의 움직임을 추정하기 위해 인접한 두 영상으로부터 계산된 광류를 가장 잘 고려하는 매개변수화된 움직임 벡터들을 추출한다. 그리고 나서, 이를 소수의 매개변수들의 조합으로 만들어 얼굴의 움직임에 대한 정보를 묘사할 수 있게 하였다. 매개변수화 된 움직임 벡터는 눈 영역, 입술과 눈썹 영역, 그리고 얼굴영역을 위한 서로 다른 세 종류의 움직임을 위하여 사용하였다. 이를 얼굴 모델의 움직임을 합성할 수 있는 단위행위(Action Unit)와 결합하여 2차원 동영상에서의 얼굴 움직임을 3 차원으로 합성한 결과를 얻을 수 있다.

• 한국멀티미디어학회논문지
• /
• 제7권4호
• /
• pp.474-483
• /
• 2004

본 논문에서는 3차원 정면 얼굴 영상으로부터 추출된 프로파일(profile) 영상을 깊이 정보가 반영된 가중치 하우스도르프 거리(weighted hausdorff distance-WHD)를 이용하여 두 영상을 비교하는 인식 알고리즘을 제안한다. 3차원 얼굴 영상은 2차원과 달리, 깊이 정보를 가지고 있으므로 사람 얼굴의 프로파일 영상을 보다 정확하게 그리고 다양한 얼굴 위치에서 추출되어 질 수 있다. 코는 얼굴에서 가장 돌출된 형상을 가지고 있으므로, 3차원 데이터의 깊이 값을 평균을 이용한 반복 선택 방법을 사용하여 코의 정점 위치를 찾는다. 이를 기준점으로 수직성분들의 깊이 값을 2차원 평면으로 나타내면 프로파일 영상이 추출된다. 입력 영상과 데이터베이스 영상과의 유사도 비교를 위해, 깊이정보를 가중치로 사용한 WHD방법으로서 두 프로파일 영상의 거리비교는 Ll을 이용하여 비교하였다. 제안된 방법으로, 인식률은 5위 이내가 94.3%의 인식률을 나타내었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.613-615
• /
• 2001

본 논문은 동영상 내의 얼굴을 특정인 얼굴로 자동 변환 및 정합하는 기술을 제안한다. 얼굴에 나타난 동작이나 표정은 높은 자유도로 인하여 기존에 사용되어온 2차원적이고 고정된 물체 위주의 동영상 정합 기술로는 자연스러운 결과물을 얻기가 어렵다. 본 논문에서는 입력 받은 정면 유사방향의 사진으로부터 3차원 얼굴 모델을 복원한다. 각 프레임에 등장한 얼굴의 3차원 방향을 추출하여 복원한 3차원 얼굴 모델에 적용한 후 대체할 얼굴 영역에 저합시킨다. 정합 과정 시 비디오 프레임 내의 조명효과와 얼굴색 등을 분석하고 3차원 얼굴 모델에 블렌딩하여 비디오 프레임과 자연스럽게 정합할 수 있도록 한다.