• 한국멀티미디어학회논문지
• /
• 제11권8호
• /
• pp.1138-1145
• /
• 2008

최근에 다양한 분야에서 캐릭터 표정을 생성하는데 연기자 기반 표정 캡쳐 방법을 널리 사용하고 있다. 특히, 방송이나 게임 등의 분야에서는 실시간 요소와 연기자와 외형상의 차이가 큰 캐릭터의 경우에도 표정 표현이 가능한 다양성이 중요한 문제가 된다. 본 논문에서는 연기자 얼굴에서 캡쳐한 표정을 다양한 얼굴 모델에 적용하는 새로운 표정 애니메이션 방법을 제안한다. 이 방법을 사용하면 최소의 실시간 비용으로 캐릭터 표정을 생성하고 제어하는 것이 가능하다. 본 논문에서는 세 가지 핵심 이슈로서 얼굴 표정 캡쳐, 표정 대입, 표정 애니메이션을 다룬다. 그리고 연기자와 얼굴 모델 간의 특성이 매우 상이한 다양한 경우에 대하여 실험결과를 보여줌으로써 접근방식의 유효성을 증명한다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제14권1호
• /
• pp.129-135
• /
• 2022

Real human digital models appear more and more frequently in VR/AR application scenarios, in which real-time markerless face capture animation of personalized virtual human faces is an important research topic. The traditional way to achieve personalized real human facial animation requires multiple mature animation staff, and in practice, the complex process and difficult technology may bring obstacles to inexperienced users. This paper proposes a new process to solve this kind of work, which has the advantages of low cost and less time than the traditional production method. For the personalized real human face model obtained by 3D reconstruction technology, first, use R3ds Wrap to topology the model, then use Avatary to make 52 Blend-Shape model files suitable for AR-Kit, and finally realize real-time markerless face capture 3D real human on the UE4 platform facial motion capture, this study makes rational use of the advantages of software and proposes a more efficient workflow for real-time markerless facial motion capture of personalized 3D real human models, The process ideas proposed in this paper can be helpful for other scholars who study this kind of work.

• 한국컴퓨터그래픽스학회논문지
• /
• 제18권3호
• /
• pp.9-16
• /
• 2012

본 논문은 광학식 동작 포착 장비를 사용해 얼굴과 동작을 동시에 포착할 경우 발생하는 불완전한 표정 데이터의 복원에 관한 연구를 다룬다. 일반적으로 동작 포착과 표정 포착은 필요 해상도에서 차이가 나며, 이로 인해 동작과 표정을 동시에 포착하기 힘들었다. 본 연구에서는 표정과 동작의 동시 포착을 위해, 기존의 작은 마커를 촘촘히 얼굴에 부착하는 표정 포착 방식에서 탈피하여 적은 수의 마커만을 이용하여 표정을 포착하고, 이로부터 세밀한 얼굴 표정을 복원하는 방법을 제안한다. 본 방법의 핵심 아이디어는 얼굴 표정의 움직임을 미리 데이터베이스화하여, 적은 수의 마커로 표현된 얼굴 표정을 복원하는 것이다. 이를 위해 주성분분석을 사용하였으며, 제안된 기술을 실제 동적인 장면에 활용하여 표정의 복원이 잘 됨을 검증하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제18권1호
• /
• pp.23-28
• /
• 2012

본 논문은 동작 포착 장비를 통해 각각 따로 포착된 얼굴과 동작 데이터의 자동 동기화 기술에 대해 다룬다. 광학식 동작 포착 기기를 사용할 때 얼굴 표정과 동작의 포착은 별도로 이루어지는 경우가 많으며, 이 경우 두 데이터 간의 동기화 수행하여야 자연스러운 애니메이션을 만들 수 있다. 본 연구에서는 두 데이터 간의 공통 부분인 목 및 얼굴의 전체적인 움직임 데이터를 기준으로 비선형 시간 변형을 통해 동기화를 수행하는 기법을 제안한다. 연구 결과를 간단한 실험 시나리오에 적용하여 기술의 효과성 여부를 검증하였다.

• 한국콘텐츠학회논문지
• /
• 제22권8호
• /
• pp.73-80
• /
• 2022

얼굴 표정은 영화나 애니메이션에서 캐릭터의 특징을 나타내기 위한 중요한 수단이며, 페이셜 캡쳐 기술은 3D 캐릭터의 페이셜 애니메이션 제작을 보다 빠르고 효과적으로 지원할 수 있다. 블렌드쉐입(blendshape) 기법은 고품질의 3D 얼굴 애니메이션을 생성하기 위해 가장 널리 사용되는 방법이지만, 전통적인 블렌드쉐입은 제작에 시간이 오래 걸리는 경우가 많다. 따라서 블렌드쉐입의 제작 기간을 줄이기 위해 전통적인 제작의 효과에 크게 뒤지지 않는 결과를 얻으려는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입의 제작을 위해 크로스 모델(Cross-Model)로 블렌드쉐입을 전달 방법을 사용하고, 전통적인 블렌드쉐입의 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다. 이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 삼고, 각각 두 가지 블렌드쉐입 제작 기법을 사용하여 페이셜 캡처 테스트를 실시하고, 블렌드쉐입과 연동된 얼굴 표정 제작 방법의 효과를 비교 분석하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제12권3호
• /
• pp.56-63
• /
• 2020

The Avengers film produced by Marvel Comics shows visual effects that were impossible to produce in the past. Companies that produce film special effects were initially equipped with large personnel and equipment, but technology is gradually evolving to be feasible for smaller companies that do not have high-priced equipment and a large workforce. The development of hardware and software is becoming increasingly available to the general public as well as to experts. Equipment and software which were difficult for individuals to purchase before quickly popularized high-performance computers as the game industry developed. The development of the cloud has been the driving force behind software costs. As augmented reality (AR) performance of mobile devices improves, advanced technologies such as motion tracking and face recognition technology are no longer implemented by expensive equipment. Under these circumstances, after implementing mobile-based facial capture technology in animation projects, we have identified the pros and the cons and suggest better solutions to improve the problem.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 춘계학술발표논문집
• /
• pp.474-477
• /
• 2000

최근 3D 애니메이션 , 영화 특수효과 그리고 게임제작시 모션 캡처 시스템(Motion Capture System)을 통하여 실제 인간의 동작 및 표정을 수치적으로 측정해내어 이를 실제 애니메이션에 직접 사용함으로써 막대한 작업시간 및 인력 드리고 자본을 획기적으로 줄이고 있다. 그러나 기존의 모션 캡처 시스템은 고속 카메라를 이용함으로써 가격이 고가이고 움직임 추적에서도 여러 가지 문제점을 가지고 있다. 본 논문에서는 일반 저가의 카메라와 신경회로망 및 영상처리를 이용하여 얼굴 애니메이션용 모션 캡처 시스템에 적용할 수 있는 경제적이고 효율적인 얼굴 움직임 추적 기법을 제안한다.

• International journal of advanced smart convergence
• /
• 제13권3호
• /
• pp.176-182
• /
• 2024

Looking at the recent game market, classic games released in the past are being re-released with high-quality visuals, and users are generally satisfied. It can be said that the realization of realistic digital actors, which was not possible in the past, is now becoming a reality. Epic Games launched the MetaHuman Creator website in September 2021, allowing anyone to easily create realistic human characters. Since then, the number of animations created using MetaHumans has been increasing. As the characters become more realistic, the movement and expression animations expected by the audience must also be convincingly realized. Until recently, traditional methods were the primary approach for producing realistic character animations. For facial animation, Epic Games introduced an improved method on the Live Link app in 2023, which provides the highest quality among mobile-based techniques. In this context, this paper compares the results of animation produced using both keyframe facial capture and mobile-based capture. After creating an emotional expression animation with four sentences, the results were compared using Unreal Engine. While the facial capture method is more natural and easier to use, the precise and exaggerated expressions possible with the keyframe method cannot be overlooked, suggesting that a hybrid approach using both methods will likely continue for the foreseeable future.

• 한국컴퓨터그래픽스학회논문지
• /
• 제22권2호
• /
• pp.11-19
• /
• 2016

본 논문은 페이셜 캡처 데이터로부터 페이셜 리그에 대한 다이렉트 리타겟팅을 수행하는 새로운 방법론에 대하여 다룬다. 페이셜 리그는 프로덕션 파이프라인에서 아티스트가 손쉽게 페이셜 애니메이션을 제작하기 위하여 만들어진 제작도구로서, 모션 캡처 등으로 생성된 얼굴 애니메이션 데이터를 페이셜 리그에 매핑할 경우 아티스트에게 친숙한 방식으로 손쉽게 수정, 편집할 수 있으므로 작업 능률을 크게 향상시킬 수 있다는 장점이 있다. 그러나, 페이셜 리그는 그 종류와 작동 방식이 매우 다양하므로, 다양한 페이셜 리그에 대하여 강건하고 안정적으로 모션 데이터를 매핑할 수 있는 일반화된 방법을 찾기는 쉽지 않다. 이를 위하여, 본 논문은 캡처된 얼굴 모션 중 몇 개의 대표적 표정에 대하여 아티스트가 페이셜 리그로 제작한 표정을 예제로 학습시키는 데이터 기반 페이셜 리타겟팅 방식을 제안한다. 이를 통하여 우리는 아티스트가 페이셜 캡처 데이터를 기존 애니메이션 파이프라인의 페이셜 리그를 활용하여 손쉽게 수정할 수 있도록 할 뿐 아니라, 수십 수백개의 대응점을 일일이 지정해 주어야 하거나 사람과 많이 다른 동물 및 괴물 형태의 얼굴에는 리타겟팅이 잘 이루어지지 않았던 기존 대응점 기반 리타겟팅 방식의 한계점 또한 극복할 수 있었다. 본 논문의 결과물들은 우리의 방식이 제공하는 단순하면서도 직관적인 얼굴 애니메이션 리타겟팅이 실제 애니메이션 프로덕션에서 얼마나 효율적으로 활용될 수 있는지를 보여준다.

• International journal of advanced smart convergence
• /
• 제13권3호
• /
• pp.191-198
• /
• 2024

This paper presents an alternative solution for applying MetaHuman facial animations using MediaPipe, providing a versatile option to the Live Link iPhone system. Our approach involves capturing facial expressions with various camera devices, including webcams, laptop cameras, and Android phones, processing the data for landmark detection, and applying these landmarks in Unreal Engine Blueprint to animate MetaHuman characters in real-time. Techniques such as the Eye Aspect Ratio (EAR) for blink detection and the One Euro Filter for data smoothing ensure accurate and responsive animations. Experimental results demonstrate that our system provides a cost-effective and flexible alternative for iPhone non-users, enhancing the accessibility of advanced facial capture technology for applications in digital media and interactive environments. This research offers a practical and adaptable method for real-time facial animation, with future improvements aimed at integrating more sophisticated emotion detection features.