• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권6호
• /
• pp.618-631
• /
• 2000

본 논문에서는 2차원 얼굴 영상의 움직임을 추출하여 3차원 얼굴 모델에 합성하는 방법을 연구하였다. 본 논문은 동영상에서의 움직임을 추정하기 위하여 광류를 기반으로 한 추정방법을 이용하였다. 2차원 동영상에서 얼굴요소 및 얼굴의 움직임을 추정하기 위해 인접한 두 영상으로부터 계산된 광류를 가장 잘 고려하는 매개변수화된 움직임 벡터들을 추출한다. 그리고 나서, 이를 소수의 매개변수들의 조합으로 만들어 얼굴의 움직임에 대한 정보를 묘사할 수 있게 하였다. 매개변수화 된 움직임 벡터는 눈 영역, 입술과 눈썹 영역, 그리고 얼굴영역을 위한 서로 다른 세 종류의 움직임을 위하여 사용하였다. 이를 얼굴 모델의 움직임을 합성할 수 있는 단위행위(Action Unit)와 결합하여 2차원 동영상에서의 얼굴 움직임을 3 차원으로 합성한 결과를 얻을 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.667-674
• /
• 2007

Facial expressions provide significant clues about one's emotional state; however, it always has been a great challenge for machine to recognize facial expressions effectively and reliably. In this paper, we report a method of feature-based adaptive motion energy analysis for recognizing facial expression. Our method optimizes the information gain heuristics of ID3 tree and introduces new approaches on (1) facial feature representation, (2) facial feature extraction, and (3) facial feature classification. We use minimal reasonable facial features, suggested by the information gain heuristics of ID3 tree, to represent the geometric face model. For the feature extraction, our method proceeds as follows. Features are first detected and then carefully "selected." Feature "selection" is finding the features with high variability for differentiating features with high variability from the ones with low variability, to effectively estimate the feature's motion pattern. For each facial feature, motion analysis is performed adaptively. That is, each facial feature's motion pattern (from the neutral face to the expressed face) is estimated based on its variability. After the feature extraction is done, the facial expression is classified using the ID3 tree (which is built from the 1728 possible facial expressions) and the test images from the JAFFE database. The proposed method excels and overcomes the problems aroused by previous methods. First of all, it is simple but effective. Our method effectively and reliably estimates the expressive facial features by differentiating features with high variability from the ones with low variability. Second, it is fast by avoiding complicated or time-consuming computations. Rather, it exploits few selected expressive features' motion energy values (acquired from intensity-based threshold). Lastly, our method gives reliable recognition rates with overall recognition rate of 77%. The effectiveness of the proposed method will be demonstrated from the experimental results.

• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제10권5호
• /
• pp.90-98
• /
• 2010

본 논문은 얼굴 모션 데이터를 벡터 기반 캐리커처의 얼굴에 적용하여 캐리커처 얼굴 표정 애니메이션을 생성할 수 있도록 하는 방법론을 기술한다. 본 방법은 일러스트레이터의 플러그인 형식으로 구현하였으며, 별도의 사용자 인터페이스를 갖추고 있다. 실험에 사용된 얼굴 모션 데이터는 28개의 소형 마커를 배우 얼굴의 주 근육 부분에 부착하고 다양한 다수 개의 표정을 Facial Tracker로 캡처한 것이다. 캐리커처는 모션데이터와의 연결을 위해 모션 캡처를 할 때 배우의 얼굴에 부착된 주요 마커의 위치와 동일한 부위에 각각의 제어점을 가진 베지어 곡선 형태로 제작되었다. 그러나 얼굴 모션 데이터는 캐리커처에 비하여 공간적인 규모가 너무 크기 때문에 모션 캘리브레이션 과정을 거쳤으며, 사용자로 하여금 수시로 조절이 가능하게 하였다. 또한 캐리커처와 마커들을 연결시키기 위해서는 사용자가 얼굴 부위의 각 명칭을 메뉴에서 선택한 다음, 캐리커처의 해당 부위를 클릭함으로써 가능하게 하였다. 결국 본 논문은 일러스트레이터의 사용자 인터페이스를 통하여 벡터 기반 캐리커처에 얼굴 모션 데이터를 적용한 캐리커처 얼굴 표정 애니메이션 생성이 가능하도록 하였다.

• The Journal of Korean Physical Therapy
• /
• 제34권5호
• /
• pp.255-266
• /
• 2022

Purpose: This study sought to study the effects of cross-legged sitting posture on joint motion. It also examined the correlation between the changes in the joint range of motion, musculoskeletal symptoms, and facial asymmetry. Methods: The Acumar Digital Inclinometer (Lafayette Instrument Company, USA) was used to measure the range of motion (ROM). We measured the flexion and extension of the cervical, thoracic, and lumbar spine using a dual inclinometer, and measured the ROM of the shoulder and hip joint with a single inclinometer. The Likert scale questionnaire was used to investigate musculoskeletal symptoms and facial asymmetry. Results: The data analysis was performed using the Jamovi version 1.6.23 statistical software. After confirming the normality of the ROM with descriptive statistics, it was compared with the normal ROM through a one-sample t-test. Correlation matrix analysis was performed to confirm the association between facial asymmetry and musculoskeletal symptoms. The result of the one-sample t-test showed a significant increase in the thoracic spine extension and right and left hip external rotation (p<0.001^***), while most other joints were restricted. As per the frequency analysis, facial asymmetry was found to be 81.70%. Conclusion: The independent variable, namely cross-legged sitting posture led to an increase in ROM. The study also suggests that facial asymmetry and musculoskeletal symptoms could occur. Therefore, to prevent the increase and limitation of ROM and to prevent the occurrence of facial asymmetry and musculoskeletal symptoms, it is suggested that the usual cross-legged sitting posture should be avoided.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.883-886
• /
• 1998

In order to detect the user's gaze position on a monitor by computer vision, the accurate estimations of 3D positions and 3D motion of facial features are required. In this paper, we apply a EKF(Extended Kalman Filter) to estimate 3D motion estimates and assumes that its motion is "smooth" in the sense of being represented as constant velocity translational and rotational model. Rotational motion is defined about the orgin of an face-centered coordinate system, while translational motion is defined about that of a camera centered coordinate system. For the experiments, we use the 3D facial motion data generated by computer simulation. Experiment results show that the simulation data andthe estimation results of EKF are similar.e similar.

• 전기학회논문지
• /
• 제63권6호
• /
• pp.813-819
• /
• 2014

The purpose of this study was to extract accurate parameters of facial movement features using 3-D motion capture system in speech recognition technology through lip-reading. Instead of using the features obtained through traditional camera image, the 3-D motion system was used to obtain quantitative data for actual facial movements, and to analyze 11 variables that exhibit particular patterns such as nose, lip, jaw and cheek movements in monosyllable vocalizations. Fourteen subjects, all in 20s of age, were asked to vocalize 11 types of Korean vowel monosyllables for three times with 36 reflective markers on their faces. The obtained facial movement data were then calculated into 11 parameters and presented as patterns for each monosyllable vocalization. The parameter patterns were performed through learning and recognizing process for each monosyllable with speech recognition algorithms with Hidden Markov Model (HMM) and Viterbi algorithm. The accuracy rate of 11 monosyllables recognition was 97.2%, which suggests the possibility of voice recognition of Korean language through quantitative facial movement analysis.

• 한국컴퓨터그래픽스학회논문지
• /
• 제18권1호
• /
• pp.23-28
• /
• 2012

본 논문은 동작 포착 장비를 통해 각각 따로 포착된 얼굴과 동작 데이터의 자동 동기화 기술에 대해 다룬다. 광학식 동작 포착 기기를 사용할 때 얼굴 표정과 동작의 포착은 별도로 이루어지는 경우가 많으며, 이 경우 두 데이터 간의 동기화 수행하여야 자연스러운 애니메이션을 만들 수 있다. 본 연구에서는 두 데이터 간의 공통 부분인 목 및 얼굴의 전체적인 움직임 데이터를 기준으로 비선형 시간 변형을 통해 동기화를 수행하는 기법을 제안한다. 연구 결과를 간단한 실험 시나리오에 적용하여 기술의 효과성 여부를 검증하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 제14회 신호처리 합동 학술대회 논문집
• /
• pp.139-142
• /
• 2001

This paper presents a highly fast and accurate facial region extraction method by using the skin-color-reference map and motion information. First, we construct the robust skin-color-reference map and eliminate the background in image by this map. Additionally, we use the motion information for accurate and fast detection of facial region in image sequences. Then we further apply region growing in the remaining areas with the aid of proposed criteria. The simulation results show the improvement in execution time and accurate detection.

• 정보처리학회논문지B
• /
• 제9B권5호
• /
• pp.563-570
• /
• 2002

본 논문은 MPEG4 SNHC의 얼굴 모델 인코딩을 구현하기 위하여 연속된 2차원 영상으로부터 얼굴영역을 검출하고, 얼굴의 특징데이터들을 추출한 후, 얼굴의 3차원 모양 및 움직임 정보를 복원하는 알고리즘과 결과를 제시한다. 얼굴 영역 검출을 위해서 영상의 거리, 피부색상, 움직임 색상정보등을 융합시킨 멀티모달합성의 방법이 사용되었다. 결정된 얼굴영역에서는 MPEG4의 FDP(Face Definition Parameter) 에서 제시된 특징점 위치중 23개의 주요 얼굴 특징점을 추출하며 추출성능을 향상시키기 위하여 GSCD(Generalized Skin Color Distribution), BWCD(Black and White Color Distribution)등의 움직임색상 변환기법과 형태연산 방법이 제시되었다. 추출된 2차원 얼팔 특징점들로부터 얼굴의 3차원 모양, 움직임 정보를 복원하기 위하여 준원근 카메라 모델을 적용하여 SVD(Singular Value Decomposition)에 의한 인수분해연산을 수행하였다. 본 논문에서 제시된 방법들의 성능을 객관적으로 평가하기 위하여 크기와 위치가 알려진 3차원 물체에 대해 실험을 행하였으며, 복원된 얼굴의 움직임 정보는 MPEG4 FAP(Face Animation Parameter)로 변환된 후, 인터넷상에서 확인이 가능한 가상얼굴모델에 인코딩되어 실제 얼굴파 일치하는 모습을 확인하였다.