• 전자공학회논문지
• /
• 제52권5호
• /
• pp.115-123
• /
• 2015

점진 학습은 비교적 높은 얼굴 추적 성능을 보이지만, 환경적인 변화로 인해 추적에 오차가 발생하면 그 이후의 추적에 오차가 전파되어 추적 성능이 감소한다는 단점이 있다. 본 논문에서는, 다양한 변이 조건에서 강인하게 동작할 수 있는 선택적인 점진 학습 방법을 제안한다. 먼저, 개별 프레임에 대해 LBP(Local Binary Pattern) 특징을 추출하여 사용함으로써 조명 변이에 보다 강인하게 동작 할수 있고, Staggered Multi-Scale LBP를 사용하여 점진 학습에 사용할 패치(patch)를 선택하여 이전 프레임에서의 오차가 전파되는 것을 방지하였다. 실험을 통해, 제안한 방법이 조명 변이와 같은 환경적 변이가 존재하는 비디오 영상에 대해서도 기존의 추적 방법들보다 우수한 얼굴 추적 성능을 보이는 것을 확인할 수 있었다.

• 한국지능시스템학회논문지
• /
• 제15권5호
• /
• pp.573-580
• /
• 2005

본 논문에서는 인간과 컴퓨터의 인터페이스를 좀더 자연스럽고 쉬운 형태의 능동적인 휴먼 인터페이스로 구현하기 위해 정지영상 및 동영상에서의 감정인식기법을 제안하고자 한다. 제안된 얼굴의 감정인식 기법은 Hidden Markov Model(HMM), 주성분분석기법(PCA)와 웨이블렛 변환을 기반으로 구성하였다. 얼굴의 감정인식을 위하여 심리학자인 Ekman과 Friesen의 연구에 의해 문화에 영향을 받지 않고 공통으로 인식하는 6개의 기본 감정인 기쁨, 슬픔, 화남, 놀람, 공포, 혐오를 바탕으로 실험하였다. 감정인식에서 입력영상은 이산 웨이블렛을 기반으로 한 다해상도 분석기법을 사용하여 데이터 수를 압축한 후, 각각의 영상에서 PCA 특징벡터를 추출한 후 이를 사용하여 HMM의 모델을 생성한다. 인식단계에서는 정지영상에서의 인식값과 동영상에서의 인식값을 정규화 과정을 통하여 상호보완 함으로써 인식률을 높일 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.19-30
• /
• 2009

본 논문에서는 입력된 영상에서 얼굴의 구성요소와 얼굴을 검출하는 방법을 제안하고자 한다. 얼굴 구성 요소탐지 방법으로는 EyeMap과 MouthMap을 이용하여 눈과 입술을 검출하는 방법을 사용한다. 먼저 눈의 영역을 찾은 후에 그 주변의 색상을 이용하여 피부 영역의 색상값 분포를 찾는다. 피부영역은 YCbCr에서 특징적인 분포를 나타내는데 이를 이용하여 배경영역과 피부영역을 분리한다. 피부영역으로 검출된 영역의 색상값 분포를 찾고 전체 영상에 그 분포와 근거리에 있는 영역들을 피부영역으로 검출한다. 여기서 추출된 피부영역을 기반으로 MouthMap을 구하여 입술을 검출한다. 기존의 방법과 달리 환경에 적응된 피부색상모델을 만들 수 있어 피부 영역 검출에서 좋은 결과를 얻을 수 있을 뿐 아니라 보다 정확한 입술영역을 찾을 수 있다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 전자공학회논문지CI
• /
• 제43권3호
• /
• pp.67-75
• /
• 2006

얼굴의 표정은 얼굴의 구성요소같은 기하학적 정보와 조명이나 주름 같은 세부적인 정보들로 표현된다. 얼굴 표정은 기하학적 변형만으로는 실감적인 표정을 생성하기 힘들기 때문에 기하학적 변형과 더불어 텍스처 같은 세부적인 정보도 함께 변형해야만 실감적인 표현을 할 수 있다. 표정비율이미지 (Expression Ratio Image)같은 얼굴 텍스처의 세부적인 정보를 변형하기 위한 기존 방법들은 조명에 따른 피부색의 변화를 정확히 표현할 수 없는 단점이 있다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 서로 다른 조명 조건에서도 실감적인 표정 텍스처 정보를 적용할 수 있는 비선형 피부색 모델 기반의 표정 합성방법을 제안한다. 제안된 방법은 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출과 와핑을 통한 표정 변형 단계, 비선형 피부색 변화 모델을 이용한 표정 생성 단계, 유클리디 거리 변환 (Euclidean Distance Transform)에 의해 계산된 혼합 비율을 사용한 원본 얼굴 영상과 생성된 표정의 합성 등 총 3 단계로 구성된다. 실험결과는 제안된 방법이 다양한 조명조건에서도 자연스럽고 실감적인 표정을 표현한다는 것을 보인다.

• 한국멀티미디어학회논문지
• /
• 제14권4호
• /
• pp.494-503
• /
• 2011

본 논문에서는 스마트폰에서 웃음 치료를 위한 표정인식 애플리케이션을 제안한다. 제안된 방법에서는 스마트폰의 전면 카메라 영상으로부터 AdaBoost 얼굴 검출 알고리즘을 이용하여 얼굴을 검출한다. 얼굴을 검출한 다음에는 얼굴 영상으로부터 입술 영역을 검출한다. 그 다음 프레임부터는 얼굴을 검출하지 않고 이전 프레임에서 검출된 입술영역을 3단계 블록 매칭 기법을 이용하여 추적한다. 카메라와 얼굴 사이의 거리에 따라 입술 영역의 크기가 달라지므로, 입술 영역을 구한 다음에는 고정된 크기로 정규화한다. 그리고 주변 조명 상태에 따라 영상이 달라지므로, 본 논문에서는 히스토그램 매칭과 좌우대칭을 결합하는 조명 정규화 알고리즘을 이용하여 조명 보정 전처리를 함으로써 조명에 의한 영향을 줄일 수 있도록 하였다. 그 다음에는 검출된 입술 영상에 주성분 분석을 적용하여 특징 벡터를 추출하고 다층퍼셉트론 인공신경망을 이용하여 실시간으로 웃음 표정을 인식한다. 스마트폰을 이용하여 실험한 결과, 제안된 방법은 초당 16.7프레임을 처리할 수 있어서 실시간으로 동작 가능하였고 인식률 실험에서도 기존의 조명 정규화 방법보다 개선된 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.131-133
• /
• 2019

감정인식 기술은 인간과 인공지능이 감정적인 상호작용을 위하여 매우 중요한 기술이다. 얼굴영상 기반의 감정인식 연구는 가장 널리 진행되어 왔으나 우리는 표정에서 드러나지 않는 내면의 감정을 인식하기 위하여 뇌전도를 이용한 감정인식 기법을 제안한다. 먼저 2 초 구간의 뇌전도 신호에 대하여 time, frequency, time-frequency 영역에서 특징점을 추출하고 이를 3 개의 fully connected layer 로 구성되어 있는 regressor 를 이용하여 valence 정보를 추정한다. MAHNOB-HCI 데이터세트에 대한 실험결과에서 제안기법은 종래기법보다 낮은 오차를 보이며 감정의 변화를 실시간으로 인식하는 결과를 보인다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.1053-1056
• /
• 1999

In this paper we propose a facial feature extraction method by using a genetic algorithm. The method uses a facial feature template to model the location of eyes and a mouth, and genetic algorithm is employed to find the optimal solution from the fitness function consisting of invariant moments. The simulation results show that the proposed algorithm can effectively extract facial features from face images with variations in position, size, rotation and expression.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
• /
• pp.348-350
• /
• 2012

본 논문에서는 열 영상카메라를 통해 입력 받은 영상을 CS-LBP(Center-symmetric LBP)와 랜덤 포레스트(Random forest)를 이용하여 보행자 휴먼 객체를 검출하는 방법을 제안한다. 우선 불필요한 후보영역을 줄이기 위해 열 영상의 표준편차, 밝기 평균, 밝기 최대값을 이용하여 이진화하고, 신체부위 중 가장 발열이 강한 얼굴부위를 핫스팟 영역으로 설정한다. 그 후, 핫스팟 영역에서 CS-LBP특징을 추출하여 결정 트리의 앙상블인 랜덤 포레스트 분류기를 이용하여 최종적인 보행자 휴먼 객체를 검증한다. CS-LBP와 랜덤 포레스트 분류기를 통해 실시간 보행자 객체의 검출이 가능하고, 높은 검출 성능을 나타내었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.821-823
• /
• 2016

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.