• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2012년도 제46차 하계학술발표논문집 20권2호
• /
• pp.277-278
• /
• 2012

본 논문에서는 색상 군집화를 이용한 입술탐지 알고리즘을 제안한다. 이를 위해 이미 많이 알려져 있는 AdaBoost를 이용한 얼굴탐지를 수행한다. 탐지된 얼굴영역에 Lab 컬러시스템을 적용 시킨 후 입술픽셀의 특징에 따른 색상 마커를 사용하여 피부영역을 추출한다. 추출된 피부영역에 대하여 K-means 색상 군집화를 통해 입술영역을 추출한다. 그리고 실험을 통해 입술탐지 결과를 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제19권3호
• /
• pp.37-43
• /
• 2014

본 논문에서는 색상 군집화를 이용한 입술탐지 알고리즘을 제안한다. RGB 색상 모델로 주어진 입력영상에서 AdaBoost 알고리즘을 이용하여 얼굴영역을 추출한 후, 얼굴영역을 Lab 컬러 모델로 변환한다. Lab 컬러 모델에서 a 성분은 입술과 유사한 색상을 잘 표현할 수 있는 반면 b 성분은 입술의 보색을 표현할 수 있기 때문에 Lab 컬러로 표현된 얼굴영역에서 a와 b 성분을 기준으로 최단 이웃(nearest neighbour) 군집화 알고리즘을 이용하여 피부 영역을 분리한 후, K-means 색상 군집화를 통해 입술 후보 영역을 추출하고, 마지막으로 기하학적 특징을 이용하여 최종적인 입술영역을 탐지하였다. 실험 결과는 제안된 방법이 강건하게 입술을 탐지함을 보인다.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.478-484
• /
• 2009

음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.19-30
• /
• 2009

본 논문에서는 입력된 영상에서 얼굴의 구성요소와 얼굴을 검출하는 방법을 제안하고자 한다. 얼굴 구성 요소탐지 방법으로는 EyeMap과 MouthMap을 이용하여 눈과 입술을 검출하는 방법을 사용한다. 먼저 눈의 영역을 찾은 후에 그 주변의 색상을 이용하여 피부 영역의 색상값 분포를 찾는다. 피부영역은 YCbCr에서 특징적인 분포를 나타내는데 이를 이용하여 배경영역과 피부영역을 분리한다. 피부영역으로 검출된 영역의 색상값 분포를 찾고 전체 영상에 그 분포와 근거리에 있는 영역들을 피부영역으로 검출한다. 여기서 추출된 피부영역을 기반으로 MouthMap을 구하여 입술을 검출한다. 기존의 방법과 달리 환경에 적응된 피부색상모델을 만들 수 있어 피부 영역 검출에서 좋은 결과를 얻을 수 있을 뿐 아니라 보다 정확한 입술영역을 찾을 수 있다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.189-198
• /
• 2024

입 모양 인식은 음성 인식의 중요 부분 중 하나로 음성 인식을 위한 입 모양 인식 시스템에서 입 모양 인식 성능을 개선하기 위한 여러 연구가 진행됐다. 최근의 연구에서는 인식 성능을 개선하기 위해 입 모양 인식 시스템의 모델 구조를 수정하는 방법이 사용됐다. 본 연구에서는 모델 구조를 수정하는 것으로 인식 성능을 개선하는 기존의 연구와 달리 모델 구조의 변화 없이 인식 성능을 개선하는 것을 목표로 한다. 모델 구조의 수정 없이 인식 성능을 개선하기 위해, 사람이 하는 입 모양 인식에서 사용되는 단서를 참고해 입 모양 인식 시스템의 기존 관심 영역인 입술 영역과 함께 턱, 뺨과 같은 다른 영역을 관심 영역으로 설정하고 각 관심 영역의 인식률을 비교해 가장 높은 성능의 관심 영역을 제안한다. 또한, 관심 영역 크기를 정규화하는 과정에서 보간법의 차이로 인해 발생하는 정규화 결과의 차이가 인식 성능에 영향을 준다고 가정하고 최근접 이웃 보간법, 이중 선형 보간법, 이중 삼차 보간법을 사용해 동일한 관심 영역을 보간하고 각 보간법에 따른 입 모양 인식률을 비교해 가장 높은 성능의 보간법을 제안한다. 각 관심 영역은 객체 탐지 인공신경망을 학습시켜 검출하고, 각 관심 영역을 정규화하고 특징을 추출하고 결합한 뒤, 결합된 특징들을 차원 축소한 결과를 저차원 공간으로 매핑하는 것으로 동적 정합 템플릿을 생성했다. 생성된 동적 정합 템플릿들과 저차원 공간으로 매핑된 데이터의 거리를 비교하는 것으로 인식률을 평가했다. 실험 결과 관심 영역의 비교에서는 입술 영역만을 포함하는 관심 영역의 결과가 이전 연구의 93.92%의 평균 인식률보다 3.44% 높은 97.36%의 평균 인식률을 보였으며, 보간법의 비교에서는 이중 선형 보간법이 97.36%로 최근접 이웃 보간법에 비해 14.65%, 이중 삼차 보간법에 비해 5.55% 높은 성능을 나타내었다. 본 연구에 사용된 코드는 https://github.com/haraisi2/Lipreading-Systems에서 확인할 수 있다.