• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.239-240
• /
• 2020

마스크 쓴 얼굴에 대해 랜드마크 분석을 진행하기 위해서는 대량의 마스크가 착용된 얼굴 데이터셋이 필요하다. 본 논문에서는 공개된 얼굴 데이터셋에 자동으로 마스크를 합성하여 대량의 마스크를 착용한 얼굴 데이터셋을 생성하는 시스템을 제안한다. 마스크는 얼굴의 많은 부분을 가리는 물체이다. 따라서 마스크를 쓴 얼굴에 대해서는 일반적인 얼굴 데이터셋으로 학습된 landmark detector가 잘 작동하지 않는다. landmark detector가 잘 작동하게 하려면 마스크를 쓴 얼굴에 대해서 학습을 시켜야 한다. 그러나 현재 마스크를 쓴 얼굴 이미지와 풍부한 landmark 정보를 함께 가지고 있는 데이터셋이 존재하지 않기 때문에 학습에 어려움이 있다. 이 문제를 해결하기 위해 마스크 얼굴 이미지 데이터셋을 만들어내는 방법을 제안하고 마스크를 착용한 얼굴에도 잘 작동하는 랜드마크 검출기를 학습시켜 그 효용을 입증하였다.

• 한국정보통신학회논문지
• /
• 제26권8호
• /
• pp.1136-1141
• /
• 2022

코로나19 팬데믹으로 인해 마스크 착용이 일상화되면서 마스크 착용 얼굴을 식별하는 얼굴인식 연구에 대한 중요도가 높아지고 있다. 안정된 얼굴인식 성능을 위해서는 인식 대상에 대한 풍부한 학습용 이미지 확보가 필요하지만 인물 별로 마스크 착용 얼굴 이미지를 다량 확보하는 것은 쉽지 않다. 본 논문에서는 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 합성하는 새로운 방법을 제안한다. 제안 방법은 동일 인물에 대해 마스크 미착용 얼굴 이미지와 마스크 착용 얼굴 이미지를 쌍으로 컨볼루션 오토인코더에 입력하여 얼굴과 마스크의 기하학적 관계를 학습한다. 학습이 완료된 컨볼루션 오토인코더는 학습에 사용되지 않은 새로운 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 자연스러운 형태로 합성해준다. 제안 방법은 고속으로 대량의 마스크 착용 얼굴 이미지를 생성할 수 있으며, 얼굴 특징점 추출에 기반하는 마스크 합성 방법에 비해 실용적이다.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.944-947
• /
• 2022

최근 코로나바이러스로 인한 마스크 착용이 급증함에 따라 마스크 착용에 대응할 수 있는 기술의 중요성이 증가하고 있다. 얼굴 자세 추정 분야는 운전자 주의, 얼굴 정면화, 시선 감지 등의 다양한 활용성에도 불구하고 마스크 착용에 따른 성능 저하 문제를 해결할 수 있는 연구가 거의 수행되지 않았다. 본 논문은 마스크 착용 유무에 따른 얼굴 자세 추정의 성능 저하에 대한 분석을 토대로, 마스크가 없는 얼굴 이미지의 크기 및 자세를 분석하여 마스크 이미지를 합성할 수 있는 데이터 증강 기법을 제안한다. 제안하는 얼굴에 특화된 증강 기법을 활용한 학습은 마스크 착용 여부와 관계없이 얼굴 자세 추정 벤치마크 데이터 세트인 BIWI에서 강인한 성능을 보이며, 특정 모델에 국한되지 않기 때문에 다양한 얼굴 자세 추정 모델에 적용될 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.169-172
• /
• 2015

영상회의 장치에서 눈맞춤 영상을 생성하기 위해 어파인 변환(affine transformation)을 이용하면 반올림 오차(round-off error) 때문에 홀이 발생한다. 이러한 홀을 채우려면 홀 영역을 가리키는 홀 채움 마스크가 필요하다. 홀 채움은 보통 홀 채움 마스크를 참조하여 홀이 아닌 이웃 화소값들을 기반으로 손상된 영상을 복원하는 작업이다. 따라서 홀 영역을 정확히 검출하고 적당한 개수의 이웃 화소값을 참조해야 자연스러운 홀 채움 영상을 생성할 수 있다. 한편, 눈맞춤 영상을 생성할 때 얼굴 특징점을 이용해 얼굴 변환 마스크를 만들고, 얼굴 변환 마스크에만 어파인 변환을 수행한다. 이 논문에서는 얼굴 특징점에도 어파인 변환을 수행하고 수정된 얼굴 변환 마스크를 획득하여 정확한 홀 채움 마스크를 구한다. 또한, 홀 채움 마스크에서 레이블링을 수행하여 큰 홀 영역을 제거한다. 마지막으로, 어파인 변환을 수행할 때 기존 영상의 좌표값을 이용하여 자연스러운 홀 채움 영상을 생성한다. 제안하는 방법으로 홀 채움을 수행한 결과, 연속적인 눈맞춤 동영상에서 이웃값들을 참조하여 홀 채움을 수행한 영상보다 자연스러움을 확인했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.772-774
• /
• 2021

COVID-19 로 인해 마스크 착용이 필수적인 사회가 되면서 마스크를 착용한 상태로 얼굴 사진을 촬영하는 빈도가 증가하고 있다. 그러나 얼굴인식 기반의 보정 및 필터링 기능이 적용된 카메라 애플리케이션은 인물의 마스크 착용 유무를 인식하지 못하여 마스크로 가려진 영역까지 필터 및 색조 기능을 적용시킨다는 한계가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 검출된 얼굴영역에서 마스크 착용 여부 및 마스크 영역을 판단하고 해당 영역을 제외한 나머지 얼굴 영역에 필터링 효과를 적용하는 기술을 구현하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.397-402
• /
• 2008

본 논문에서는 햅틱 인터랙션 기반의 3차원 가상 얼굴 메이크업 시뮬레이션에서 메이크업 대상에 대한 정교한 페인팅을 적용하기 위한 자동화된 마스크 생성 방법을 개발한다. 본 연구에서는 메이크업 시뮬레이션 이전의 전처리 과정에서 마스크를 생성한다. 우선, 3차원 스캐너 장치로부터 사용자의 얼굴 텍스쳐 이미지와 3차원 기하 표면 모델을 획득한다. 획득된 얼굴 텍스쳐 이미지로부터 AdaBoost 알고리즘, Canny 경계선 검출 방법과 색 모델 변환 방법 등의 영상처리 알고리즘들을 적용하여 마스크 대상이 되는 주요 특정 영역(눈, 입술)들을 결정하고 얼굴 이미지로부터 2차원 마스크 영역을 결정한다. 이렇게 생성된 마스크 영역 이미지는 3차원 표면 기하 모델에 투영되어 최종적인 3차원 특징 영역의 마스크를 레이블링하는데 사용된다. 이러한 전처리 과정을 통하여 결정된 마스크는 햅틱 장치와 스테레오 디스플레이기반의 가상 인터페이스를 통해서 자연스러운 메이크업 시뮬레이션을 수행하는데 사용된다. 본 연구에서 개발한 방법은 사용자에게 전처리 과정에서의 어떠한 개입 없이 자동적으로 메이크업 대상이 되는 마스크 영역을 결정하여 정교하고 손쉬운 메이크업 페인팅 인터페이스를 제공한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.17-19
• /
• 2021

본 논문에서는 코로나19 사태에 대비하여 실시간으로 마스크를 제대로 쓴 사람과 제대로 쓰지 않은 사람을 구분하는 시스템을 제안한다. 이 시스템을 사용하기 위하여 모델 학습 시에 합성곱 신경망(CNN : Convolutional Neural Networks)를 사용한다. 학습된 모델을 토대로 영상에 적용 시 하르 특징 분류기(Haar Cascade Classifier)로 얼굴을 탐지하여 마스크 여부를 판단한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2009년도 제40회 하계학술대회
• /
• pp.1855_1856
• /
• 2009

본 논문은 Haar-like 마스크와 유사한 특징을 갖지만 두 사각형 영역의 크기와 위치를 제한하지 않는 분리된 두 사각 특징 마스크를 이용한 Adaboost 기반 얼굴검출 알고리즘을 제안한다. 기존의 Haar-like 특징이 단순히 두 사각 영역의 화소값들의 차를 구함으로써 계산이 용이하나 인접한 두 사각 영역으로 한정함으로써 고품질 특징을 얻기 어렵다. 이런 Haar-like 특징마스크의 내재된 문제점을 개선하기 위해, 제안하는 특징 마스크는 다양한 크기와 분리된 두 사각 영역을 갖는 형태로 고품질의 특징을 얻는다. 고품질의 특징은 Adaboost 알고리즘의 약 분류기(weak classifier)의 성능을 학습단계부터 높여 전반적으로 얼굴 검출 알고리즘의 성능을 향상시킨다. 제안하는 분리된 두 사각 특징을 이용한 adaboost 기반 얼굴검출 기법의 우수성을 다양한 실험을 통해 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.325-327
• /
• 2021

코로나19 전염병 예방을 위한 공공장소에서의 마스크 착용이 의무화되고 있다. 그러나 사람들이 다양한 이유로 마스크를 제대로 착용하지 않아 감염에 노출되는 위험이 발생하고 있다. 이러한 방역 문제를 해결하고 본 논문은 영상을 인식하여 마스크를 쓴 얼굴과 쓰지 않은 얼굴을 검출하는 방식을 제안한다. 제안 방법은 마스크 착용자와 비착용자 얼굴 영상을 딥러닝 기반의 YOLO 네트워크로 학습하여, 마스크 착용 유무를 판별한다. 동일 YOLO 네트워크에 대해 여러가지 조건으로 학습을 수행하고, 학습에 사용되지 않은 검증 데이터를 이용해 정확도가 가장 높은 네트워크의 가중치를 선택하였다. 실험결과, 마스크 착용자는 67.2%, 미착용자는 39.8%의 판별 정확도를 보였다. 미착용자에 대해 낮은 정확도를 보인 이유는 학습 데이터의 부족으로 판단되며, 이를 보완하기 위하여 더 많은 학습데이터를 제작하여 성능을 개선시키고자 한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(하)
• /
• pp.553-558
• /
• 2002

본 논문에서는 컬러 영상에서 피부색 분할과 소벨 마스크를 이용한 얼굴 영역 검출 알고리즘을 제안한다. 제안된 알고리즘은 YCbCr색공간에서 Cb와 Cr성분을 이용하여 피부색 분할을 한 후에 형태학적 필터링과 레이블링을 통해 얼굴 후보 영역을 분리한다. 분리된 각 후보 영역에 대해 휘도 성분 Y에서 소벨 마스크의 수직 연산자를 적용한 후에 수평 투영을 통해 나타난 최대값을 눈의 위치로 검출해낸다. 비슷하게 얼굴의 지형적인 특징과 소벨 마스크의 수평 연산자를 적용하여 계산된 수평 투영의 최대값에 따라 턱 부분을 검출한다. 컴퓨터 시뮬레이션 결과는 제안된 방법이 기존의 방법보다 얼굴 영역을 정확하게 분리할 수 있음을 보인다.