• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 춘계학술발표대회논문집
• /
• pp.524-527
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적 영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적인 얼굴 영역과 입술 영역을 추출하는 것이다. 본 논문에서는 움직임이 있는 영상에서 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI 모델과 블록 매칭을 이용하였고 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였다. 추출된 입술 파라미터와 음성 데이터에 각각 HMM 기반 패턴 인식 방법을 개별적으로 적용하여 단어를 인식하였고 각각의 인식 결과를 가중치를 주어 합병하였다. 실험 결과에 의하면 잡음으로 음성 인식률이 낮아지는 경우에 음성인식과 립리딩을 함께 사용함으로써 전체적인 인식 결과를 향상시킬 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• 한국융합학회논문지
• /
• 제9권8호
• /
• pp.1-8
• /
• 2018

얼굴인식, 홍채인식과 같은 생체보안 분야에서 눈, 코, 입술 등 얼굴특징을 추출하는 과정은 필수적이다. 본 논문은 초고속(faster) R-CNN을 이용하여 얼굴영상에서 눈 및 입술영역을 검출하는 방법을 연구하였다. 초고속 R-CNN은 딥러닝을 이용한 물체검출 방법으로 기존의 특징기반 방법에 비해 성능이 우수한 것으로 알려져 있다. 본 논문에서는 얼굴영상에 콘볼루션, 선형정류과정, max pooling과정을 차례로 적용하여 특징맵을 추출하고 이로부터 제안영역(region proposal)을 검출하는 RPN(region proposal network)을 학습한다. 그리고 제안영역과 특징맵을 이용하여 눈 및 입술 검출기(detector)를 학습한다. 제안방법의 성능을 검토하기 위해 남녀한국인 얼굴영상 800장으로 실험하였다. 학습을 위해 480장을 이용했으며 테스트용으로 320장을 사용하였다. 컴퓨터모의 실험결과 눈 및 입술영역 검출의 평균정확도는 50 에포치일 때 각각 97.7%, 91.0%를 얻을 수 있었다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 대한치과교정학회지
• /
• 제30권2호
• /
• pp.185-196
• /
• 2000

입술의 돌출을 해소하고자 하는 환자들은 자신의 안모 개선을 안모의 측면보다는 거울로 볼 수 있는 정면을 통하여 느끼는 것이 보편적이다. 안모의 정면에서 평가가 이루어질 때에는 입술이 후방으로 들어간 정도와 함께 입술과 그 주위 조직의 수직적 변화에 의해서도 큰 영향을 받을 수 있으므로 교정치료 진단이나 치료 후 평가를 위한 측모두부방사선 사진 분석 시 전통적으로 중요시되고 있는 입술의 시상적 이동뿐만 아니라 흔히 간과하기 쉬운 수직적인 변화에 관해서도 평가가 이루어져야 한다. 따라서 본 연구에서는 입술 돌출을 주소로 내원한, 성장이 완료된 성인 여성 61명을 대상으로 측모두부 방사선 사진을 촬영하여 전치의 후방견인 시 나타나는 입술과 주위 연조직의 수직적 변화를 계단식 다중 회귀분석법을 이용하여 조사한 결과 다음과 같은 결론을 얻었다. 1. 상,하순의 philtrum길이 (SnLs, LiB') 는 전치의 후방견인 후 증가하였고, 상,하순의 vermilion height (LsStms, StmiLi) 와 vermilion length (LsLi) 는 감소하였다. 2. 상,하순의 길이 (SnStms, StmiB')와 연조직의 하안면 고경 (SnMe')은 치료 후 유의성 있는 변화를 보이지 않았다. 3. 상순의 philtrum길이 증가에 상악 전치의 정출 ${\Delta}U1V$이 가장 큰 영향을 주었으며 하순의 philtrum길이 증가에는 치료 전 overjet이 가장 큰 영향을 주었다. 4. 상,하순의 vermilion height감소에 상순의 두께 감소가 가장 큰 영향을 주었다.

• 대한치과교정학회지
• /
• 제41권6호
• /
• pp.411-422
• /
• 2011

브라켓의 접착에 의한 입술 주위 연조직의 변화를 평가하기 위하여 심한 골격적 부조화가 존재하지 않는 18세 이상, 29세 미만의 성인 환자 중 포괄적 교정 치료를 위하여 상, 하악 치아의 순측에 브라켓을 접착한 45명을 대상으로 3차원 레이저 스캐너를 이용하여 브라켓의 접착 직전과 직후의 3차원 입체 영상을 획득하였다. 브라켓의 접착 전후 입술 및 입술 주위 연조직의 변화를 3차원 좌표계 상에서 분석하였다. 3차원 변화량(distance: 동일 계측점 간의 변화에 대한 최단 거리)에서 유의성을 보인 모든 계측점에서 전방 변화량이 가장 크게 나타났으며, 측면 계측점들은 측방으로 유의성 있는 변화가 나타났다. 상순의 계측점들은 상방으로, 하순의 계측점들과 B'는 하방으로 유의성 있는 변화가 나타났다. 하순의 Li (labrale inferius)에서 1.39 mm로 가장 큰 변화가 나타났고 ($p$ < 0.01), Li Rt (labrale inferius right), Li Lt (labrale inferius left)에서 1.15 mm, 1.09 mm의 변화가 나타났다 ($p$ < 0.01). 상순의 양측 ULP (upper lip point), Ls (labrale superius), Ls Rt (labrale superius right), Ls Lt (labrale superius left)에서 0.81 mm, 0.85 mm, 0.82 mm, 0.97 mm, 0.92 mm의 변화를 보여 ($p$ < 0.01), 하순에 비하여 상순의 변화가 작게 나타났다. 양측 Ch (cheilion)과 Stm (stomion)에서 1.17 mm, 1.16 mm, 1.02 mm ($p$ < 0.01), Sn (subnasale)와 B' (soft tissue B point)에서 0.46 mm, 0.63 mm ($p$ < 0.01, $p$ < 0.05)의 변화가 나타났다. 브라켓의 종류에 따른 연조직 변화량은 차이가 나타나지 않았다. 이상의 결과는 성인 교정 환자에서 브라켓의 접착에 의한 입술 및 입술 주위 연조직 변화의 예측에 참고 자료가 될 것이다.

• 융합신호처리학회논문지
• /
• 제11권4호
• /
• pp.289-297
• /
• 2010

본 논문에서는 음성인식을 위한 음성구간 검출과정에서 유입될 수 있는 동적인 음향에너지 이외에 화자의 입술움직임 영상신호까지 확인함으로써 외부 음향잡음이 음성인식 대상으로 오인식되는 것을 방지하기 위한 한 가지 방법이 제시된다. 우선, 연속적인 영상이 PC용 영상카메라를 통하여 획득되고 그 입술움직임 여부가 식별된다. 다음으로, 입술움직임 영상신호 데이터는 공유메모리에 저장되어 음성인식 프로세서와 공유한다. 한편, 음성인식의 전처리 단계인 음성구간 검출과정에서 공유메모리에 저장되어진 데이터를 확인함으로써 화자의 발성에 의한 음향에너지인지의 여부가 입증된다. 최종적으로, 음성인식기와 영상처리기를 연동시켜 실험한 결과, 영상카메라에 대면해서 발성하면 음성인식 결과의 출력에 이르기까지 연동처리가 정상적으로 진행됨을 확인하였고, 영상카메라에 대면치 않고 발성하면 연동처리시스템이 그 음성인식 결과를 출력치 못함을 확인하였다. 또한, 오프라인하의 입술움직임 초기 특정값 및 템플릿 초기영상을 온라인하에서 추출된 입술움직임 초기특정값 및 템플릿 영상으로 대체함으로써 입술움직임 영상 추적의 변별력을 향상시켰다. 입술움직임 영상 추적과정을 시각적으로 확인하고 실시간으로 관련된 패러미터를 해석하기 위해 영상처리 테스트베드를 구축하였다, 음성과 영상처리 시스템의 연동결과 다양한 조명환경 하에서도 약 99.3%의 연동율을 나타냈다.

• 대한화장품학회지
• /
• 제45권1호
• /
• pp.95-103
• /
• 2019

입술은 각질층이 매우 얇아 수분증발에 취약하며, 노화 과정에서 주름이 증가하고, 붉은색을 잃으며, 볼륨이 감소하게 된다. 매력적인 입술을 가지기 위해 시행되는 지방이식, 필러 주입을 대체하기 위한 성분에 대한 연구는 아직 보고된 바가 거의 없으며, 최근 새로운 지방세포의 수를 증가시키는 것이 인체 내 지방을 늘릴 수 있는 방법으로 제안되고 있다. 우리는 선행연구에서 지방줄기세포를 지방세포로 분화 유도하는 천연물질로써 요엽후박나무 추출물(Magnolia officinalis bark extract)의 우수한 효능을 확인하였다. 본 연구에서는 요엽후박나무 추출물이 바이오 프린팅으로 제작한 지방 유사 구조체에서 지방(lipid droplet)의 양을 증가시키면서 분화를 촉진시킴을 3D 수준에서 확인하였다. 다음으로 입술 주름에 미치는 영향을 확인하기 위해 주름 사진으로 부터 명암값의 표준편차(SDGV)를 J 이미지 소프트 웨어를 사용하여 측정함으로써 객관적 측정 방법을 확립하였고, 주름 정도에 따른 입술 주름 그레이드를 도출하여 정량화하였다. 결과적으로 요엽후 박나무 추출물 1%를 함유한 제품을 12주간 사용했을 때, 입술 주름을 유의하게 개선시킬 수 있음을 확인하였다. 본 연구 결과는 요엽후박나무 추출물이 지방줄기세포를 지방세포로 분화 유도하는 효능을 가지며, 이러한 효능이 입술 주름을 개선하는데 도움을 줄 수 있다는 점을 시사하고, 따라서 요엽후박나무 추출물은 입술 주름과 볼륨을 개선하는 화장품 후보 소재로 적용 가능하다는 것을 보여준다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권12호
• /
• pp.431-438
• /
• 2020

본 논문에서는 입술 윤곽선을 검출하기 위한 다중 문턱치 기반의 검출방법을 제안하였다. 기존의 연구 중 Spyridonos 등이 제안한 방법은 입력영상을 RGB로부터 YIQ 좌표계로 변환하여 Q 성분만을 이용하여 Q 영상을 얻는다. Q 영상으로부터 변화 점 검출을 통하여 입술 모양의 좌우 끝점을 얻어낸다. 좌우 끝점에 대한 수직 좌표의 평균값을 이용하여 Q 영상을 상하로 분리하고, 상하 영역 각각에 대하여 별도로 Q값을 대상으로 문턱치를 적용하여 후보 윤곽선을 추출한다. 추출된 후보 윤곽선에 특징치 거리를 이용하여 최적의 문턱치를 찾고, 해당하는 윤곽선을 최종 입술 윤곽선으로 결정한다. 이 때 사용되는 특징치 거리 D는 후보 윤곽선 상의 점들을 기준으로 주변 영역에 대한 차이의 절대값을 이용하여 계산한다. 기존연구의 문제점은 세 가지인데, 첫째는 입술 끝점 추출 과정에서 피부영역의 과다한 참여로 입술 끝점의 추출의 정확도가 감소하고, 따라서 후속되는 상/하 영역 분리에도 영향을 미친다. 둘째는 YIQ 칼라 좌표계를 사용하였는데, 다양한 칼라 좌표계에 대한 분석이 미비하므로 추가적인 분석이 필요하다. 세 째, 최적 윤곽선의 선택 시 적용하는 거리 값 파라미터의 계산 과정에서, 문턱치를 적용하여 구한 해당 윤곽선 주변의 데이터들에 의한 변화분을 계산하여 변화가 가장 큰 윤곽선을 입술 후보로 채택하는데, 변화분의 최대치를 기준으로 하기 때문에 검출된 입술영역이 기준보다 축소되는 문제점이 있다. 첫 번째 문제점을 해결하기 위하여 피부영역의 계산과정 참여를 줄여서 성능을 30%정도 향상시켰다. 두 번째는 YIQ 외에 HSV, CIELUV, YCrCb 등의 칼라 좌표계에 대한 성능테스트를 거쳐 기존연구 방법이 칼라좌표계에 대한 의존성이 없음을 확인하였다. 세 번째는 윤곽선 주변의 변화분 검토 시, 윤곽선 포인트 당 변화분의 평균값 대신에 변화분의 총량을 적용하여 46% 성능개선 효과를 얻었다. 이상의 내용을 모두 적용하여 제안한 통합방법은 기존연구 대비 2배의 성능향상과 안정성을 확보할 수 있었다.

• 융합정보논문지
• /
• 제11권2호
• /
• pp.194-200
• /
• 2021

본 연구의 목적은 6주간 중년여성을 대상으로 SUKI 중재 프로그램이 윗입술근피에 미치는 영향에 대해 알아보고자 진행되었다. 실험대상자는 총 20명이었으며, 6주간 주 3회 씩 안면부의 윗입술 근피에 대한 Pattern T1, Pattern T2, Pattern T3, Pattern T4의 SUKI 중재프로그램을 실시하였고, 결과는 다음과 같았다. 윗입술근피의 군내 비교에서는 일부이지만 실험군에서 유의한 차이가 있었다. 따라서, SUKI 중재 프로그램이 윗입술근피의 탄력 향상에 일부 도움을 줄 수 있는 것으로 나타났다(p<.05). 본 연구에서는 제한적이지만, 중년여성의 안면부에 위치하고 있는 윗입술근피의 탄력 감소 문제가 입 주위에 각종 주름을 발생시켜 여성의 외모에 대한 자신감을 잃게 하고 있다는 것을 근간으로 SUKI 중재 프로그램을 활용하였다. 또한 이것은 정상적인 안면근피가 영향을 끼치는 용모에 대한 의미로서, 중년여성의 생애주기에 맞는 적정한 안면근피의 관리에 의한 용모관리를 할 수 있는 일부방법을 제시하고자 하였다. 결론적으로 추후 다양한 실험자들에게 여성의 얼굴 피부미용과 주름을 예방하고 입 주위 안면근피의 탄력향상에 도움을 줄 수 있는 방법에 대한 새로운 연구자료로 활용될 수 있기를 기대하고자 한다.