• 사물인터넷융복합논문지
• /
• 제10권5호
• /
• pp.1-11
• /
• 2024

본 논문은 MediaPipe Hands 모델과 MediaPipe의 Face Mesh 모델을 이용해 얼굴 제스처와 손 제스처를 인식한 후, 이들을 결합한 MediaPipe 기반의 혼성 제스처 인터페이스에 관한 것이다. 먼저, 카메라 입력 프레임들에서 개별적으로 MediaPipe Hands 모델의 3D 손 랜드마크들과 MediaPipe Face Mesh 모델의 3D 얼굴 랜드마크들을 검출해 손과 얼굴의 유무를 판별한 후, 얼굴 커서 위치와 얼굴 제스처, 손 커서 위치와 손 제스처를 인식한다. 이후 이들을 사용자 친화적으로 혼용해 손-얼굴 혼성 제스처 기반의 사용자 인터페이스를 구현한다. 제안된 MediaPipe 기반의 손-얼굴 혼성 제스처 인터페이스는 손과 얼굴 중 어느 하나로 제스처 모드가 설정되지만, 모드 전환을 위한 추가 제스처 없이 얼굴과 손을 자유롭게 사용해 인터페이스를 제어할 수 있는 것이 장점이다. 또한 윈도우즈 환경에서 소프트웨어 조작 실험을 통해 제안된 손-얼굴 혼성 제스처 인터페이스의 실용성과 유용성을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권8호
• /
• pp.759-768
• /
• 2005

본 논문에서는 다중 혼합 특징 정보를 저 차원 제스처 심볼로 구성하여 제스처를 인식하는 알고리즘에 대해 기술한다. 기존의 기하학적인 특징 기반 방법이나 외관기반 방법에서는 깔, 다리의 위치나 몸의 형상 정보만을 특징 값으로 이용하기 때문에 유사한 신체 동작이나 신체 부위의 움직임에 따라 애매한 결과를 나타내었지만 제안한 방법은 신체의 어느 부위가 움직이는지를 나타내는 부분특징정보(partial feature information)와 전체적인 신체의 형상을 표현하는 전역특징정보(global feature information)를 이용함으로써 동작의 구분뿐만 아니라 유사한 동작을 인식할 수 있는 장점이 있다. 그리고 비교적 적은 계산량과 높은 인식률 때문에 감시 시스템이나 지적 인터페이스 시스템 같은 여러 응용 분야에 적용될 수 있다.