DOI QR코드

DOI QR Code

RoI Detection Method for Improving Lipreading Reading in Speech Recognition Systems

음성인식 시스템의 입 모양 인식개선을 위한 관심영역 추출 방법

  • Jae-Hyeok Han (Dept. of Computer Engineering, Chungbuk National University) ;
  • Mi-Hye Kim (Dept. of Computer Engineering, Chungbuk National University)
  • 한재혁 (충북대학교 컴퓨터공학과 연구원) ;
  • 김미혜 (충북대학교 컴퓨터공학과 교수)
  • Published : 2023.11.02

Abstract

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT 연구센터) 사업의 연구결과로 수행되었음 (IITP-2023-2020-0-01462)