DOI QR코드

DOI QR Code

ResNet Model Based Real Life Sound Event Prediction and Notification Application

ResNet 모델을 이용한 일상생활 소리 예측 및 알림 애플리케이션

  • Park, Yu-Jin (Dept. of IT Media Engineering, Duksung Women's University) ;
  • Chung, Eun-Ee (Dept. of IT Media Engineering, Duksung Women's University) ;
  • Shin, Ji-Hye (Dept. of IT Media Engineering, Duksung Women's University) ;
  • Park, Tae-jung (Dept. of IT Media Engineering, Duksung Women's University) ;
  • Yang, Hoi Seok (Nice Consulting)
  • 박유진 (덕성여자대학교 IT 미디어공학과) ;
  • 정은이 (덕성여자대학교 IT 미디어공학과) ;
  • 신지혜 (덕성여자대학교 IT 미디어공학과) ;
  • 박태정 (덕성여자대학교 IT 미디어공학과) ;
  • 양회석 (나이스컨설팅)
  • Published : 2020.11.05

Abstract

본 논문에서는 청각 장애인이 가정에서 듣지 못해 발생하는 낭비와 위험을 미리 예방하기 위하여 가정에서 현재 발생하고 있는 소리를 알려주는 시스템을 구현하였다. 무지향성 마이크로 일상 소리 감지 후 음향 데이터에서 Mel-Spectogram 특징 벡터를 추출하여 Convolutional Neural Network(CNN) 모델의 Resnet 알고리즘을 진행한다. 서버에서 소리에 대한 분석을 진행한 후 그 결과를 안드로이드에서 실시간으로 5 초마다 확인하여 사용자에게 알림 서비스를 제공한다. 이를 통해 낭비를 줄이고 위험에 대처할 수 있게 한다. 청각 장애인의 소리에 대한 접근성을 다양한 측면으로 고려해야 한다는 사회적 인식을 확산시키고자 한다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부 정보통신창의 인재양성사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다.