DOI QR코드

DOI QR Code

Voice Assistant for Visually Impaired People

시각장애인을 위한 음성 도우미 장치

  • 채준기 (한국산업기술대학교 메카트로닉스공학과) ;
  • 장지우 (한국산업기술대학교 메카트로닉스공학과) ;
  • 김동완 (한국산업기술대학교 메카트로닉스공학과) ;
  • 정수진 (한국산업기술대학교 메카트로닉스공학과) ;
  • 이익현 (한국산업기술대학교 메카트로닉스공학과)
  • Received : 2019.01.07
  • Accepted : 2019.04.20
  • Published : 2019.04.30

Abstract

People with compromised visual ability suffer from many inconveniences in daily life, such as distinguishing colors, identifying currency notes and realizing the atmospheric temperature. Therefore, to assist the visually impaired people, we propose a system by utilizing optical and infrared cameras. In the proposed system, an optical camera is used to collect features related to colors and currency notes while an infrared camera is utilized to get temperature information. The user is enabled to select the desired service by pushing the button and the appreciate voice information are provided through the speaker. The device can distinguish 16 kinds of colors, four different currency notes, and temperature information in four steps and the current accuracy is around 90%. It can be improved further through block-wise input image, machine learning, and a higher version of the infrared camera. In addition, it will be attached to the stick for easy carrying and to use it more conveniently.

시작장애인은 일상생활에서 시각저하로 인하여 색상, 지폐 금액 확인, 온도 판별 등의 불편을 겪는다. 그리하여 시각장애인을 도와주기 위한, 광학 카메라와 열화상 카메라를 이용한 시스템을 제안한다. 광학카메라는 특징 추출을 이용하여 색상 판별, 지폐 금액 확인하며, 온도 판별을 위해서 열화상 카메라를 이용한다. 버튼을 이용하여 색상, 지폐, 온도 모드를 선택하면, 해당 정보를 스피커를 통하여 음성으로 알려준다. 색상은 16가지, 지폐는 4가지, 온도는 4단계로 구분할 수 있으며, 각기 정확도는 90%이다. 향후 입력 영상 블록화, 머신러닝, 열화상 카메라 상위 버전을 통해 정확도를 개선할 수 있다. 또한, 휴대하기 편하게 지팡이에 부착하여 시각 장애인들이 더 편리하게 사용 할 수 있도록 개선 예정이다.

Keywords

References

  1. A survey of the visually impaired people by Ministry of Health and Welfare, 2015.
  2. S. Cardin, D. Thalmann, and F. Vexo, "A wearable system for mobility improvement of visually impaired people", The Visual Computer, Vol. 23, No. 2, pp. 109-118, Jan. 2007. https://doi.org/10.1007/s00371-006-0032-4
  3. Ashwin Pajankar, "Raspberry Pi Computer Programming", Packt Publishing, 2015.
  4. Rushi Gajjar, "Raspberry Pi Sensors", Packt Publinshing, 2015.
  5. V. Chernov, J. Alander, and V. Bochko, "Integer-based accurate conversion between RGB and HSV color spaces", Computers & Electrical Engineering, Vol. 46, pp. 328-337, Aug. 2015. https://doi.org/10.1016/j.compeleceng.2015.08.005
  6. FLIR Lepton with Radiometry Quickstart Guide Document Number : 102-PS245-76 Rev 100.
  7. Michael Beyeler, Machine Learning for OpenCV, Packt Publishing, 2017.
  8. Bradski, Gary and Kaehler, Adrian, "Learning OpenCV: Computer vision with the OpenCV library", O'Reilly Media, Inc., 2008.
  9. 임동훈, "OpenCV를 이용한 영상처리", 자유아카데미, 2014.