The Journal of the Korea institute of electronic communication sciences (한국전자통신학회논문지)

Korea Institute of Electronic Communication Science (한국전자통신학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Motion and Voice Recognition Smart Mirror Using Grove Gesture Sensor

그로브 제스처 센서를 활용한 모션 및 음성 인식 스마트 미러에 관한 연구

  • 최희태 (남서울대학교 전자공학과) ;
  • 고창훈 (남서울대학교 전자공학과) ;
  • 정지민 (남서울대학교 전자공학과) ;
  • 신예슬 (남서울대학교 전자공학과) ;
  • 박형근 (남서울대학교 전자공학과)
  • Received : 2023.10.23
  • Accepted : 2023.12.27
  • Published : 2023.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents the development of a smart mirror that allows control of its display through glove gestures and integrates voice recognition functionality. The hardware configuration of the smart mirror consists of an LCD monitor combined with an acrylic panel, onto which a semi-mirror film with a reflectance of 37% and transmittance of 36% is attached, enabling it to function as both a mirror and a display. The proposed smart mirror eliminates the need for users to physically touch the mirror or operate a keyboard, as it implements gesture control through glove gesture sensors. Additionally, it incorporates voice recognition capabilities and integrates Google Assistant to display results on the screen corresponding to voice commands issued by the user.

본 논문에서는 그로브 제스처를 사용하여 스마트 미러의 화면을 제어하고 음성인식 기능을 통해 화면에 웹 브라우저 검색 기능과 거울화면을 제어할 수 있는 스마트 미러를 제안하였다. 스마트 미러의 하드웨어 구성은 LCD모니터에 아크릴 판을 결합하고 반사율 37% 투과율 36%의 하프미러필름을 아크릴판에 부착하여 거울처럼 사용함과 동시에 거울에 디스플레이를 표시하도록 제작하였다. 제안한 스마트 미러는 사용자가 직접 거울을 터치하거나 키보드를 조작하는 등의 번거로운 작업 없이 그로브 제스처 센서를 통해 간단한 손동작만으로 화면을 제어할 수 있는 기능을 구현하였으며 음성인식 기능과 GoogleAssistant를 도입하여 사용자가 내린 음성명령에 일치하는 결과를 화면에 출력하였다.

Keywords

References

  1. J. Kim, "A Smart Home Prototype Implementation using Raspberry Pi," J. of the Korea Institute of Electronic Communication Sciences, vol. 10, no. 10, 2015, pp. 1139-1144. https://doi.org/10.13067/JKIECS.2015.10.10.1139
  2. U. Yeo, S. Park, J. Moon, S. An, and Y. Han, "Smart Mirror of Personal Environment using Voice Recognition," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 1, 2019, pp. 199-204.
  3. S. Kang, S. Kwon, Y. Kim, S. Lee, and Y. Han, "Smart Mirror for Styling," J. of the Korea Institute of Electronic Communication Sciences, vol. 16, no. 6, 2021, pp. 1271-1278.
  4. C. Yoo, S. Kim, and J. Kim, "A Comparative Study of the Use of Intelligent Personal Assistant Services Experiences: Siri, Google Assistant, Bixby," J. of The Korean Society for Emotion Sensibility, vol. 23, no. 1, 2020, pp. 69-78. https://doi.org/10.14695/KJSOS.2020.23.1.69
  5. D. Kim, B. Choi, and C. Ban, "Design and Implementation of Order Settlement System Using Artificial Intelligence Speaker," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, 2019, pp. 1181-1186.
  6. D. Kang, J. Lim, G. Lee, B. Lee, and H. Park, "Personalized Smart Mirror using Voice Recognition," J. of the Korea Institute of Electronic Communication Sciences, vol. 17, no. 6, 2022, pp. 1121-1128.
  7. W. Son and E. Kim, "Subtitle Automatic Generation System using Speech to Text," J. of the Korea Institute of Electronic Communication Sciences, vol. 16, no. 1, 2021, pp. 81-88.
  8. T. Yun, M. Jeong, G. Choi, W. Yang, and B. Lee, "Smart mirror using speech recognition," In Proc. KSCIC(KCS International Conference) Summer Conf., Jeju, Korea, July 2018, pp. 431-432.
  9. H. Noh, H. Joo, Y Moon, and K. Kong, "Smart Mirror to support Hair Styling," J. of The Institute of Internet, Broadcasting and Communication, vol. 20, no. 1, 2020, pp. 127-133.
  10. Y. Jeong, S. Choi, C. Lee, A. Kim, H. Park, and J. Lee, "Smart Mirror based on interactive and personalized services," In Proc. KIPS(Korea Information Processing Society) Autumm Conf., Yeosu, Korea, Nov. 2019, pp. 1141-1144.