Acknowledgement
This results was supported by "Regional Innovation Strategy (RIS)" through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE) (2021RIS-001).
Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)
- 2022.01a
- /
- Pages.77-82
- /
- 2022
Implementation of hand motion recognition-based rock-paper-scissors game using ResNet50 transfer learning
ResNet50 전이학습을 활용한 손동작 인식 기반 가위바위보 게임 구현
- Park, Changjoon (Dept. of AI Robotics, Korea National University of Transportation) ;
- Kim, Changki (Dept. of AI Robotics, Korea National University of Transportation) ;
- Son, Seongkyu (Dept. of AI Robotics, Korea National University of Transportation) ;
- Lee, Kyoungjin (Dept. of AI Robotics, Korea National University of Transportation) ;
- Yoo, Heekyung (Dept. of AI Robotics, Korea National University of Transportation) ;
- Gwak, Jeonghwan (Dept. of AI Robotics, Korea National University of Transportation)
- 박창준 (한국교통대학교 AI로봇공학과) ;
- 김창기 (한국교통대학교 AI로봇공학과) ;
- 손성규 (한국교통대학교 AI로봇공학과) ;
- 이경진 (한국교통대학교 AI로봇공학과) ;
- 유희경 (한국교통대학교 AI로봇공학과) ;
- 곽정환 (한국교통대학교 AI로봇공학과)
- Published : 2022.01.12
Abstract
GUI(Graphical User Interface)를 대신하는 차세대 인터페이스로서 NUI(Natural User Interace)에 기대가 모이는 것은 자연스러운 흐름이다. 본 연구는 NUI의 손가락 관절을 포함한 손동작 전체를 인식시키기 위해 웹캠과 카메라를 활용하여 다양한 배경과 각도의 손동작 데이터를 수집한다. 수집된 데이터는 전처리를 거쳐 데이터셋을 구축하며, ResNet50 모델을 활용하여 전이학습한 합성곱 신경망(Convolutional Neural Network) 알고리즘 분류기를 설계한다. 구축한 데이터셋을 입력시켜 분류학습 및 예측을 진행하며, 실시간 영상에서 인식되는 손동작을 설계한 모델에 입력시켜 나온 결과를 통해 가위바위보 게임을 구현한다.