Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임. (No. 2020-0-01336 인공지능대학원 지원(울산과학기술원), No. 2020-0-00537 5G 기반 저지연 디바이스-엣지클라우드 인터랙션 기술 개발)
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2020.11a
- /
- Pages.1048-1051
- /
- 2020
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Joint Deep Learning of Hand Locations, Poses and Gestures
손 위치, 자세, 동작의 통합 심층 학습
- Kim, Donguk (Dept. of Computer Science, Yeungnam University) ;
- Lee, Seongyeong (Dept. of Computer Science and Engineering, UNIST) ;
- Jeong, Chanyang (Dept. of Cyber Security, Ajou University) ;
- Lee, Changhwa (Dept. of Computer Science and Engineering, UNIST) ;
- Baek, Seungryul (Artificial Intelligence Graduate School, UNIST)
- 김동욱 (영남대학교 컴퓨터 공학과) ;
- 이선경 (UNIST 컴퓨터공학과) ;
- 정찬양 (아주대학교 사이버보안학과) ;
- 이창화 (UNIST 컴퓨터공학과) ;
- 백승렬 (UNIST 인공지능대학원)
- Published : 2020.11.05
Abstract
본 논문에서는 사람의 손에 관한 개별적으로 분리되어 진행되고 있는 손 위치 추정, 손 자세 추정, 손 동작 인식 작업을 통합하는 Faster-RCNN기반의 프레임워크를 제안하였다. 제안된 프레임워크에서는 RGB 동영상을 입력으로 하여, 먼저 손 위치에 대한 박스를 생성하고, 생성된 박스 정보를 기반으로 손 자세와 동작을 인식하도록 한다. 손 위치, 손 자세, 손 동작에 대한 정답을 동시에 모두 가지는 데이터셋이 존재하지 않기 때문에 Egohands, FPHA 데이터를 동시에 효과적으로 사용하는 방안을 제안하였으며 제안된 프레임워크를 FPHA데이터에 평가하였다., 손 위치 추정 정확도는 mAP 90.3을 기록했고, 손 동작 인식은 FPHA의 정답을 사용한 정확도에 근접한 70.6%를 기록하였다.
Keywords