Learning efficiency checking system by measuring human motion detection

사람의 움직임 감지를 측정한 학습 능률 확인 시스템

In this paper, we implement a learning efficiency verification system to inspire learning motivation and help improve concentration by detecting the situation of the user studying. To this aim, data on learning attitude and concentration are measured by extracting the movement of the user's face or body through a real-time camera. The Jetson board was used to implement the real-time embedded system, and a convolutional neural network (CNN) was implemented for image recognition. After detecting the feature part of the object using a CNN, motion detection is performed. The captured image is shown in a GUI written in PYQT5, and data is collected by sending push messages when each of the actions is obstructed. In addition, each function can be executed on the main screen made with the GUI, and functions such as a statistical graph that calculates the collected data, To do list, and white noise are performed. Through learning efficiency checking system, various functions including data collection and analysis of targets were provided to users.

본 논문에서는 공부하는 사용자의 상황을 감지하여, 학습의욕을 고취시키고 집중력 향상을 도와주기 위한 학습능률 확인 시스템을 구현하고자 한다. 이를 위해 실시간 카메라를 통해 사용자의 얼굴이나 몸의 움직임을 추출하여 학습 태도, 집중력에 대한 데이터를 측정한다. 실시간 임베디드 시스템 구현을 위해 Jetson 보드를 사용하였으며, 영상인식을 위한 CNN(Convolution Neural Network)를 구현하였다. CNN 을 이용해 대상의 특징 부분을 검출한 후 움직임 검파를 수행한다. 캡처한 영상을 PYQT5 로 작성된 GUI 에서 영상을 보여주며, 각각 방해되는 행동을 했을 때 푸시메시지를 보내며 데이터를 수집한다. 또한 GUI 로 만든 메인 화면에서 각각의 기능들을 실행 가능하며, 수집한 데이터를 산출해주는 통계그래프와 작업관리 목록, 화이트 노이즈 등의 기능을 수행한다. 구축된 학습능률 확인 시스템을 통해 대상의 데이터를 수집 및 분석을 비롯한 다양한 기능을 사용자에게 제공하였다.