첨단 과학기술을 적용하여 최소의 인력으로 공정효율과 생산성을 향상시키는 스마트 공정에 대한 활용이 높아지고 있다. 그러나, 스마트 공정은 특정 공정에서 예기치 못한 우발상황 발생시 계획된 프로세스가 중단되고, 이로 인한 공정의 생산성 저하 및 손실 발생 등이 야기되는 어려움을 갖는다. 본 논문은 스마트 공정의 우발상황 발생시, 현장에 있는 엔지니어가 신속하고 정확한 조치를 가능케 하는 제스처 기반의 과업통제 AI 판별 알고리즘과 그 시스템을 다룬다. 이를 위해, Flex 센서 및 Arduino Nano BLE 33 Sense 마이크로 컨트롤러가 장착된 장갑을 제작하고, 총 15개의 공정에 대한 11개의 과업 판별을 위한 제스처 데이터를 수집하였으며, 시계열 데이터에 높은 강인성을 갖는 결심 트랜스포머의 알고리즘을 적용하여, 높은 성능의 제스처에 기초한 과업 판별을 구현하였다. 그 결과, 인공지능 성능 기준인 정확도, 정밀도, 재현율 그리고 F1-score에서, 각각 94.5%, 95.4%, 94.5% 그리고 94.5%의 높은 성능이 나타났으며, 딥러닝의 유사 알고리즘인 합성곱 신경망 및 장단기 메모리 보다 높은 결과를 보여주었다.