A Design and Implementation of Worker Motion 3D Visualization Module Based on Human Sensor

Abstract

In this paper, we design and implement a worker motion 3D visualization module based on human sensors. The three key modules that make up this system are Human Sensor Implementation, Data Set Creation, and Visualization. Human Sensor Implementation provides the functions of setting and installing the human sensor locations and collecting worker motion data through the human sensors. Data Set Creation offers functions for converting and storing motion data, creating near real-time worker motion data sets, and processing and managing sensor and motion data sets. Visualization provides functions for visualizing the worker's 3D model, evaluating motions, calculating loads, and managing large-scale data. In worker 3D model visualization, motion data sets (Skeleton & Position) are synchronized and mapped to the worker's 3D model, and the worker's 3D model motion animation is visualized by combining the worker's 3D model with analysis results. The human sensor-based worker motion 3D visualization module designed and implemented in this paper can be widely utilized as a foundational technology in the smart factory field in the future.

본 논문에서는 휴먼 센서 기반의 작업자 동작 3D 시각화 모듈을 설계하고 구현한다. 이 모듈을 구성하는 3가지 핵심 모듈은 Human Sensor Implementation, Data Set Creation, Visualization이다. Human Sensor Implementation은 휴먼 센서 위치 설정 및 설치와 휴먼 센서를 통한 작업자 동작 데이터 수집 기능을 제공한다. Data Set Creation은 동작 데이터 변환･저장 및 근접 실시간 작업자 동작 데이터 세트 생성과 측정 센서 데이터 및 동작 데이터 세트 처리 및 관리 기능을 제공한다. Visualization은 작업자 3D 모델 시각화와 동작 평가 및 부하 계산 기능, 대용량 처리 및 관리 기능을 제공한다. 작업자 3D 모델 시각화에서는 동작 데이터 세트(Skeleton & Position)를 작업자 3D 모델에 동기화 맵핑하고, 작업자 3D 모델 동작 애니메이션, 작업자 3D 모델과 분석 결과를 조합하여 시각화한다. 본 논문에서 설계하고 구현한 휴먼 센서 기반의 작업자 동작 3D 시각화 모듈은 향후 스마트 팩토리 분야의 기반 기술로 다양하게 활용될 수 있다.

I. Introduction

고용노동부가 발표한 2023년 산업재해 현황 부가 통계에 따르면 지난해 재해조사 대상 사고 사망자는 모두 598명, 건수로는 584건이었다[1].

그림 1을 살펴보면 산업재해가 발생 빈도수가 감소하고 있음을 알 수 있다. 또한 산업재해가 발생하는 업종은 건설업, 제조업 순이다. 최근 4차 산업혁명과 인공지능 기술의 발전과 코로나(COVID-19)로 인해 제조, 금융, IT, 교육, 문화 등 다양한 분야에서 디지털 트랜스포메이션을 통한 업무 프로세스 혁신과 새로운 비즈니스 모델이 생겨나고 있다[2][3]. 이러한 디지털 트랜스포메이션은 산업체 재해를 줄이는 하나의 방법이다. 기계와 로봇에 인공지능과 빅데이터 등의 첨단기술이 접목되면 인간의 신체적 노동력은 물론이고 인간의 인지능력(지식, 이해력, 사고력, 문제 해결력, 창의력 등)까지 넘어설 것이다. 인간의 신체적 능력과 인지적 능력을 넘어설 정도로 디지털 기술의 진보속도가 빨라지면 산업현장에서 요구하는 직무능력과 근로자가 보유한 능력 간의 격차가 커질 것이다. 이러한 환경에서는 로봇에 의한 일자리 대체는 매우 파괴적으로 나타날 가능성이 있다.

Fig. 1. Industrial accident occurrence trend

스마트 팩토리의 제조 현장은 자동화 설비를 구축하여 제품 생산을 많이 하고 있으나, 제품의 특성에 따라 작업자가 필수적으로 투입되는 공정도 많이 존재한다. 이러한 공정에서 작업자의 졸음, 무리한 동작이나 불균형 동작으로 넘어짐 등으로 인해 발생하는 안전사고를 해결하기 위해 경제적 사회적 비용이 증대하고 있다. 제조 현장의 특성상 재해와 안전한 환경을 마련하기 위해서는 데이터 처리기술, 데이터 융합 기술, 무선네트워크 기술, 서버와 연계된 처리기술, 인공 지능 기술, 등 다양한 분야의 기술이 필요하다. 또한, 작업자 중심의 안전사고 예방 및 생산성 향상을 위해서는 작업자 상황별 움직임에 대한 특성 정보를 수집하는 것이 필요하다. 작업자의 움직임에 대한 데이터 수집에는 각 분야별로 특성에 맞게 고도화하고 있으나, 휴먼 센서를 기반으로 하는 기술은 제조 현장 상용화가 미미한 수준이다.

따라서, 본 논문에서는 휴먼 센서 기반의 작업자 동작 시각화 모듈을 설계하고 구현한다. 이 모듈은 무선형 휴먼센서를 착용한 작업자의 동작 데이터를 수집하고, 수집된 데이터를 활용해 작업자의 동작를 평가할 수 있는 데이터 세트로 변환･저장한다. 그리고 실시간으로 작업자의 동작 부하 및 유해 동작을 분석하고, 동시에 원격지에서 3D 모델을 이용하여 실시간으로 작업자의 동작을 확인할 수 있도록 작업자 동작 시각화 모듈을 설계하고 구현한다.

본 논문의 구성은 다음과 같다. 2장에서 기존 휴먼 센서에 대하여 알아보고, 장단점을 분석한다. 3장과 4장에서는 휴먼 센서 기반의 작업자 동작 시각화 모듈을 설계하고 구현한다. 그리고 마지막으로 5장에서 결론을 맺는다.

II. Preliminaries

스마트 센서는 반도체, 나노/MEMS 등 제조 기술에 접목하여 외부 환경 감지를 획기적으로 개선하고, 데이터 처리, 자동보정, 자가 진단, 의사결정 등의 신호처리가 유기적으로 내장된 지능형 센서이다. 이러한 스마트 센서는 제조업의 다양한 정보를 취합하여 스마트한 제조 환경을 가능하게 하고 화학공장의 경우 안전사고를 방지하여 기계설비의 고장을 예지하는 기능을 제공한다. 세계 센서 시장의 규모는 그림 2와 같다[5].

Fig. 2. Wireless IoT sensor market size

2022년 전 세계 무선 IoT 센서 시장 규모는 593,520만 달러였으며, 2031년에는 2,733,962만 달러에 도달할 것으로 예측하고 있다. 무선 IoT 센서는 데이터를 수집하여 WiFi로 전송하도록 설계된 소형 장치로 인터넷에 연결되어 서로 통신할 수 있는 기기, 차량, 기타 사사물 인터넷(IoT) 생태계의 중요한 구성 요소이다. 이러한 센서 기기에는 일반적으로 온도, 습도, 동작, 조도 센서와 같은 센서가 장착되어 있어 주변 환경에 대한 데이터를 수집할 수 있다. 그리고 수집한 데이터를 센서 네트워크와 인터넷 사이의 브리지 역할을 하는 게이트웨이나 허브에 무선으로 전송한다.

이러한 센서를 활용하여 측정데이터를 수집하고, 작업자의 동작을 평가하는 솔루션을 보유한 대표적인 기업은 ViveLab Ergo이다[6]. ViveLab Ergo의 ErgonomicRisk Assessment Software는 그림 3과 같다.

Fig. 3. ViveLab‘s Ergonomic-Risk Assessment Software

그림 3의 Ergonomic-Risk Assessment 소프트웨어는 정확한 인체공학적 테스트, 분석 및 계획을 제공하는 인체공학적 소프트웨어이다. 내장된 인체 측정 데이터베이스와 7가지 인체 공학적 분석 덕분에 ViveLab Ergo는 불필요하고 시간이 많이 소요되는 움직임과 잘못된 작업 공간 설계로 인해 발생하는 강제적 움직임으로 인한 재해를 줄여준다.

독일 Work 4.0은 노동의 디지털화를 빅데이터, IoT, VR/AR기술, 모바일 기기를 활용한 다양한 전략을 연구하고 있고 노동의 산업안전보건관련 10개 트렌드 중 ‘근골격계 질환의 증가’, ‘안전하지 않은 전문기술부족 노동자’, ‘위험한 작업’을 선정하고 연구개발 진행 중이다. 일본은 후생노동성의 노동재해방지 5개년 계획(2008-2012)을 통해 IT, ICT 기술을 활용한 안전관리기법 및 기술을 보급하고 있다.

국외에서 개발 중인 작업자 데이터 확보 기술로는 비전 인식 데이터 획득 방법 (키넥트, 옴니터치)과 센서 기반 데이터 확보 방법이 있다. Microsoft는 키넥트 적외선 프로젝터를 통해 깊이를 감지할 수 있는 카메라를 탑재해 카메라에 찍힌 영상속 사람의 움직임을 추적해 낼 수 있는 비접촉식 방식의 동작 인식 컨트롤러로 사람의 팔, 다리 동작뿐만 아니라 인간의 얼굴 표정까지 인식할 수 있다[7, 8]. University of Missouri에서는 키넥트를 이용하여 노인들의 움직임을 관찰하고 미묘한 변화를 추적해, 낙상으로 이어질 수 있는 노인들의 운동기능 저하를 파악하는 방안을 연구하고 있다[9]. MYO는 손의 움직임에 따라 팔뚝근육이 달라진다는 점에 착안, 팔찌 형태의 센서를 팔뚝부분에 부착한 뒤, 팔뚝 근육 움직임을 추적함으로써 다양한 손의 움직임을 인식해 내는 접촉형 방식의 동작인식기술이다[10].

III. The Design of Worker Motion Visualization Module based on Human Sensor

본 논문에서는 휴먼 센서 기반의 작업자 동작 시각화 모듈을 설계한다. 휴먼 센서 기반의 작업자 동작 시각화 모듈 그림 3과 같이 3가지 핵심 모듈인 Human Sensor Implementation, Data Set Creation, Visualization으로 구성한다.

그림 4에서 Human Sensor Implementation은 휴먼센서 위치 설정 및 설치와 휴먼 센서를 통한 작업자 동작 데이터 수집 기능을 제공한다. Data Set Creation은 동작 데이터 변환･저장 및 근접 실시간 작업자 동작 데이터 세트 생성과 측정 센서 데이터 및 동작 데이터 세트 처리 및 관리 기능을 제공한다. Visualization은 작업자 3D 모델 시각화와 동작 평가 및 부하 계산 기능, 대용량 처리 및 관리 기능을 제공한다. 작업자 3D 모델 시각화에서는 동작 데이터 세트(Skeleton & Position)를 작업자 3D 모델에 동기화 맵핑하고, 작업자 3D 모델 동작 애니메이션, 작업자 3D 모델과 분석 결과를 조합하여 시각화한다. 동작 평가 및 부하 계산 기능은 동작 데이터 세트를 분석하여 동작의 평가 및 부하를 계산하고, 동작 분석 레포팅 기능을 제공한다. 대용량 처리 및 관리 기능은평가 및 계산 알고리즘 처리 서버 큐 프로그램, 로컬 및 서버 데이터 저장 및 연계 관리 프로그램, 로컬 및 서버 데이터 실시간 통신 프로그램을 설계한다.

Fig. 4. Component of chick incubation system

IV. The Implementation of Worker Motion Visualization Module based on Human Sensor

본 논문에서는 휴먼 센서 기반의 작업자 동작 시각화 모듈을 구현한다. 이 모듈은 3가지 핵심 모듈인 Human Sensor Implementation, Data Set Creation, Visualization으로 구성되어 있다,

1. Human Sensor Implementation

Human Sensor Implementation은 그림 5와 같이 휴먼 센서 위치 설정 및 설치와 휴먼 센서를 통한 작업자 동작 데이터 수집 기능을 구현한다.

Fig. 5. Positioning and installation of human sensors

그림 4와 같이 작업자의 신체 부위에 휴먼 센서를 장착할 위치를 설정하고, 작업자의 동작 데이터를 측정한다. 휴먼 센서에서 센싱한 작업자의 동작 데이터는 포인트, 스켈레톤, x,y,z 좌표 데이터 등이다. 작업자의 스켈레톤 정보는 그림 6과 같다.

Fig. 6. Worker skeleton information

본 논문에서는 현재 가장 많이 사용하는 센서의 단점을 보완한 센서를 사용한다. 고가의 휴면 센서도 산업현장에서 작업자가 착용하면 자세와 동작에 불편함이 많이 발생하고 있다. 따라서 본 논문에서 사용한 센서는 블루투스 통신이 가능한 무선형 소형센서로 착용시 자유로운 작업이 가능하며, 스마트폰을 통해 작업자의 동작 및 위치 데이터를 수집할 수 있도록 구현한다.

2. Data Set Creation

Data Set Creation은 동작 데이터 변환･저장 및 근접 실시간 작업자 동작 데이터 세트 생성과 측정 센서 데이터 및 동작 데이터 세트 처리 및 관리 기능을 구현한다.

그림 7과 같이 휴먼 센서를 통해 센싱한 작업자의 위치, 스켈레톤 데이터를 수집하여 작업자의 동작과 자세를 분석한다. 그리고 분석 결과를 기반으로 작업자의 동작 Data Set을 생성하고, 안전한 작업 품질 모델을 생성한다. 특히, 작업자의 실내 측위를 위해서는 WiFI 통신 기반의 안드로이드폰을 이용하여 구현한다. 작업자 안전을 위한 정밀한 위치 측정은 작업자를 중심으로 1~2미터 이내로 정밀한 위치를 측정하도록 구현한다.

Fig. 7. Data set creation example

3. Visualization

Visualization은 작업자 3D 모델 시각화와 동작 평가 및 부하 계산 기능, 대용량 처리 및 관리 기능을 구현한다. 작업자 3D 모델 시각화에서는 동작 데이터 세트(Skeleton & Position)를 작업자 3D 모델에 동기화 맵핑하고, 작업자 3D 모델 동작 애니메이션, 작업자 3D 모델과 분석 결과를 조합하여 시각화한다. Visualization 관련 소스 코드는 그림 8과 같다.

Fig. 8.Visualization code

그림 8 (a)는 UI를 구현한 코드이고, (b)는 작업자의 스켈레톤 정보를 구현한 코드이다.

그림 9는 작업자의 위치와 동작 데이터를 이용하여 작업자의 동작을 3D 모델로 시각화한 결과이다.

Fig. 9. 3D Model Visualization example

그림 8의 작업자 동작 (a) ~ (h)를 살펴보면 현재 작업자가 위험한 상황에 있음을 알 수 있는 것은 (e)~(g)이다. 작업자가 위험한 상황인 경우, 관리자에게 알람 메세지 전송하여 처리할 수 있도록 한다. 또한 (a) Walking은 작업자가 보행 중이지만 작업자가 위험 지역으로 접근하면 알람을 울려 경고하도록 구현한다.

산업체 현장에서 작업자의 위치는 매우 중요한 정보이다. 그림 10과 같이 산업체 현장의 위험 지역을 설정하고 그 지역으로 작업자가 접근하면 경고등을 울리고, 작업자의 스마트폰에 경고 메시지를 전송하도록 구현한다.

Fig. 10. Example of utilizing worker location information

V. Conclusions

본 논문에서는 휴먼 센서 기반의 작업자 동작 시각화 모듈을 설계하고 구현하였다. 이 모듈을 구성하는 3가지 핵심 모듈은 Human Sensor Implementation, Data Set Creation, Visualization이다. Human Sensor Implementation은 작업자의 신체 부위에 휴먼 센서를 장착할 위치를 설정하고, 작업자의 동작 데이터를 측정하도록 구현하였다. 이때 휴먼 센서에서 센싱한 작업자의 동작 데이터는 포인트, 스켈레톤, x,y,z 좌표 데이터 등이다. Data Set Creation은 동작 데이터 변환･저장 및 근접 실시간 작업자 동작 데이터 세트 생성과 측정 센서 데이터 및 동작 데이터 세트 처리 및 관리 기능을 구현하였다. Visualization은 동작 데이터 세트(Skeleton & Position)를 작업자 3D 모델에 동기화 맵핑하고, 작업자 3D 모델 동작 애니메이션, 작업자 3D 모델과 분석 결과를 조합하여 시각화하도록 구현하였다. 본 논문에서 설계하고 구현한 휴먼 센서 기반의 작업자 동작 시각화 모듈은 향후 스마트팩토리 분야의 기반 기술로 다양하게 활용될 수 있다.