• 한국재난정보학회 논문집
• /
• 제20권2호
• /
• pp.302-314
• /
• 2024

연구목적: 본 연구는 지하공동구 내 다수 작업자의 낙상을 자동으로 판별하기 위한 Top-down 방식의 딥러닝 자세 추정 모델 기반 낙상 검출 모델을 제안하고, 제안 모델의 성능을 평가한다. 연구방법: Top-down 방식의 자세 추정모델 중 하나인 YOLOv8-pose로부터 추론된 결과와 낙상 판별 규칙을 결합한 모델을 제시하고, 지하공동구 내 2인 이하 작업자가 출현한 기립 및 낙상 이미지에 대해 모델 성능지표를 평가하였다. 또한 동일한 방법으로 Bottom-up 방식 자세추정모델(OpenPose)을 적용한 결과를 함께 분석하였다. 두 모델의 낙상 검출 결과는 각 딥러닝 모델의 작업자 인식 성능에 의존적이므로, 작업자 쓰러짐과 함께 작업자 존재 여부에 대한 성능지표도 함께 조사하였다. 연구결과: YOLOv8-pose와 OpenPose의 모델의 작업자 인식 성능은 F1-score 기준으로 각각 0.88, 0.71로 두 모델이 유사한 수준이었으나, 낙상 규칙을 적용함에 따라 0.71, 0.23로 저하되었다. 작업자의 신체 일부만 검출되거나 작업자간 구분을 실패하여, OpenPose 기반 낙상 추론 모델의 성능 저하를 야기한 것으로 분석된다. 결론: Top-down 방식의 딥러닝 자세 추정 모델을 사용하는 것이 신체 관절점 인식 및 개별 작업자 구분 측면에서 지하공동구 내 작업자 낙상 검출에 효과적이라 판단된다.

• 문화기술의 융합
• /
• 제8권5호
• /
• pp.735-740
• /
• 2022

건설업은 사망자 수가 가장 많이 발생하는 산업이며, 다양한 제도 개선에도 사망자는 크게 줄어들지 않고 있다. 이에 따라, CCTV 영상에 인공지능(AI)을 적용한 실시간 안전관리가 부각되고 있다. 건설현장의 영상에 대한 AI를 적용한 근로자 탐지연구가 진행되고 있지만, 건설업의 특성상 복잡한 배경 등의 문제로 인해 성능 발현에 제한이 있다. 본 연구에서는 근로자의 탐지 및 자세 추정에 대한 성능 향상을 위해 YOLO 모델과 OpenPose 모델을 융합하여, 복잡 다양한 조건에서의 근로자에 대한 탐지 성능을 향상시켰다. 이는 향후 근로자의 불안전안 행동 및 건강관리 측면에서 활용도가 높을 것으로 예상된다.

• 한국재난정보학회 논문집
• /
• 제19권3호
• /
• pp.498-509
• /
• 2023

연구목적: 본 논문은 CCTV 영상을 활용한 딥러닝 객체 인식 기술을 적용해 지하공동구 내 쓰러진 관리인력의 검출 방법을 제시하고, 제안 방법의 관리인력 모니터링 적용성을 평가한다. 연구방법: 사람 검출 목적으로 사전 훈련된 YOLOv5와 OpenPose 모델의 추론 결과로부터 쓰러짐을 판별할 수 있는 규칙을 제안하고, 각 모델의 결과를 통합해 지하공동구 내 작업자 쓰러짐 검출에 적용하였다. 연구결과: 제안된 모델로 작업인력의 감지 및 쓰러짐을 판단할 수 있었으나, CCTV와 작업자 간격 및 작업자가 쓰러진 방향에 의존해 검출성능이 영향을 받았다. 또한 지하공동구 작업자에 대해 YOLOv5 기반 쓰러짐 판별 규칙 적용 모델이 거리 및 쓰러짐 방향 의존성이 낮아 OpenPose 기반 모델에 비해 우수한 성능을 보였다. 그 결과 통합된 이중 딥러닝 모델의 쓰러짐 검출 결과는 YOLOv5 결과에 종속되었다. 결론: 제안 모델을 통해 지하공동구 작업자의 이상상황 검출이 가능함을 보였으나, 개별 딥러닝 모델별 사람 감지 성능 차이로 인해 YOLOv5 기반 모델 대비 통합 모델의 쓰러짐 검출 성능 개선은 미미하였다.

• 대한임베디드공학회논문지
• /
• 제18권6호
• /
• pp.303-310
• /
• 2023

A single vision system limits the ability to accurately understand the spatial constraints and interactions between robots and dynamic workers caused by gantry robots and collaborative robots during production manufacturing. In this paper, we propose a 3D pose registration method for dynamic workers based on a multi-domain vision system for safety monitoring in manufacturing environments. This method uses OpenPose, a deep learning-based posture estimation model, to estimate the worker's dynamic two-dimensional posture in real-time and reconstruct it into three-dimensional coordinates. The 3D coordinates of the reconstructed multi-domain vision system were aligned using the ICP algorithm and then registered to a single 3D coordinate system. The proposed method showed effective performance in a manufacturing process environment with an average registration error of 0.0664 m and an average frame rate of 14.597 per second.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.328-335
• /
• 2022

With the advance of robot capabilities and functionalities, construction robots assisting construction workers have been increasingly deployed on construction sites to improve safety, efficiency and productivity. For close-proximity human-robot collaboration in construction sites, robots need to be aware of the context, especially construction worker's behavior, in real-time to avoid collision with workers. To recognize human behavior, most previous studies obtained 3D human poses using a single camera or an RGB-depth (RGB-D) camera. However, single-camera detection has limitations such as occlusions, detection failure, and sensor malfunction, and an RGB-D camera may suffer from interference from lighting conditions and surface material. To address these issues, this study proposes a novel method of 3D human pose estimation by extracting 2D location of each joint from multiple images captured at the same time from different viewpoints, fusing each joint's 2D locations, and estimating the 3D joint location. For higher accuracy, the probabilistic representation is used to extract the 2D location of the joints, considering each joint location extracted from images as a noisy partial observation. Then, this study estimates the 3D human pose by fusing the probabilistic 2D joint locations to maximize the likelihood. The proposed method was evaluated in both simulation and laboratory settings, and the results demonstrated the accuracy of estimation and the feasibility in practice. This study contributes to ensuring human safety in close-proximity human-robot collaboration by providing a novel method of 3D human pose estimation.

• 국제학술발표논문집
• /
• The 10th International Conference on Construction Engineering and Project Management
• /
• pp.775-782
• /
• 2024

This systematic review comprehensively analyzes the application of computer vision in construction productivity measurement and emphasizes the importance of worker accountability in construction sites. It identifies a significant gap in the connection level between input (resources) and output data (products or progress) of productivity monitoring, a factor not adequately addressed in prior research. The review highlights three fundamental groups: input, output, and connection groups. Object detection, tracking, pose, and activity recognition, as the input stage, are essential for identifying characteristics and worker movements. The output phase will mostly focus on progress monitoring, and understanding the interaction of workers with other entities will be discussed in the connection groups. This study offers four research future research directions for the worker accountability monitoring process, such as human-object interaction (HOI), generative AI, location-based management systems (LBMS), and robotic technologies. The successful accountability monitoring will secure the accuracy of productivity measurement and elevate the competitiveness of the construction industry.

• 한국산업정보학회논문지
• /
• 제29권5호
• /
• pp.21-32
• /
• 2024

본 논문은 산업 제조 현장에서 작업자의 안전을 위협하는 사각지대를 해결하기 위해서 저가형 CW(Continuous Wave) 레이다와 IMU(Inertial Measurement Unit)센서를 결합한 스마트안전시스템을 제안하였다. 24GHz 레이다와 6축 IMU 센서를 사용하여 작업자의 움직임을 감지하고, 기계 학습 모델을 통해 작업자 상황을 인식할 수 있었다. 레이다와 IMU 특징점과 앙상블 부스팅 트리 기반 기계학습모델을 사용한 결과, 92.8% 이상의 작업자 탐지율을 확보하였다.

• 한국컴퓨터정보학회논문지
• /
• 제29권9호
• /
• pp.109-114
• /
• 2024

본 논문에서는 휴먼 센서 기반의 작업자 동작 3D 시각화 모듈을 설계하고 구현한다. 이 모듈을 구성하는 3가지 핵심 모듈은 Human Sensor Implementation, Data Set Creation, Visualization이다. Human Sensor Implementation은 휴먼 센서 위치 설정 및 설치와 휴먼 센서를 통한 작업자 동작 데이터 수집 기능을 제공한다. Data Set Creation은 동작 데이터 변환･저장 및 근접 실시간 작업자 동작 데이터 세트 생성과 측정 센서 데이터 및 동작 데이터 세트 처리 및 관리 기능을 제공한다. Visualization은 작업자 3D 모델 시각화와 동작 평가 및 부하 계산 기능, 대용량 처리 및 관리 기능을 제공한다. 작업자 3D 모델 시각화에서는 동작 데이터 세트(Skeleton & Position)를 작업자 3D 모델에 동기화 맵핑하고, 작업자 3D 모델 동작 애니메이션, 작업자 3D 모델과 분석 결과를 조합하여 시각화한다. 본 논문에서 설계하고 구현한 휴먼 센서 기반의 작업자 동작 3D 시각화 모듈은 향후 스마트 팩토리 분야의 기반 기술로 다양하게 활용될 수 있다.

• 한국산업보건학회지
• /
• 제34권2호
• /
• pp.134-138
• /
• 2024

The rapid advancement of technologies within the Fourth Industrial Revolution is expected to bring significant changes to the work environment across industries. While automation and digitalization not only enhance productivity but also health and safety, they also pose new health risks such as isolation, technostress, and musculoskeletal disorders. The rise of remote work and platform labor necessitates strengthening social protections for workers' health rights. To ensure that technological progress leads to better worker health, proactive and comprehensive occupational health policies are essential. Cultivating interdisciplinary expertise in occupational health professionals is also crucial. Industrial hygienists can play a pivotal role in assessing and managing the health impacts of technological changes, as well as bridging the gap between innovation and worker well-being.

• 한국산학기술학회논문지
• /
• 제22권1호
• /
• pp.24-30
• /
• 2021

본 연구에서는 자동차 밸브 바디 (valve body) 나사의 조립 상태를 검지하고 조립 작업을 보조하기 위한 증강현실 (AR) 앱을 개발하고 테스트를 통해 유효성을 보인다. 조립할 나사의 조립 위치와 순서 및 조립 상황들을 표시하는 컨텐츠들을 생성한 후 스마트 폰 화면의 밸브 바디 영상 위에 정합하여, 조립 도중에 작업자에게 보여준다. 이를 위해, 밸브 바디의 2차원 이미지로부터 특징 데이터를 추출하고 밸브 바디의 포즈를 알아낸다. 밸브 바디 위의 각 나사들이 조립될 영역의 영상을 추출하고 주기적으로 해당 영역의 휘도를 판별하며, 밸브 바디 위의 정해진 위치에 순서에 따라 각 나사들이 조립되고 있는 지를 확인한다. 미조립 또는 조립 순서 오류 등 조립 에러가 검지되면 경고 음이 발생되어, 작업자가 스마트 폰 화면에서 즉시 조립 상태를 확인하고 에러를 처리할 수 있다. 테스트를 통해 5개 나사의 조립 상태를 검지하는데 약 65ms가 걸리고 1시간 동안 오류 없이 조립 상태가 검지되는 것을 확인했다.