• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권9호
• /
• pp.363-370
• /
• 2022

다중 사물 환경에서 목표 사물만의 정밀한 파지를 위해서는 장애물과의 충돌 회피 지능과 정교한 파지 지능이 필요하다. 이 작업을 위해선 다중 사물 환경 인지, 목표 사물 인식, 경로 설정, 로봇손의 사물 파지 지능이 필요하다. 본 연구에서는 RGB-D 영상 센서를 이용하여 다중 사물 환경과 사물을 인지하고 3D 공간을 매핑한 후, 충돌 회피 경로 탐색 알고리즘을 활용하여 목표 사물까지의 경로를 탐색 및 설정하고, 강화학습을 통해 학습된 사람형 로봇손의 목표 사물 파지 지능을 활용해 최종적으로 시뮬레이션 및 하드웨어 사물 파지 시스템을 구현하고 검증하였다. 사람형 로봇손을 구현한 시뮬레이션 환경에서 5개의 사물 중 목표 사물을 지정하고 파지한 결과 경로 탐색 없는 파지 시스템이 평균 78.8%의 성공률과 34%의 충돌률을 보일 때, 경로 탐색 지능과 결합된 시스템은 평균 94%의 성공률과 평균 20%의 충돌률을 보였다. UR3와 QB-Soft Hand를 사용한 하드웨어 환경에서는 3개의 사물 중 목표 사물을 지정하고 파지한 결과 경로 탐색 없는 파지 시스템이 평균 30%의 성공률과 97%의 충돌률을 보일 때, 경로 탐색 지능과 결합된 시스템은 평균 90%의 성공률과 평균 23%의 충돌률을 보였다. 본 연구에서는 RGB-D 시각 지능, 충돌 회피 경로 탐색, 사물 파지 심층 강화학습 지능의 결합을 통하여, 사람형 로봇손의 목표 사물 파지가 가능함을 제시하였다.

• 센서학회지
• /
• 제29권5호
• /
• pp.360-364
• /
• 2020

In this study, the colorimetric sensor, polyester (PET) fabric dyed with lead (II) acetate (Pb(C₂H₃O₂)₂), was fabricated and characterized for the detection of the hydrogen sulfide (H₂S). The surface morphology of the fabric was determined using scanning electron microscope and energy-dispersive X-ray spectroscopy. The optical properties of the fabric were evaluated by measuring the variation in the blue value of an RGB sensor. The fabric showed a significant color change, high linearity (R² : 0.98256), and fast response time (< 1.0 s) when exposed to H₂S. This is because the sensor is highly porous and permeable to the gas. The fabric can not only be used as a hydrogen sulfide sensor but also be used to detect and prevent H₂S influx using sticky tape on pipelines.

• 한국컴퓨터산업학회논문지
• /
• 제7권5호
• /
• pp.455-466
• /
• 2006

본 논문에서는 능동형 센서를 이용하여 실사 객체에 대한 깊이 정보 및 칼라 정보를 획득하고 획득된 데이터를 이용하여 3D 객체를 생성하였다. 길이 정보를 획득하는 방법은 능동형 센서 모듈을 내장한 $Zcam^{TM}$ 카메라를 이용하였다. <중략>세 번째, 세부 파라미터를 조절하여 깊이 정보의 왜곡을 보정하고 보정된 깊이 정보를 이용하여 3D 메쉬 모델을 생성한 후, 서로 인접한 외곽 점들을 연결하여 완전한 객체 메쉬 모델을 만든다. 최종적으로, 완성된 객체 메쉬 모델에 칼라 영상 데이터의 칼라 값을 적용해 매핑 처리를 수행함으로써 3D 객체를 생성하였다. 실험을 통해 능동형 센서가 장착된 카메라로 획득한 데이터만으로 3D 객체를 생성할 수 있다는 가능성을 제시하였으며, 3차원 전용 스캐너를 이용한 것보다 데이터 획득이 간편하고 용이함을 알 수 있었다.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.230-236
• /
• 2018

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

• 한국정보통신학회논문지
• /
• 제20권1호
• /
• pp.167-174
• /
• 2016

본 논문에서는 3D 깊이우선 집적영상(DPII) 디스플레이에서 키넥트(Kinect)를 이용하여 3D 물체에 대한 2D 요소영상들을 생성하는 방법을 제안한다. 먼저, 깊이우선 집적영상에서의 요소영상 생성원리를 기하광학적으로 분석하고 이 분석에 기초하여 키넥트의 RGB영상과 깊이영상으로부터 요소영상들을 생성한다. 3D 영상 복원을 위해서 집적영상에 기반한 컴퓨터적 시점재생 실험을 수행하고, 복원된 3D 영상에 대한 많은 시점영상들을 서로 비교한다. 제안하는 방식의 유용함을 보이기 위해서 기초적인 광학적 실험을 수행하였다. 그 결과, 제안하는 방식은 완전시차를 가지는 올바른 3D 영상을 제공함을 확인하였다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.

• 로봇학회논문지
• /
• 제17권4호
• /
• pp.417-424
• /
• 2022

In this paper, the developed trunk cargo unloading automation system is introduced, and the RGB-D sensor-based box loading situation recognition method and unloading plan applied to this system are suggested. First of all, it is necessary to recognize the position of the box in a truck. To do this, we first apply CNN-based YOLO, which can recognize objects in RGB images in real-time. Then, the normal vector of the center of the box is obtained using the depth image to reduce misrecognition in parts other than the box, and the inner wall of the truck in an image is removed. And a method of classifying the layers of the boxes according to the distance using the recognized depth information of the boxes is suggested. Given the coordinates of the boxes on the nearest layer, a method of generating the optimal path to take out the boxes the fastest using this information is introduced. In addition, kinematic analysis is performed to move the conveyor to the position of the box to be taken out of the truck, and kinematic analysis is also performed to control the robot arm that takes out the boxes. Finally, the effectiveness of the developed system and algorithm through a test bed is proved.

• 자동차안전학회지
• /
• 제14권3호
• /
• pp.71-76
• /
• 2022

In autonomous driving cars, 3D pose estimation can be one of the effective methods to enhance safety control for OOP (Out of Position) passengers. There have been many studies on human pose estimation using a camera. Previous methods, however, have limitations in automotive applications. Due to unexplainable failures, CNN methods are unreliable, and other methods perform poorly. This paper proposes robust real-time multi-human 3D pose estimation architecture in vehicle using monocular RGB camera. Using particle filter, our approach integrates CNN 2D/3D pose measurements with available information in vehicle. Computer simulations were performed to confirm the accuracy and robustness of the proposed algorithm.

• ETRI Journal
• /
• 제44권2호
• /
• pp.286-299
• /
• 2022

Human activity recognition in real time is a challenging task. Recently, a plethora of studies has been proposed using deep learning architectures. The implementation of these architectures requires the high computing power of the machine and a massive database. However, handcrafted features-based machine learning models need less computing power and very accurate where features are effectively extracted. In this study, we propose a handcrafted model based on three-dimensional sequential skeleton data. The human body skeleton movement over a frame is computed through joint positions in a frame. The joints of these skeletal frames are projected into two-dimensional space, forming a "movement polygon." These polygons are further transformed into a one-dimensional space by computing amplitudes at different angles from the centroid of polygons. The feature vector is formed by the sampling of these amplitudes at different angles. The performance of the algorithm is evaluated using a support vector machine on four public datasets: MSR Action3D, Berkeley MHAD, TST Fall Detection, and NTU-RGB+D, and the highest accuracies achieved on these datasets are 94.13%, 93.34%, 95.7%, and 86.8%, respectively. These accuracies are compared with similar state-of-the-art and show superior performance.

• 로봇학회논문지
• /
• 제8권3호
• /
• pp.197-205
• /
• 2013

This paper presents a robotic system that provides telepresence to the visually impaired by combining real-time haptic rendering with multi-modal interaction. A virtual-proxy based haptic rendering process using a RGB-D sensor is developed and integrated into a unified framework for control and feedback for the telepresence robot. We discuss the challenging problem of presenting environmental perception to a user with visual impairments and our solution for multi-modal interaction. We also explain the experimental design and protocols, and results with human subjects with and without visual impairments. Discussion on the performance of our system and our future goals are presented toward the end.