A Study on the Obstacle Avoidance Control of Pipe Climbing Robot for Pipe Structure Inspection

파이프 구조물 검사를 위한 파이프 등반 로봇의 장애물 회피 제어 연구

Abstract

A lot of research has been done on pipe climbing robots to investigate the aging pipe structures of nuclear power plants and petrochemical plants. Nevertheless, most of the research on pipe climbing robots focused on the structural design and foundational motion control of pipe climbing robots. So, For the operator to control the pipe climbing robot, it has many difficulties to climb the pipe and avoid obstacles by manual operation. In this paper, propose an algorithm that recognizes obstacle by using camera images of pipe climbing robots, estimates the distance between pipe climbing robots and obstacles, and determines the position where pipe climbing robots can catch pipes to avoid obstacles between pipes.

원자력발전소와 석유화학의 노후화된 파이프 구조물을 검사를 위하여 파이프 등반 로봇에 많은 연구가 이루어졌다. 그러나 파이프 등반 로봇 연구에서는 대부분 파이프 등반 로봇의 구조 설계와 기본적인 동작 제어에 초점을 맞추고 제작되어, 작업자가 파이프 등반 로봇을 제어하기 위해서는 수동 조작으로 파이프를 등반 및 장애물 회피하기 위해 많은 어려움을 가진다. 본 논문에서는 파이프 등반 로봇의 카메라 영상을 이용하여 장애물을 인식하고 파이프 등반 로봇과 장애물 사이의 거리를 추정 및 파이프 등반 로봇이 파이프를 잡을 수 있는 위치를 결정하여 파이프 사이의 장애물을 회피 할 수 있는 알고리즘을 제안한다.

Ⅰ. 서론

원자력발전소, 석유화학 플랜트 등 산업플랜트 및 건축물에 있는 파이프(배관)들은 고온·고압의 증기나 유체가 흐르며, 시간이 지나감에 따라 점차 노후화 된다. 이러한 파이프들은 보존 상태와 경제성, 안전성에 따라 적절한 시기에 검사와 보수를 해야 한다.[1][2] 하지만 파이프는 사람이 접근이 힘든 지역(예로서 방사능, 고소지역 등)에 있는 검사 시에 작업자의 위험이 뒤따르므로, 최근에는 작업자 대신 로봇을 이용한 검사를 연구하게 되었다.[3-8]

파이프 구조물을 검사하기 위해서는 파이프 구조물 사이에 존재하는 장애물(플랜지, 브랜치등)을 회피할 수 있도록 다관절(Manipulator) 및 그립(Grip) 장치의 구조를 가진 로봇이 필요하며, 이를 파이프 등반 로봇(Pipe Crimging Robot)이라 하여 여러 연구가 진행 되었 다.[3-8] 기존의 파이프 등반 로봇 연구에서는 대부분 등반로봇의 구조 설계와 기본적인 동작제어에 초점을 맞추고 제작되어, 작업자가 파이프 구조물의 사전 정보(3D 모델링, 설계도 등)를 숙지하고 수동으로 조작하도록 구성되었다. 따라서 파이프 등반 로봇의 제한한 방법 파이 프 등반 로봇은 파이프 구조물의 검사를 위해 사전 정보와 수동 조작만으로 로봇을 이동 및 검사하기 힘들다는 단점이 있다.

현재까지 연구되고 있는 파이프 등반 로봇의 파이프 인식은 라인 레이저를 파이프에 주사하여 얻는 영상의 차 영상을 이용하여 추출 후 영상을 누적시켜 파이프의 외관을 인식하는 방법[4]과 RGB-D 카메라와 외부의 카메라를 이용하여 파이프를 인식하는 방법,[5] 주변의 파이프를 인식하기 위해 레이저 스케너, 카메라 , 초음파 센서를 이용한 방법[6]등 파이프를 인식 및 잡는 방법은 있으 나, 파이프 등반 로봇이 이동하면서 파이프 사이의 장애물을 인식 및 회피에 대한 연구는 이루어지지 않았다.

파이프 등반 로봇의 구조상 파이프 사이의 장애물을 회피하기 위해서는 파이프 등반 로봇의 그리퍼 (Gripper)와 장애물과의 거리를 가깝게 하여 로봇이 장애물을 회피 후 그리퍼를 잡을 수 있도록 장애물과 로봇의 그리퍼 사이의 위치를 추정해야 한다. 또한 로봇 팔이 장착된 이동형 로봇을 원격지에서 실수 없이 조종하여 파이프 사이의 장애물 및 로봇 자체가 파이프를 이동하는 기술은 필요하다.

본 논문에서는 파이프 등반 로봇이 자율 이동을 위해 파이프 등반 로봇의 카메라로부터 얻은 영상을 이용하여 파이프상의 장애물을 인식하고, 로봇과 장애물 사이의 거리를 추정하여 로봇의 그리퍼와 장애물 사이의 잡는 위치를 추정할 수 있는 기술이 요구되며, 파이프 등반 로봇이 장애물을 회피 할 수 있는 제어 알고리즘을 제안 한다.

Ⅱ. 파이프 등반 로봇

본 연구에 사용된 파이프 등반 로봇은 한국원자력연구원에서 제작된 로봇으로 그림 1과 같이 4인치(Inch) 파이프 및 파이프상의 장애물을 회피하며 이동 할 수 있도록 2개의 그리퍼와 5DOF (Degree of freedom)의 구조이며, 양쪽 Gripper의 위쪽에 2개의 640×480의 해상도를 가진 카메라와그리퍼와 파이프의 접착면에 근접 센서 4개를 가지고 있으며, 무게는 3.8Kg, 로봇의 전체 길이는 900mm이며, 14.8v 5Ah, 7.4v 2A의 2개의 베터리를 가지고 있다.

그림 1. 파이프 등반 로봇

Fig. 1. The pipe climbing robot

파이프 등반 로봇은 파이프 사이의 장애물을 회피하기 위해서는 장애물의 높이와 넓이의 제약을 가지며, 그림 2 와 같이 파이프 등반 로봇이 장애물을 회피 하기 위해서 그림2의 그리퍼A의 위치가 너무 멀리 떨어져 있으면 파이프 등반 로봇이 장애물을 회피 할 수 없고, 너무 가까우면 파이프 등반 로봇의 그리퍼 및 카메라가 장애물과 충돌이 일어날 수 있으므로 그리퍼와 장애물과의 잡는 위치 선정이 중요하며 파이프 등반 로봇의 그리퍼가 장 애물과 가까울수록 장애물의 회피가 용이하다 .

그림 2. 파이프 등반 로봇과 장애물과의 관계

Fig. 2. Relationship between pipe climbing robot and obstacle

파이프 등반 로봇은 파이프를 등반하면서 움직일 수 있는 여러 방법의 움직임을 가지고 있으며,[7][8] 이를 이용하여 장애물 회피하기 위해서는 그림. 3의 a에서 d 까지의 순서로 순차적으로 장애물을 회피하면서 파이프를 등반하는 것을 볼 수 있다.

그림 3. 파이프 등반 로봇의 장애물 회피 도식화

Fig. 3. Schematic of obstacle avoidance for pipe climbing robots

그림. 3의 a는 그리퍼 B와 장애물과의 거리를 파이프 등반 로봇의 카메라를 이용하여 B의 거리를 추정하고, A 의 거리를 결정한다. 그림 3의 b는 그리퍼 B의 위치를 결정한 후 파이프를 잡는 것을 볼 수 있으며, 그림 3의 c 는 그리퍼 A를 풀어서 장애물을 넘을 수 있도록 준비하며, 그림 3의 d는 그림퍼 A를 뒤집어 장애물을 넘는 것을 보여주고 있다.

Ⅲ. 파이프 등반 로봇의 장애물 회피

파이프 등반 로봇이 파이프를 등반 하면서 장애물을 인식 및 회피하기 위해서는 그림 4와 같은 순서로 이루어진다. 파이프 등반 로봇이 파이프를 등반 하면서 전달해 주는 영상정보를 이용하여 파이프의 외각정보를 인식하여 파이프를 구분하면 파이프 등반 로봇의 역기구 학(Inverse kinematic)을 이용하여 로봇의 각 관절각 을 정하며, 이를 이용하여 로봇의 그리퍼가 파이프를 잡을 수 있게 된다.[4]

그림 4. 로봇의 파이프 인식 및 장애물과의 거리 추정과 로봇의 이동거리 계산 흐름도

Fig. 4. Pipe recognition and distance estimation with obstacles of robot and flow chart of robot's distance calculation​​​​​​​

그림 5와 같이 파이프 등반 로봇은 배경과 파이프를 영상을 분할(Image Segmentation) 위하여 워터쉐드 알고리즘(Watershed Algorithm) 기법을 적용하였 다.[9][10] 그림. 5는 파이프 등반 로봇의 카메라로부터 전달 받은 영상(그림.5(a))을 Mask 영상을 만들고(그림. 5(b)) 이를 이용하여 워터쉐드 영상을 만든 후(그림.5(c)) 허프 직선 변환(Hough line transform)을 이용하여 파이프 외곽선을 구분 하였다(그림.5(d)).

그림. 5. 로봇의 카메라 영상을 이용한 외곽선 추출

Fig. 5. Extraction of outer line using camera image of robot​​​​​​​
 

파이프 등반 로봇이 파이프 외각선을 구분하지 못하였을 경우 그림 6의 붉은 사각형과 같이 전체 영상을 ROI(Region of interset) 하여 영상을 구분하고 관심 영역으로 구분하여 각 영상을 외곽선 인식을 이용하여 파이프 외곽을 구한다. 여기서 외각선이 구분되지 않은 ROI 영상의 중점 좌표를 구한다. 이렇게 구해진 중점 좌표와 카메의 위치로부터 가장 가까운 중점좌표(그림6의 파란색 원)와 전체 영상의 중점좌표(그림6의 노랑색 원)를 이용하여 장애물까지의 거리를 추정하고 이 추정된 값을 이용하여 파이프 등반 로봇이 파이프를 잡는 위치를 정하게 되고, 파이프 등반 로봇을 이동시켜 파이프를 잡게 된다.

그림 6. 파이프 사이의 장애물 영상 및 ROI 영상

Fig. 6. Obstacle Image and ROI Image between Pipes​​​​​​​

파이프 등반 로봇이 장애물과 그리퍼 사이의 위치를 추정하기 위해서는 그림. 7과 같이 파이프를 잡고있는 그리퍼A에서 각 L₀ ~L₅ 까지의 관절 길이와 θ₁, θ₂, θ₃, θ₄, θ₅ 만큼 회전하였을 때, 그리퍼B의 위치좌표 (x₆, y₆, z₆)를 구하려면 식1의 기구학(Kinematics)을 이용하여 좌표상의 위치를 구할 수 있다. 식1의 T는 변환 행열을 나타내며 각 관절의 길이 및 회전 각의 변환을 이용한다. 그리고 식 2를 이용하여 카메라의 중점의 위치좌표(x_c, y_c, z_c)를 구할 수 있다.

그림 7. 파이프 등반 로봇의 기구학적 구조

Fig. 7. The kinematics structure of the pipe climbing robot​​​​​​​

\({ }_{G}^{0} T={ }_{1}^{0} T_{2}^{1} T_{3}^{2} T_{4}^{3} T_{5}^{4} T_{G}^{5} T\)       (1)

\({ }_{C}^{0} T={ }_{1}^{0} T_{2}^{1} T_{3}^{2} T_{4}^{3} T_{5}^{4} T_{G}^{5} T_{C}^{G} T\)       (2)

그림 8은 파이프 등반 로봇의 그리퍼와 장애물 사이를 좀 더 명확히 보여주고 있다. X_E 카메라 영상의 중점이며, X_c는 기구학으로 구한 카메라의 높이를 말하고 있으며, θ₇ 를 구해 X_c와 X_E 까지의 거리를 추정할 수 있다. θ₇를 구하기 위해서는 Z_c에서 부터 X_E 까지의 거리D_c를 알아야 한다.

그림 8. 로봇과 파이프 사이의 장애물 도식화

Fig. 8. Schematization of obstacles between robot and pipe​​​​​​​

Dc를 구하기 위해서는 그림 9와 같이 실제 물체의 직경을 이용하여 하며 식3을 통해 D_c를 구할 수 있으며, 현재 위치에서의 영상의 픽셀의 실제 크기를 추정할 수 있다.

\(D_{c}: f=R: R_{i} \quad \therefore D_{c}=\frac{f R}{R_{i}}\)       (3)

그림 9. 파이프 등반 로봇의 카메라 좌표 변수

Fig. 9. Camera Coordinate Variables of Pipe Climbing Robot​​​​​​​

이렇게 구한 D_c를 식(4)를 이용하여 θ₇를 구할 수 있다.

\(\cos \theta_{7}=\frac{D_{c}}{z_{c}}\)       (4)

식(4)에서 구해진 X_c에서 부터 X_E 까지의 거리와 X₀ 에서 부터 X_c 까지의 거리 합으로 식(5)와 같이 카메라의 중점인 X_E까지의 거리를 구할 수 있다.

\(X_{E}=X_{c}+D_{c} \tan \theta_{7}\)       (5)

이렇게 구해진 전체 영상의 중점(그림6의 노랑색 원) 과 구분된 영상의 중점(그림6의 파란색 원)의 거리를 이용하여 로봇과 장애물과의 거리를 추정할 수 있다.

Ⅳ. 실험 및 검증

제안된 방법을 검증하기 위해 Fig. 10과 같은 파이프 목업을 이용하여 실험을 하였다. 실험 목업은 높이 6m로 구성되어 있으며 로봇은 1m 지점에서 출발하여 그림 10과 같이 3m 위치의 파이프 플랜지 부분의 장애물을 파이프 등반 로봇이 장애물을 회피 하는 것을 실험하였다.

그림 10. 파이프 등반 로봇의 실험 시설

Fig. 10. the experimental facility of the pipe climbing robot​​​​​​​

그림 11과 같이 파이프 등반 로봇이 파이프를 등반하면서 장애물을 인식 및 거리를 추정하고(그림 11(a)), 파이프 등반 로봇과 장애물과의 위치를 선정 후 파이프를 잡는다.(그림 11(c)) 그리고 파이프 등반 로봇이 파이프 사이의 장애물을 회피하여 이동하는 것을 볼 수 있다.(그 림 11(d∼h)

그림 11. 파이프 등반로봇의 장애물 회피 실험

Fig. 11. An Experiment on Obstacle Avoidance of Pipe Climbing Robot​​​​​​​

Ⅴ. 결론

본 논문은 파이프 구조물 검사를 위한 파이프 등반 로봇이 파이프 사이의 장애물을 회피하는 알고리즘을 제안하였다. 파이프 등반 로봇이 파이프 사이의 장애물을 인식하고 장애물을 회피하기 위해 파이프 사이의 장애물과 파이프를 잡는 그리퍼 사이의 거리를 추정하고 파이프 등반 로봇이 파이프를 잡는 위치를 선정하여 파이프 등 반 로봇이 장애물을 회피 할 수 있도록 하였다. 그리고 파이프 등반 로봇이 작접자의 수동이 아닌 자동으로 장애물을 회피 할 수 있는 것을 볼 수 있다.

향후 파이프 등반 로봇이 파이프를 자동으로 움직이면서 파이프 사이의 장애물을 회피 및 위치를 추정할 수 있는 방법 등을 연구하여 파이프 검사 로봇이 원격지의 조종자가 로봇의 조종을 최소화 할 수 있는 검사 로봇의 자동화 연구가 계속 수행 되어야 할 것이다.