A Vision Based Pallet Measurement Method by Estimating 3D Direction of A Line Parallel to The Ground

지면 평행 직선의 3차원 방향 추정에 의한 비전 기반 파렛트 측정 방법

Abstract

A line parallel to the ground is frequently shown in our daily life, which enables us to guess its direction. Especially, such a guess tends to become clear when a vanishing line of the ground is shown together. In this paper, a vision based pallet measurement method is suggested, which uses a technique for estimating three-dimensional direction of a line parallel to the ground. The technique computes actually a vector heading to intersection of a given imaged line parallel to the ground and the ground vanishing line determined previously on calibrating a measurement camera. Through an experiment of measuring a real commercial pallet with various orientation and distance, we found that the technique could measure the orientation of the pallet correctly and accurately. The technique worked well even though an edge line available on the front plane of a pallet was almost parallel to the ground vanishing line.

1. 서론

공장이나 창고에서 파렛트(pallet) 기반 물류의 효율화를 위해 파렛트의 자세 및 위치를 자동 측정하는 방법이 많이 연구되어 왔으며, 최근에도 계속 연구결과가 발표되고 있다[1-13]. 이러한 연구결과는 지게차(forklift)에 장착하는 측정 장비에 의해 카메라 비전을 이용하는 방법[1-9]과 거리(range) 영상을 이용하는 방법[10-12]으로 분류된다. 일반적으로, 카메라 비전 방법은 조명 변화에 취약하고, 거리 영상 방법은 정밀한 영역분할 및 구현비용 측면에서 상대적으로 어려움이 있다. 이에 따라, 두 방법의 장점을 적절하게 조화시켜 활용하는 하이브리드 방법[13]도 연구되었다.

한편, 파렛트의 자세 및 위치를 측정하기 위한 수단으로는, 대부분의 방법에서 파렛트 앞면 모델을 이용한 원형정합(template matching) 방법을 사용한다. 반면에, 하나의 카메라를 이용하는 방법[7-9]에서는 파렛트의 구조적인 특징을 활용하는 독창적인 방법을 사용한다. 이 방법에서는, 거리 영상을 이용하는 방법[10-12]과 마찬가지로, 지면의 파렛트 뿐만 아니라 창고선반이나 트럭 위에 있는 파렛트의 자세 및 위치를 측정할 수 있다. 먼저 방법[7,8]에서는 파렛트 앞면 영상부분에서 평행하다고 가정할 수 있는두 직선을 추출하여 가상평면(virtual plane)에 역투영(back projection)하는 방식을 통해 평행 직선의 3차원 방향을 추정하는 방법을 제시하고 있다. 영상에서의 두 직선이 역투영 되어 평행하게 될 때까지, 역투영 가상평면의 방향을 일정 간격으로 바꾸어가며 시도한다. 즉, 최적의 3차원 직선 방향을 결정하기 위해 반복적인(iterative) 계산방법을 사용한다. 따라서 계산시간 및 정확도 측면에서 상대적으로 약점이 있다. 이러한 단점을 보완하기 위하여, 평행하다고 가정할 수 있는 파렛트 앞면의 두 직선에 대한 투영직선으로부터 3차원 방향을 직접 계산할 수 있는 방법[9]이 제시되었다. 이 방법에서는, 먼저 카메라좌표계(camera coordinate system)에서 카메라 투영중심점인 원점과 투영직선으로 구성되는 가상적인 평면을 설정한 후, 두 가상평면의 교차선 방향이 평행한 두 직선의 실제 3차원 방향과 같다고 제시하였다. 이 교차선 방향은 카메라 좌표계의 원점으로부터 두 투영직선의 교차점, 즉 소멸점(vanishing point)으로 향하는 방향이며, 이론적인 결과[14]와 일치함을 보임으로써 검증하였다. 이 방법[9]에서는, 두 평면의 법선벡터(normal vector)에 대한 외적(cross product)를 활용함에 따라, 영상에서의 두 직선이 거의 평행하더라도 교차점, 즉 소멸점을 구하는데 애로사항이 없도록 설계되었다.

그러나 실제 산업용 파렛트 앞면에서 평행한 두 직선 성분을 검출하기 어려운 경우나 또는 정확도가 떨어지는 경우에는 방법[9]를 사용하기가 어렵다. 예를 들어, 방법[9]에서 사용하는 파렛트 앞면 구멍 윗부분에 의한 투영직선을 Fig. 1에서와 같이 음영으로 인해 정확하게 추출하기 어렵거나 또는 추출이 불가능하여 하나의 직선만이 주어지는 경우에는 방법[9]를 사용할 수가 없다.

Fig. 1. Two example images of pallet with only one reliable edge line on its front plane.

본 연구에서는, 파렛트 앞면 영상에서 활용 가능할 정도로 추출된 직선이 하나 밖에 없는 경우에도 그 직선의 3차원 방향 정보를 계산할 수 있는 방법을 제시한다. 이때, 파렛트는 지면에 평행하게 놓여 있다는 가정을 사용한다. 이러한 가정은 대부분의 연구방법에서 적용하고 있는 일반적인 것이다. 한편, 방법[9]에서 제시된 계산 방법을 최대한 활용함으로써, 소멸점이 왼쪽 또는 오른쪽 무한히 먼 위치에 있더라도 3차원 방향을 쉽게 계산할 수 있도록 한다.

본 논문의 구성은 다음과 같다. 2장에서는 먼저 관련 연구의 결과를 살펴보고, 본 연구에서 다루고자 하는 문제를 정의한다. 3장에서는 하나의 지면 평행한 투영직선으로부터 3차원 방향을 추정하는 방법을 제시한다. 4장에서는, 파렛트 측정 실험을 통해 제시한 방법의 정확성 및 효용성을 알아보고, 아울러 다른 응용 가능성에 대해서도 토의한 후, 5장에서 결론을 맺는다.

2. 관련 연구 및 문제 정의

두 개의 평행 직선이 영상에 포함된 경우에 그 직선의 3차원 방향 정보를 추정하는 방법[9]에 대하여 먼저 자세히 알아본 후, 본 연구에서 다루고자 하는 문제를 정의한다.

2.1 관련 연구

실세계에서 평행한 두 직선이 Fig. 2의 l_u’, l_l’ 과 같이 카메라 영상평면에 투영된 경우에, 이들로부터 두 직선의 실제 3차원 방향을 계산하는 방법[9]이 제안되었다. 각 투영직선은 카메라 투영중심인 원점 O 와 함께 가상평면(virtual plane)을 구성하게 되는데, 카메라좌표계에서 두 가상평면의 법선벡터(normal vector)를 각각 n_u, n_l 이라고 했을 때, 외적(cross product) n_l × n_u 는 두 투영직선의 교차점 v 를 향하 게 된다는 것을 보이고 검증하였다. 그런데 본래 두 직선은 평행한 것이므로, 교차점 v 는 이들의 소멸점(vanishing point)이 된다.

따라서, 식 (1)-(4)를 이용하여 평행한 두 직선의 방향 d 를 구한다. 식 (1)에서 x_i (i = ul, ur, ll, lr)는 투영직선들이 화면평면(image plane)의 모서리와 만나는 점들이며, 화면좌표계(image coordinate system)에서 표준 동차좌표(homogeneous coordinate)로 표현된다. 동차좌표는 2차원 좌표 (x,y)를 3차원 좌표 (kx,ky,k) 형태로 표현하는 것으로서, k가 0이 아닌 경우에는 k로 나누어서 본래 좌표 (x,y)를 쉽게 얻을 수 있다. 특히 k가 1일 때 표준 동차좌표라고 한다. 동차좌표 (x,y,0) 형태는 2차원 공간에서의 (x,y)-방향(direction)을 나타내거나 이 방향의 무한대 점을 나타내기도 한다. 행렬 K는 카메라검정행렬 (camera calibration matrix)[14]이며, 역행렬이 존재한다. 식 (1)에서 X_i 는 x_i 에 대한 카메라좌표이다. 따라서 식 (1)은 화면평면 위에 있는 어떤 표준 동차좌표 형태의 점에 대한 카메라좌표를 구하는 수식이다. 식 (2),(3)은 카메라좌표계에서 두 가상평면의 법선벡터를 구하는 것이며, 식 (4)는 외적을 통해 두 평행직선의 방향 d 를 구하는 것이다. 소멸점 v 는 두 투영직선이 거의 평행한 경우에는 무한히 먼 곳에 위치하게 되지만, 계산과정 (1)-(4)에서는 소멸점 v를 직접적으로 구하지 않으므로 아무런 문제없이 d를 구할 수 있다.

\(\mathrm{X}_{i}=f \mathrm{~K}^{-1} \mathrm{x}_{i} \quad(i=u l, u r, 11, \operatorname{lr})\)       (1)

\(\mathrm{n}_{u}=\mathrm{X}_{u r} \times \mathrm{X}_{u l}\)       (2)

\(\mathbf{n}_{I}=\mathbf{X}_{l r} \times \mathbf{X}_{l l}\)       (3)

\(\mathrm{d}=\mathrm{n}_{1} \times \mathrm{n}_{u} \quad \text { or } \quad \mathrm{n}_{u} \times \mathrm{n}_{l}\)       (4)

2.2 본 연구의 주제 및 문제 정의

일반적으로 카메라 비전을 이용하는 응용에서는, 인식 및 측정 시스템이 주변조명의 변화에 민감하게 반응하므로 잘 보정하는 방안이 강구되어야 한다. 한편, 실제 산업현장에서는 보정만으로는 해결할 수 없는 상황도 발생하게 된다. 예를 들어, 파렛트 앞면에서 투영직선이 하나 밖에 구해지지 않는 경우도 발생한다. 또는 두 개 투영직선이 구해지지만, 한 투영직선이 부정확하게 추출되는 경우도 발생한다. 이러한 상황에서는 방법[9]에서 제시된 수식 (4)를 적용할 수 없거나 적용하더라도 매우 부정확한 결과를 초래하게 된다.

본 연구에서는, 파렛트 앞면에서 어느 정도 정확한 투영직선 하나만 추출되더라도 직선의 3차원 방향 즉, 파렛트의 자세를 결정할 수 있는 방법을 제시하고자 한다. 하나의 투영직선 정보를 사용할 수 없게 됨에 따라 새로운 정보가 추가적으로 필요하게 되는데, 본 연구에서는 파렛트가 지면과 평행하게 놓여 있다는 가정을 사용한다. 이러한 가정은 합리적이며, 대부분의 연구결과에서 활용하고 있다.

3. 지면 평행 직선의 방향 추정 방법

일반적으로 카메라를 이용한 측정 시스템에서는 사전에 카메라검정[15,16]을 통해 카메라 내부 및 외부 변수를 구하는 한편 왜곡현상도 보정하게 된다. 이러한 과정에서 투영화면에서 지면(검정과정에서의 바닥면)의 지평선(vanishing line, line at infinity)도 함께 결정할 수 있다. 이 지평선은 지면과 평행한 모든 평면들의 지평선이기도 하다. 이러한 지평선은 움직이는 카메라의 자세 및 위치를 결정하는데 매우 유용한 정보를 제공해 주기도 한다[17].

본 연구의 주제는, 지면과 평행한 직선에 대한 투영직선이 하나 주어질 때, 이 직선의 3차원 방향 정보를 결정할 수 있는가 여부이다. 먼저 지평선과 지면 평행 직선 간의 관계를 살펴본다. 지평선이 붉은 선으로 표시된 Fig. 3에서, 파란 실선으로 표시된 실세계의 평행 직선들 소멸점이 지평선 위에 놓인 것을 볼 수 있다. 어떤 직선의 소멸점이 구해진다는 것은,Fig. 2에서 소멸점 v 가 결정된다는 것이므로, 이 직선의 3차원 방향 d 를 결정할 수 있다[9]는 것이 된다. 3차원 방향 d 와 소멸점 v 간의 관계식은 v = Kd 이다[14]. 즉, 어떤 직선의 3차원 방향은 그 직선의 소멸점만 주어지면 구할 수 있다는 것이다. Fig. 3에서 두 개의 파란 실선은 같은 소멸점을 가지므로, 같은 방향을 갖는다는 것을 알 수 있다. 그런데 그 소멸점이 지평선 위에 있으므로, 파란 실선의 직선들은 지면과 평행하다고 결정할 수 있다. 왜냐하면 지평선은 지면에 접하거나 또는 지면 위 평행 직선들의 소멸점으로 구성되는 것이기 때문이다. 한편, Fig. 3의 파란 점선은 지면 위 직선을 나타낸 것이므로, 소멸점은 지평선 위에 있어야 한다. 그런데 파란 실선의 소멸점과 다른 위치에 있으므로, 파란 점선과 파란 실선의 방향은 약간 다르다는 것을 알 수 있다.

Fig. 2. Estimation of three-dimensional line direction from two imaged parallel lines, l_u’and l_l’. proposed in the method[9]. A vector n_l in camera coordinate system is a normal vector of the lower virtual plane including the camera origin O and the imaged line l_l’. The point v is the intersection of the two imaged lines and thus represents their vanishing point. Cross product of two normal vectors, n_l × n_u, heads to the vanishing point v.

Fig. 3. Usefulness of (red) line at infinity for ground. Vanishing points of all the (blue) lines parallel to the ground lie on the line at infinity. 3D direction of each line can be easily determined from its vanishing point.

여기에서, 지면과 평행한 어떤 직선의 3차원 방향은 그 직선의 투영직선과 지평선과의 교차점을 구하면 된다는 아이디어를 얻을 수 있다. 즉, 이 교차점이 투영직선의 소멸점 v 가 되며, d = K^-1v 에 의해 3차원 방향을 결정할 수 있다. 그러나 투영직선이 지평선과 방향이 유사하게 되면 교차점이 좌우로 매우 먼 곳에 위치하게 되어 계산을 통해 구하는데 다소 어려움이 있다. 예를 들어, Fig. 3에서 보도블록이 놓인 방향은 교차점이 쉽게 결정되므로 용이하게 구할 수 있다. 그러나 자전거 바로 위 파란 실선의 방향은 지평선과 방향이 유사하여 교차점을 정확하게 결정하기 어렵다. 이에 따라, 교차점 방향을 계산적으로 쉽게 결정할 수 있는 방법론이 필요하게 된다.

연구결과 [9]에서 제시하는 계산방법은, 실세계의 두 평행 직선에 대한 투영직선으로부터 소멸점을 직접 구하지 않고, 두 가상평면의 법선벡터를 통해 3차원 방향을 결정한다. 따라서 소멸점이 좌우 무한히 먼 곳에 있어도 문제가 되지 않는다. 여기에서, 수식 (1)-(4)로 주어지는 계산방법[9]를 실제 직선에 관한 정보를 무시하고 오로지 투영직선과 연계시켜 살펴보면, 투영평면에 있는 두 투영직선의 교차점으로 향하는 카메라좌표계에서의 3차원 방향을 구하는 것으로 해석할 수 있다. 따라서 계산방법[9]를 약간 수정하여 지평선과 한 투영직선의 교차점 방향을 쉽게 결정할 수 있다. 

본 논문에서 제시하는 계산방법은 식 (5)-(7)을 순차적으로 적용하면 되는데, Fig. 4를 이용하여 그 과정을 설명한다. Fig. 4에서 lg 는 사전에 구해지는 지평선이며, ng 는 지평선과 카메라 투영중심 O 로 구성되는 가상평면의 법선벡터로서 사전에 구해지는 것이다. 먼저 어떤 (녹색) 투영직선 선분 l1 이 주어지면, 이것의 오른쪽 및 왼쪽의 끝점 x_r, x_l 에 대한 카메라좌표 X_r, X_l 을 식 (5)를 이용하여 구한 후, 식 (6)을 통해 l₁ 에 의한 가상평면의 법선벡터 n₁ 을 결정하면 된다. 이어서, 식 (7)을 통해 교차점 v₁ 으로 향하는 벡터 d 를 결정하면 된다. 식 (7)에서, 벡터 d 의 방향이 카메라 전방을 향하도록, 즉 투영화면 쪽을 향하도록 두 수식 중에서 하나를 선택하면 된다. 또는 수식 하나를 임의로 선택하여 벡터 d 를 구한 후, 벡터 d 의 세 번째 좌표값이 양수가 되도록 보정해 주어도 된다. 이러한 계산방법은, Fig. 4에서 (파란색) 투영직선 선분 l₂ 와 같이, 투영화면 내에서 교차점(v₂)이 발생하는 경우에도 전혀 문제없이 사용할 수 있다.

Fig. 4. Computing intersection of the previously determined (red) vanishing line for the ground and a given imaged line. The direction to the intersection point can be determined through cross product of the normal vector for the vanishing line and one for the imaged line.

\(\mathrm{X}_{i}=f \mathrm{~K}^{-1} \mathrm{x}_{i} \quad(i=r, 1)\)       (5)

\(\mathrm{n}=\mathrm{X}_{r} \times \mathrm{X}_{I}\)       (6)

\(\mathrm{d}=\mathrm{n} \times \mathrm{n}_{g} \text { or } \mathrm{n}_{g} \times \mathrm{n}\)       (7)

4. 제시 방법의 파렛트 측정 실험 및 응용 검토

여기에서는, 먼저 본 연구에서 제시된 방법을 파렛트 측정에 적용하여 이전의 결과와 비교함으로써 타당성과 정확성에 대하여 알아보고, 이어서 다른 응용 및 한계에 대하여 검토한다.

4.1 제시 방법의 파렛트 측정 적용 실험결과 및 고찰

파렛트를 측정하는 방법[8]에서는, 먼저 파렛트 자세를 결정한 후 이어서 파렛트 위치를 측정하는 단계적인 접근방법을 사용한다. 본 연구에서 제시한 방법은 파렛트 자세를 결정하는 부분만을 대체하여 적용한다. Fig. 5는 두 평행 직선을 이용하여 우리나라 표준 파렛트[18]에 대한 자세 및 위치를 측정하는 방법[9]의 실험 환경을 나타낸 것이다. 흰 탁자 위에 기준 좌표계(x : 탁자 오른쪽 방향, y : 탁자 멀어지는 방향, z : 탁자 위쪽 방향)를 설정하여 카메라검정[16] 과정을 수행하였으며, 모든 측정값은 기준 좌표계의 좌표값으로 나타내었다. 실험에서 파렛트는 카메라로부터 대략 0.9–1.8 m 거리에 위치시켜, 자세는 정면 기준으로 –14.2°∼ +7.6°사이로 하여 실험하였다.

Fig. 5. An experimental image of pallet in the measurement method[9]. The same pallet images are used in our experiment. Our method requires only the bottom edge line on each pallet front plane, while the method[9] requires the upper edge line of two fork holes as well as the bottom one.

파렛트 자세 및 위치 실험결과는 방법[9] 및 제시 방법에 의해 구해지는 측정값과 수작업에 의한 계측값의 절대오차를 Table 1에 나타내었다. 방법[9]에서는 파렛트 앞면에서 추출된 밑변 직선과 포크구멍 윗변 연결 직선을 사용하는데 비해, 본 연구에서 제시한 방법에서는 밑변 직선만을 사용하여 파렛트 자세를 측정하였다. 파렛트 위치는 방법[8]에서 사용하는 기법으로 파렛트 앞면의 중앙 위치를 측정하도록 하였다.

Table 1. Mean of absolute errors in pallet measurement experiments by the method[9] and the proposed method

(unit: mm for ∆x, ∆y, ∆z, and degree for ∆ϴ )

먼저 본 논문에서 제시한 방법과 직접적으로 연관이 있는 파렛트 자세에 대한 실험결과를 살펴보면, 제시 방법에 의한 절대오차 평균 0.20°은 방법[9]에 의한 1.16°보다 상대적으로 매우 작게 나타났다. 제시한 방법이 올바르게 동작할 뿐만 아니라 오히려 보다 더 정확하다는 것을 알 수 있다. 이것은, 파렛트 포크구멍의 둥그런 모서리로 인해, 조명방향에 따라 포크구멍 윗변 연결 직선이 상대적으로 부정확하게 추출되기 때문이다.

한편, 두 방법에 의해 측정된 파렛트 위치의 평균 절대오차 |∆x|, |∆y|, |∆z| 는 거의 유사하게 나타났는데, 이것은 방법[8]에서 사용하는 위치 측정방법이 파렛트 자세의 정확도에 별로 크게 영향을 받지 않을 정도로 상대적인 오차가 많이 발생한다는 것을 의미한다.

제시 방법에 의한 자세 측정결과에 대하여, 파렛트 거리 변화에 따른 평균 절대오차를 거리 0.9–1.3 m와 1.5–1.8 m 로 구분하여 구해보면, 각각 0.02°, 0.39°로 나타났다. 파렛트 거리가 멀어질수록 자세오차가 커지는 것을 알 수 있다. 이러한 현상은 방법[9]에 의한 측정결과에서도 각각 0.76°, 1.55°가 되어 약 2배로 오차가 크게 나타나는 것을 확인할 수 있었다.

제시 방법에 의한 파렛트 위치 절대오차 |∆x|, |∆z| 의 최대값은 각각 12.19 mm, 10.23 mm 로 나타났는데, 파렛트 포크구멍의 가로세로 크기 260 mm x 95 mm를 감안하면, 이 정도의 오차로는 현장에서 포크로 파렛트를 다루는데 전혀 문제가 없다는 것을 나타낸다. 한편, 파렛트 자세에 대한 절대오차 |∆ϴ|의 최대값은 0.72°로 나타났는데, 지게차(forklift)로 파렛트를 자동 적재 및 적하 하는데 전혀 문제가 되지 않음을 알 수 있다. 제시 방법을 Intel Core i3-2100 CPU 3.1GHz 시스템에서 파렛트 검출 및 인식, 자세 측정, 위치 측정, 기타 부수적 연산에 소요된 시간은 각각 16.74, 3.16, 0.06, 0.67 msec 로서, 총 연산시간은 24.63 msec 이다. 대략 초당 40회 정도 측정이 가능하므로, 현장에서 파렛트 인식 및 측정하는데 사용하기에 무리가 없다.

4.2 제시 방법의 응용 및 한계

본 논문에서 제시한 지면 평행 직선의 3차원 방향을 계산하는 방법은 어떤 시설물이나 물건의 구조를 분석하는데 활용할 수 있다. 추출된 각 직선에 대한 3차원 방향 정보를 얻을 수 있으므로, 두 지면 평행 직선의 평행 여부, 지면 평행 직선을 포함하고 있는두 건물 또는 물건 평면의 직각 여부 등을 판정할 수 있다. 한편, 지면 위를 움직이는 카메라 장착 차량의 정면 방향 직선의 소멸점을 통해 차량의 진행 방향을 바로 측정할 수 있으며, 주변 시설이나 안내 표시로부터 구할 수 있는 지면 평행 직선과 평행하게 차량을 이동시킬 수도 있다. 예를 들어, 차량 전진 방향의 소멸점 위치가 Fig. 3에서의 자전거 위 노란 점으로 나타난다면, 조만간 차량은 집과 충돌하게 된다는 것을 알 수 있다. 차량 전진방향을 왼쪽으로 바꾸어 노란 소멸점이 파란 소멸점 위치에 나타나도록 하면, 차량은 집과 나란히 평행하게 움직이게 될 것이다. 언덕을 올라가는 차량에 대해서도 적용이 가능할 것이다. 즉, 언덕 평면에 평행한 어떤 직선을 결정할 수 있다면, 이 직선과 평행하게 차량을 이동시킬 수 있을 것이다.

반면에, 어떤 직선이 지면 또는 바닥면과 평행하다는 것을 알 수 없다거나 가정하지 못한다면 제시한 방법을 활용할 수가 없다. 어떤 직선의 지면 평행 여부를 판단하는 방법을 개발하여 먼저 적용해야만 한다. 카메라가 직선뿐만 아니라 회전 운동도 한다면, 연이어 나타나는 두 영상에서의 소멸점 정보를 통해 어떤 직선의 지면 평행 여부를 알 수 있을 것으로 기대한다.

5. 결론

본 논문에서는, 지면에 평행한 직선이 영상에서 하나 주어지면, 사전에 구한 지평선 정보를 활용하여 이 직선의 3차원 방향을 직접 계산하는 방법을 제시하였다. 이 방법은 영상에 나타난 투영직선이 지평선과 평행하더라도 적용할 수 있었다. 파렛트 자세 및 위치 측정 실험에 제시 방법을 적용한 실험결과 분석을 통해, 제시 방법의 정확성과 현장 응용 가능성을 확인할 수 있었다. 한편, 제시 방법은 지면과 평행한 직선이 주어지거나 가정할 수 있을 때만 적용이 가능하다는 한계가 있다. 향후에, 어떤 투영직선이 지면과 평행한가 여부를 판단하는 방법을 개발하여 제시한 방법의 선행 연산으로 활용할 것이다.