DOI QR코드

DOI QR Code

Plane Detection Method Using 3-D Characteristics at Depth Pixel Unit

깊이 화소 단위의 3차원 특성을 통한 평면 검출 방법

  • Lee, Dong-Seok (Dept. of Computer Software Engineering, Dongeui University) ;
  • Kwon, Soon-Kak (Dept. of Computer Software Engineering, Dongeui University)
  • Received : 2019.03.08
  • Accepted : 2019.05.09
  • Published : 2019.05.31

Abstract

In this paper, a plane detection method using depth information is proposed. 3-D characteristics of a pixel are defined as a direction and length of a normal vector whose is calculated from a plane consisting of a local region centered on the pixel. Image coordinates of each pixel are transformed to 3-D coordinates in order to obtain the local planes. Regions of each plane are detected by calculating similarity of the 3-D characteristics. The similarity of the characteristics consists of direction and distance similarities of normal vectors. If the similarity of the characteristics between two adjacent pixels is enough high, the two pixels are regarded as consisting of same plane. Simulation results show that the proposed method using the depth picture is more accurate for detecting plane areas than the conventional method.

Keywords

1. 서론

카메라를 통해 촬영하는 영상 내 평면검출은 물체나 배경 등의 형태적인 정보를 구함에 있어 가장 효과적인 방법 중 하나이다. 이러한 평면 검출 방법은 주로 주변 환경과의 거리를 측정하는 Lidar 센서나ToF(Time of Flight) 센서를 장착한 로봇에서 주변 환경을 인식하기 위해 적용된다. 평면 검출 연구는 Lidar 센서나 ToF(TimeofFlight) 센서를 통해 구해진 3차원 점군(PointCloud)을 이용하여 평면을 구하는 방법이 제일 많이 연구되었다.D.Holz[1]는 점군에서 한 점의 주변 점들을 이용하여 법선 벡터를 구한 후, 이를 분류하여 평면을 분할하는 방법을 제안했다. T. Wu[2]는 점군을 그리드 정보로 변환한 뒤,그리드의 방향들을 분석하여 평면을 분할하는 방법을 제안했다. 또한 점군을 이용하여 NDT(Normal Distribution Transformation) 셀을 구하여 이용하는 방법[3], 가중치가 부여된 RANSAC를 적용하여 점군을 분할하여 평면을 분할하는 방법[4], 점군에MRF(Markov Random Field)[5]를 부여 한 후 BBP(Bayesian Belief Propagation) 최적화를 사용하여 평면 분할을 하는 방법[6]과 점군을 그룹화하여 그래프를 구성한 다음 응집형 계층적 군집화를 통해 평면을 분할하는 방법[7] 등이 연구되었다. 이러한 3차원 점군을 이용하는 방법은 다양한 센서가 장착된 로봇을 통한 SLAM(Simultaneous Localization And Mapping) 등의 영역에서는 유용하게 쓰일 수 있지만, 통상의 2차원 영상에서의 평면 분할에 대해서는 다른 방법이 필요하다.

2차원 영상에서의 평면 검출을 하기 위해서는 스테레오 카메라를 이용한 방법을 적용할 수 있다. 이는 스트레오 카메라를 이용하여 촬영된 한 쌍의 영상으로부터 기하학적 관계인 호모그래피 관계를 기반으로 하여 평면을 분할하는 방법이다. RANSAC을 이용하여 호모그래피를 계산하고, 계산된 호모그래피로부터 특징점을 분류하여 NormalizedCut[8]을 이용하여 평면을 분할하는 방법[9], 대응점을 삼각화하여 각 삼각형에 대한 법선을 계산하여 분류하는 방법[10]등이 연구되었다. 하지만 스트레오 카메라를 이용한 방법은 두 카메라의 위치적 관계와 카메라 내부/외부 인자 등 고려해야 할 것이 많다는 것이단점이다. 이러한 단점을 보완하고자 깊이 카메라를 통해 거리로 이루어진 깊이 정보를 측정한 후, 이를 이용하여 영상에서의 평면 영역을 구하는 방법이 연구되었다. 색상 영상을 통해 먼저 영역을 분할한 후,분할된 영역에서의 깊이 정보를 3차원 점군으로 변환하여 분할된 영역을 보정하는 방법[11]과 3차원 데카르트 좌표계로 표현되는 스켈레톤 좌표에 대해 3

차원 랜덤 허프 변환를 적용하여 제일 많이 선택된 영역을 영역의 대표적인 평면으로 검출하는 방법[12] 등이 쓰인다. 이러한 깊이 정보를 통한 평면 검출은 SLAM[13,14]뿐만 아니라 평면을 기반으로 하는 깊이 영상 부호화[15,16]에도 적용할 수 있다.

본 논문에서는 깊이 정보를 이용하여 국소 평면을 검출하고, 국소 평면들의 법선 벡터를 이용하여 평면영역들을 검출하는 방법을 제안한다. 영상 내 화소들의 좌표는 깊이 정보를 통해 3차원 카메라 좌표로 변환할 수 있다. 이를 이용하여 영상 내 작은 크기의 영역 내 화소들로 이루어진 평면을 영역의 중심에 있는 화소의 국소 평면으로 정의한 후, 각 화소가 가지는 국소 평면의 법선 벡터를 계산한다. 그 후 인접한 화소끼리의 국소 평면의 유사도를 벡터 방향의 유사도와 원점으로부터 평면까지의 거리의 유사성을 통해 계산하고, 국소 평면의 유사도를 바탕으로 각 평면을 검출한다.

2. 깊이 정보를 이용한 깊이 화소 단위의 3차원특성 검출

본 논문에서는 깊이 화소 단위의 3차원 특성을 화소단위의 국소 평면이 가지는 법선 벡터의 방향과, 국소 평면과 카메라간의 거리를 이용하여 구한다. 3차원 특성을 구하기 위해서 먼저 깊이 정보를 이용하여 영상 좌표와 3차원 공간 좌표간 변환을 수행하는 과정이 필요하다. 카메라는 3차원 공간상에 놓여있는 물체의 한 점 좌표를 2차원 평면상의 한 점 좌표로 투영시키는 좌표 변환장치로 볼 수 있다. 카메라와 공간 물체의 좌표관계를 규명하기 위해 핀 홀 카메라 모델을 적용할 수 있다. 공간상에 놓여있는 물체 위의 어떤 점 좌표가 영상 면에 투영될 때 구멍을 통해 영상 면에 맺힌다고 가정한다. 이 때 영상은 바늘 구명 뒤에 투영되는데, 이를 바늘구멍과 물체 사이로 옮기면 물체의 상은 뒤집혀 지지 않고 원래 상과 같은 방향으로 보인다.3차원 공간에서 카메라의 위치를 원점으로 하고, 카메라 촬영 축을 Z축으로 하는좌표계를 카메라 좌표계로 정의했을 때, 카메라 좌표계의 한 점 \(\left(x_{c}, y_{c}, z_{c}\right)\)는 Fig.1과 같이 영상 면 위의한 점 (x,y)로 투영된다. 핀 홀 카메라 모델에서는 영상이 투영되는 가상의 면의 z축의 좌표를 초점거리 f로 정의한다. 원래 3차원 공간의 점 \(\left(x_{c}, y_{c}, z_{c}\right)\)과 투영된 점 (x,y)간의 관계는 Fig.1에서 볼 수 있는 x, y, f과 xc,yc, zc의 비례관계를 통해 식 (1)과 같이 구할 수 있다.

\(\begin{aligned} &f: x=z_{c}: x_{c} \rightarrow x=f \frac{x_{c}}{z_{c}}\\ &f: y=z_{c}: y_{c} \rightarrow y=f \frac{y_{c}}{z_{c}} \end{aligned}\)       (1)

영상 좌표계의 점 (x,y)의 깊이 값 d는 해당 점으로 투영되는 3차원 공간의 점의 Z축 좌표인 zc로 측정된다. 따라서 식 (1)을 이용하여 영상 좌표계와 카메라 좌표계의 좌표간의 관계를 식 (2)와 같이 나타낼 수 있다.

\(\begin{aligned} &x_{c}=d x / f\\ &y_{c}=d y / f\\ &z_{c}=d \end{aligned}\)       (2)

Fig. 1. Conception of pinhole camera. 

MTMDCW_2019_v22n5_580_f0002.png 이미지

Fig. 2. Pixels constituting the local plane. (a) in pictureand (b) in 3-D space.

3차원 카메라 좌표계상의 한 점이 영상 좌표계의 화소 \(P \equiv(x, y)\)로 투영됐을 때, 카메라 좌표계상의 좌표를 \(P_{c}(x, y) \equiv\left(x_{c(x, y)}, y_{c(x, y)}, z_{c(x, y)}\right)\)로 정의한다. 만약Pc(x,y)가 어느 평면의 한 점일 때, 영상 내 P와 근접한 화소로 투영된 카메라 좌표계 상의 점도 해당 평면에 속해있다고 생각할 수 있다.P와 인접한 화소들이 이루는 화소들이 이루는 평면을 P의 국소평면으로 정의한다.Fig.2는 P의 국소평면을 이루는 화소들과 이들 화소로 투영되는 카메라 좌표계에서의 점들이 한 평면을 이루는 모습을 보인다.

국소 평면의 법선 벡터는 국소평면에 포함된 점들로 구성되는 벡터를 이용하여 계산할 수 있다. 한 평면의 법선 벡터는 국소 평면의 모든 점과 수직을 이루는 벡터로 정의되어진다. 평행하지 않은 두 벡터의 벡터곱으로 구해지는 벡터의 방향은 두 벡터와 서로 수직하는 성질이 있다. 두 벡터를 통해 하나의 평면을 결정할 수 있기 때문에 두 벡터의 벡터곱으로 계산되는 벡터의 방향은 해당 평면의 법선 벡터의 방향과 동일하다. P가 속한 국소 평면의 법선 벡터 n(x,y)를 구하기 위해서 P와 인접한 화소들을 지나가는 두 벡터를 구하여 벡터 곱을 계산한다.P의 수직 방향으로 인접한 화소들의 카메라 좌표계에서의 점 Pc(x-k,y), Pc(x+k,y)를 지나는 벡터와, 수평 방향으로 인접한 화소들의 카메라 좌표계에서의 점 Pc(x,y-k), Pc(x,y-k)를 지나는 벡터인 vv(x,y), vh(x,y)는 P의 국소 평면상의 두 벡터이므로, 식 (3)과 같이 계산되는 두 벡터의 벡터곱을 통해 P가 속한 국소평면의 법선 벡터 n(x,y)을 계산할 수 있다.

\(\begin{aligned} \mathbf{n}(x, y) &=\mathbf{v}_{v} \times \mathbf{v}_{h} \\ \mathbf{v}_{v} &=P_{c}(x, y-k)-P_{c}(x, y+k) \\ \mathbf{v}_{h} &=P_{c}(x-k, y)-P_{c}(x+k, y) \end{aligned}\)       (3)

MTMDCW_2019_v22n5_580_f0003.png 이미지

Fig. 3. Normal vector of local plane.

P의 국소 평면과 카메라간의 거리는 국소 평면의 법선 벡터와 P의 3차원 카메라 좌표계에서의 좌표를 이용하여 계산할 수 있다.P의 카메라 좌표상의 한점 Pc(x,y)를 지나고 법선 벡터가 n(x,y)≡(an, bn, cn)를 가지는 평면의 식은 식 (4)와 같다.

  \(a_{n}\left(x_{c}-x_{c(x, y)}\right)+b_{n}\left(y_{c}-y_{c(x, y)}\right)+c_{n}\left(z_{c}-z_{c(x, y)}\right)=0\)     (4)

카메라 좌표계에서의 카메라의 위치인 원점과 평면 사이의 거리는 평면과 수직한 방향을 가지는 직선의 원점으로부터 평면과의 교점까지의 거리로 정의된다. 이 때 이 직선을 벡터로 본다면, 해당 벡터는 법선 벡터와 방향이 같으므로 해당 벡터 위의 한 점은 (tan,tbn,tcn)가 되어야 한다. 이 점은 식 (4)로 표현되는 평면위의 한 점이므로, t는 식 (5)를 만족하여야 한다.

\(a_{n}\left(t a_{n}-x_{c(x, y)}\right)+b_{n}\left(t b_{n}-y_{c(x, y)}\right)+c_{n}\left(t c_{n}-z_{c(x, y)}\right)=0\)       (5)

식 (5)를 t에 대해 정리하면 식 (6)이 된다.

\(t=\frac{a_{n} x_{c(x, y)}+b_{n} y_{c(x, y)}+c_{n} z_{c(x, y)}}{a_{n}^{2}+b_{n}^{2}+c_{n}^{2}}\)       (6)

국소 평면의 원점으로부터 점 P가 가지는 국소평면까지의 거리 lP는 원점으로부터 (tan, tbn, tcn)까지의 거리이므로 식 (7)과 같이 유도할 수 있다.

\(\begin{aligned} l_{P} &=\sqrt{t^{2} a_{n}^{2}+t^{2} b_{n}^{2}+t^{2} c_{n}^{2}} \\ &=\frac{\left|a_{n} x_{c(x, y)}+b_{n} y_{c(x, y)}+c_{n} z_{c(x, y)}\right|}{\sqrt{a_{n}^{2}+b_{n}^{2}+c_{n}^{2}}} \end{aligned}\)       (7)

3. 깊이 정보를 이용한 국소 평면의 특징 검출을 통한 평면 영역 검출 방법

영상 내 각 화소의 국소 평면의 법선 벡터를 구한 후, 인접한 화소가 유사한 법선벡터를 가질 경우, 이를 그룹화하여 평면 영역을 검출하는 방법을 제안한다. 먼저 각 화소에 대해 3차원 공간의 카메라 좌표계의 좌표로 변환한다. 그 후 각 화소별로 국소 평면에 대한 법선 벡터를 구함으로써 화소단위로 3차원 특성을 검출한다. 그리고 인접한 화소에서 국소 평면의 유사도가 높을 경우, 해당 화소들을 그룹화함으로써 각 평면 영역들을 검출한다. 이러한 과정의 흐름도는 Fig. 4와 같다.

MTMDCW_2019_v22n5_580_f0004.png 이미지

Fig. 4. Flowchart of proposed plane detection methodsusing depth picture.

MTMDCW_2019_v22n5_580_f0005.png 이미지

Fig. 5. Depth pictures for simulations. (a) desk, (b) kitchen, (c) meeting room, (d) table, and (e) round table

각 화소에서 해당 화소를 중심으로 하는 사각형 영역 N×N(N=3,5,7,...)내의 화소가 이루는 평면을 해당 평면의 국부 평면으로 정의한다. 그 후 국부 영역 내 각 좌표를 식 (1)을 통해 카메라 좌표계의 좌표로 변환한 후, 식 (3)을 통해 국부 평면의 법선 벡터를 구함으로써 3차원 특성을 구할 수도 있다. 하지만 깊이 카메라를 통해 측정한 깊이 값은 잡음이 많기 때문에 두 벡터만을 통해 구해진 3차원 특성들은 오차가 크다. 이러한 오차들을 최소화하기 위해서는 영역 내 최대한 많은 화소들을 이용하여 3차원 특성을 구한다. 이를 위해 Fig.5과 같이 N×N영역 내의 모든 수직 성분과 수평 성분의 벡터 \(\mathbf{v}_{v} , \mathbf{v}_{h i}(1 \leq i \leq N)\)를 식 (8)과 같이 구한다.

 \(\begin{array}{c} \mathbf{v}_{v i}=P_{c}(x+l, y-N)-P_{c}(x+l, y+N) \\ \mathbf{v}_{h i}=P_{c}(x-N, y+l)-P_{c}(x+N, y+l) \\ l=i-\lceil N / 2\rceil(i=1,2, \dots, N) \end{array}\)      (8)

그 후 식 (9)와 같이 수직 성분과 수평 성분의 벡터들을 아래 식과 같이 각각 더한다. 식 (9)에서 계산된\(\overline{\mathbf{V}_{v}}\) 와 \(\overline{\mathbf{V}_{u}}\) 의 방향은 영역 내 \(\mathbf{V}_{vi}\), \(\mathbf{V}_{hi}\)벡터들의 방향에 대한 평균이다. 이러한 과정을 통해 깊이 영상의 잡음으로 인한 각 벡터 방향의 오차를 완화할 수 있다.

\(\begin{aligned} &\overline{\mathbf{v}}_{v}=\sum_{i=1}^{N} \mathbf{v}_{v i}\\ &\overline{\mathbf{v}_{u}}=\sum_{i=1}^{N} \mathbf{v}_{u i} \end{aligned}\)       (9)

그 후 \(\overline{\mathbf{V}_{v}}\)\(\overline{\mathbf{V}_{u}}\)를 식 (3)에 대입한 식 (10)을 적용하여 (x,y)의 국소 평면의 법선 벡터 \(\overline{\mathrm{n}}(x, y)\)를 구한다.

\(\overline{\mathbf{n}}(x, y)=\overline{\mathbf{v}_{\mathrm{v}}} \times \overline{\mathbf{v}_{\mathrm{h}}}\)       (10)

식 (10)을 통해 구해진 (x,y)에 위치한 화소의 국소평면의 법선 벡터를 통해 법선 벡터의 방향, 국소평면과 카메라간의 거리로 이루어진 해당 화소에서의 3차원 특성을 구할 수 있다. 그 후 인접한 화소에서의 3차원 특성을 비교함으로써 두 화소의 특성 유사도를 측정할 수 있다. 만약 두 화소의 특성 유사도

가 높다고 판단되면 두 화소를 그룹화한다. 이러한 과정을 모든 화소에 대해 수행함으로써 깊이 영상 내의 각 평면의 영역을 검출할 수 있다.

두 인접한 화소 \(P_{1} \equiv\left(X_{1}, J_{1}\right)\), \(P_{2} \equiv\left(X_{2}, J_{2}\right)\)의 3차원 특성의 유사도는 법선 벡터 방향의 유사도와 카메라로부터 각 국소 평면간의 거리 유사도를 통해 구한다. 법선 벡터 방향의 유사도는 식 (11)을 통해 구해진 두 법선 벡터 \(\overline{\mathbf{n}_{1}} \equiv\left(a_{1}, b_{1}, c_{1}\right)\)\(\overline{\mathbf{n}_{2}} \equiv\left(a_{2}, b_{2}, c_{2}\right)\)의 사이각 \(\theta\)의 코사인 값으로 정의한다. 또한 거리 유사도는 식 (12)를 통해 계산되는 두 국소평면의 각각의 원점과의 거리의 차이로 정의한다.

\(\begin{aligned} \cos \theta &=\overline{\mathbf{n}_{1}} \cdot \overline{\mathbf{n}_{2}} /\|\overline{\mathbf{n}_{1}}\|\|\overline{\mathbf{n}_{2}}\| \\ &=a_{1} a_{2}+b_{1} b_{2}+c_{1} c_{2} /(\sqrt{\left(a_{1}^{2}+b_{1}^{2}+c_{1}^{2}\right)}+\sqrt{\left(a_{2}^{2}+b_{2}^{2}+c_{2}^{2}\right)}) \end{aligned}\)       (11)

\(\begin{array}{l} l=\left|\begin{array}{l} l_{P_{1}}-l_{P_{2}} | \\ \frac{\left|a_{1} x_{1}+b_{1} y_{1}+c_{1} z_{1}\right|}{\sqrt{a_{1}^{2}+b_{1}^{2}+c_{1}^{2}}}-\frac{\left|a_{2} x_{2}+b_{2} y_{2}+c_{2} z_{2}\right|}{\sqrt{a_{2}^{2}+b_{2}^{2}+c_{2}^{2}}} \end{array}\right| \end{array}\)       (12)

식 (11)-(12)를 통해 얻어진 두 화소간의 3차원 특성의 유사도가 식 (13)을 만족한다면 유사도가 충분히 높다고 판단하여 두 화소를 그룹화한다. 식 (13)에서 \(T_{\theta}\)\(T_{l}\)은 국소 평면의 두 특징에 대한 문턱값이다.

\(\begin{array}{r} \cos \theta>T_{\theta} \\ l<T_{l} \end{array}\)       (13)

MTMDCW_2019_v22n5_580_f0006.png 이미지

Fig. 6. Plane detection results of proposed method. (a) desk, (b) kitchen, (c) meeting room, (d) table, and (e) round table.

MTMDCW_2019_v22n5_580_f0007.png 이미지

Fig. 7. Plane detection results of conventional method by using 3D point clouds. (a) desk, (b) kitchen, (c) meetingroom, (d) table, and (e) round table.

4. 실험결과

본 논문에서 제안한 평면 영역 검출 방법을 모의실험하기 위해 Fig.5와 같은 실험 영상[17]을 사용하였다. 이 때 영상을 촬영한 깊이 카메라는 Kinect이다. Kinect로 촬영한 영상의 해상도는 640×480이고, Kinect의 초점 거리 f는 585.6이다. 또한 국소 평면의 크기를 결정하는 N은 7을 적용하였다.

식 (11)에서의 와 에 각각 0.99와 10을 적용하였을 때, 같은 평면으로 판정된 지점에 대해서 같은 색으로 칠하도록 한 결과는 Fig.6과 같다. 제안된 방법은 평면 영역을 거의 정확하게 검출한다는 것을 확인할 수 있다.Fig.6에서 보이는 흑색 영역은 평면이 아닌 영역이거나 깊이 영상의 잡음의 영향으로 인해 검출이 되지 않은 영역이다. 기존 점군 영상을 이용하여 응집적 계층적 군집화를 통해 평면 영역을 검출하는 방법[7]을 적용한 결과인 Fig.7과 비교하면, 제안된 방법이 좀 더 많은 평면을 검출하고, 그정확도도 높다는 것을 확인할 수 있다. 특히 kitchen 영상에서 기존 방법[7]은 작은 차이를 가지는 평면에 대해 구별을 잘 하지 못하지만, 제안된 방법은 이러한 차이를 구분할 수 있다.

본 논문에서는 평면 검출의 정확도를 같은 평면에 속한 각 화소에 대해 평면식을 구한 후, 이 식을 통한 각 화소 위치에서의 예측된 깊이값과 실제의 깊이 값의 오차를 통해 측정하였다[18]. 같은 평면으로 판정된 화소들의 각각의 국소 평면의 법선 벡터들의 평균벡터의 단위 벡터를 \(\overline{\mathrm{u}} \equiv(\overline{a_{u}}, \overline{b_{u}}, \overline{c_{u}})\), 국소 평면의 원점으로부터의 거리들의 평균을 \(\bar{l}\)라고 했을 때 해당 평면 구역의 카메라 좌표계에서의 표현 식은 식 (14)와 같이 표현된다.

 \(\overline{a_{u}} x_{c}+\overline{b_{u}} y_{c}+\overline{c_{u}} z_{c}+\bar{l}=0\)      (14)

식 (14)에 해당 평면 구역을 이루고 있는 화소를 대입하면 식 (15)와 같은 행렬식으로 표현할 수 있다. 식 (15)에서 n은 해당 평면 구역내의 화소의 수이고, \(X_{c i}, \quad J_{c i}, \quad Z_{c i}(1 \leq i \leq n)\)는 각각 평면 구역 내의 화소의 카메라 좌표계에서의 좌표이다.

\(\begin{aligned} &A R=B\\ &\mathrm{A}=\left[\begin{array}{ccc} x_{c 1} & y_{c 1} & 1 \\ x_{c 2} & y_{c 2} & 1 \\ & \ldots & \\ x_{c n} & y_{c n} & 1 \end{array}\right], \mathrm{B}=\left[\begin{array}{c} -z_{c 1} \\ -z_{c 2} \\ \ldots \\ -z_{c n} \end{array}\right], \mathrm{R}=\left[\begin{array}{c} \overline{a_{u}} / \overline{c_{u}} \\ \overline{b_{u}} / c_{u} \\ \bar{l} / \overline{c_{u}} \end{array}\right] \end{aligned}\)       (15)

식 (15)에서 zci는 즉 해당 화소의 영상 좌표계에서의 깊이 값과 동일하다. 각 화소의 깊이 오차로 이루어진 행렬 E는AR-B를 통해 구할 수 있다. 여기서 E≡[e1 e2 ...en]T이면, 제곱 오차 평균(MSE: Mean Square Error)은 다음과 같다.

\(\frac{\sum_{i=1}^{n} e_{i}^{2}}{n}\)       (16)

실험 영상에서 제안된 평면 검출 방법을 통해 구해진 평면 영역에서 평면 영역에 속한 화소의 개수가 300개 이상인 평면 영역에 대해 식 (16)을 적용하여 평면 검출 정확도를 측정한다. 이 때 식 (11)의 \(T_{\theta}\)를 달리해서 깊이 오차의 제곱 평균을 구한 결과는 Table 1과 같다. 또한 \(T_{l}\)를 달리하여 깊이 오차의 제곱 평균을 구한 결과는 Table2와 같다. 결과에서 \(T_{\theta}\)가 클수록, \(T_{l}\)이 작을수록, 같은 평면으로 인식된 영역의 평면 검출 정확도는 높다는 것을 보이지만 같은 평면인 영역이 다른 평면으로 검출되는 경우가 발생하는 문제가 발생하였다.

Table 1. MSE of depth information according to \(T_{\theta}\left(T_{l}=20\right)\)

Table 2. MSE of depth information according to \(T_{l}\left(T_{\theta}=0.98\right)\)

5. 결론

본 논문에서는 깊이 정보를 이용하여 평면 영역을 검출하는 방법을 제안하였다. 기존 색상 영상에서 평면 영역을 검출하는 방법은 환경적인 요인으로 인해검출의 정확도가 떨어지는 문제가 있었지만, 깊이 정보를 이용하여 본 논문에서 제안하는 방법을 적용할 경우 평면 영역을 비교적 정확하게 검출할 수 있었다. 본 논문에서 제안된 방법은 기존의 평면 검출방법보다 계산이 간단하고 구현이 쉽다는 장점이 있다. 본 논문에서 제안된 방법은 SLAM분야에 쓰일 수 있을 뿐만 아니라 깊이 영상이 구조적 형태와 관련이 있다는 것을 이용하여 깊이 영상의 부호화에도 쓰일 수 있다. 또한 형태 기반 객체 검출 분야에 적용할 수도 있는 등 다양한 분야에 쓰일 수 있을 것으로 기대된다.

References

  1. D. Holz, S. Holzer, R.B. Rusu, and S. Behnke, "Real-Time Plane Segmentation Using RGBD Cameras," Proceeding of Robot Soccer World Cup, pp. 306-317, 2011.
  2. T. Wu, X. Hu, and L. Ye, "Fast and Accurate Plane Segmentation of Airborne LiDAR Point Cloud Using Cross-Line Elements," Remote Sensing, Vol. 8, No. 5, pp. 1-26, 2016.
  3. L. Li, F. Yang, H. Zhu, D. Li, Y. Li, and L. Tang, "An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells," Remote Sensing, Vol. 9, No. 5, pp. 1-16, 2017.
  4. B. Xu, W. Jiang, J. Shan, J. Zhang, and L. Li, "Investigation on the Weighted RANSAC Approaches for Building Roof Plane Segmentation from Lidar Point Clouds," Remote Sensing, Vol. 8, No. 1, pp. 1-23, 2015. https://doi.org/10.3390/rs8010001
  5. S.Z. Li, Markov Random Field Modeling in Image Analysis, Springer Science and Business Media, Berlin, 2009.
  6. A. Tatavarti, J. Papadakis, and A.R. Willis, "Towards Real-time Segmentation of 3D Point Cloud Data into Local Planar Regions," Proceeding of SoutheastCon 2017, pp. 1-6, 2017.
  7. C. Feng, Y. Taguchi, and V.R. Kamat, "Fast Plane Extraction in Organized Point Clouds Using Agglomerative Hierarchical Clustering," Proceeding of IEEE International Conference on Robotics and Automation, pp. 6218-6225, 2014.
  8. J. Shi and J. Malik, "Normalized Cuts and Image Segmentation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 8, pp. 888-905, 2000. https://doi.org/10.1109/34.868688
  9. Q. He and C.H. Chu, "Planar Surface Detection in Image Pairs Using Homographic Constraints," Proceeding of International Symposium on Visual Computing, pp. 19-27, 2006.
  10. J. Piazzi and D. Prattichizzo, "Plane Detection with Stereo Images," Proceeding of IEEE International Conference on Robotics and Automation, pp. 922-927, 2006.
  11. Y. Zhang, T. Lu, J. Yang, and H. Kong, "Split and Merge for Accurate Plane Segmentation in RGB-D Images," Proceeding of 4th International Association for Pattern Recognition Asian Conference on Pattern Recognition, pp. 49-54, 2017.
  12. W.H. Lee, K.G. Kim, and S.H. Chung, "Volume Measurement of Limb Edema Using Three Dimensional Registration Method of Depth Images Based on Plane Detection," Journal of Korea Multimedia Society, Vol. 17, No. 7, pp. 818-828, 2014. https://doi.org/10.9717/kmms.2014.17.7.818
  13. J. Sturm, N. Engelhard, F. Endres, W. Burgard, and D. Cremers, "A Benchmark for The Evaluation of RGB-D SLAM Systems," Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 573-580, 2012.
  14. F. Pomerleau, S. Magnenat, F. Colas, M. Liu, and R. Siegwart, "Tracking a Depth Camera: Parameter Exploration for Fast ICP," Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3824-3829, 2011.
  15. D.S. Lee and S.K. Kwon, "Intra Prediction of Depth Picture with Plane Modeling," Symmetry, Vol. 10, No. 12, pp. 1-16, 2018.
  16. S.K. Kwon and D.S. Lee, "Method for Determining Variable-Block Size of Depth Picture for Plane Coding," Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 3, pp. 39-47, 2017. https://doi.org/10.9723/JKSIIS.2017.22.3.039
  17. K. Lai, L. Bo, X. Ren, and D. Fox, "A Large-scale Hierarchical Multi-view RGB-D Object Dataset," Proceeding of IEEE International Conference on Robotics and Automation, pp. 1817-1824, 2011.
  18. R. Barnes, C. Lehman, and D. Mulla, "Priority-flood: An Optimal Depression-filling and Watershed-labeling Algorithm for Digital Elevation Models," Computers and Geosciences, Vol. 62, pp. 117-127, 2014. https://doi.org/10.1016/j.cageo.2013.04.024
  19. D.S. Lee and S.K. Kwon, "Improvement of Depth Video Coding by Plane Modeling," Journal of the Korea Industrial Information Systems Research, Vol. 21, No. 5, pp. 11-17, 2016. https://doi.org/10.9723/jksiis.2016.21.5.011