Edge Preserving using HOG Guide Filter for Image Segmentation

영상 분할을 위한 HOG 가이드 필터를 적용한 엣지 보존 기술

Abstract

The edge preserving method is important for image storage and geometric transformation. In this paper, we propose a new edge preserving method using HOG-Guide filter for image segmentation. In our approach, we extract edge information using gradient histogram to set HOG guide line. Then, we use HOG guide line to smooth image. With two to four iterations of smoothing operations, we finally obtain desirable edge preserved image. Our experimental results showed good performances showing that our proposed method is better than other methods.

1. 서 론

엣지 필터링 기술은 컴퓨터 비전 영역에서 이미지 데이터 압축, 객체 분류, 객체 세분화, 동작 분석, 이미지 변환, 카툰 렌더링을 해결하기 위해 연구된다. 최근의 엣지 필터링 기술은 양방향 필터 (BF) [1], 가이드 필터(GF) [2], 측지 필터 [3], HOG 필터 [4], 가중 평균 필터 [5] 등이 존재 한다. 기존 엣지 필터링 기술은 높은 차이를 갖는 엣지 정보를 보존하고 낮은 차이를 갖는 엣지 정보를 제거하는 스무싱 방법을 사용한다. 엣지 정보를 보존하는 이유는 엣지 정보가 이미지에서 매우 중요한 정보를 포함하고 있기 때문이다.

영역 분할 또는 중요 물체 분할, 검출은 영상 내 영역 분할을 위해, 엣지 필터링 방법을 기반으로 이미지 내부의 각각의 물체가 가지고 있는 정보의 유사도를 측정한다[6,7]. 그러나 물체 혹은 영역 내부에 잡음이 심하게 존재할 경우, 물체 내부에 불필요한 영역이 분할되기 때문에, 엣지 필터를 이용해 잡음 엣지를 제거하는 스무싱 과정이 필요하다. 이 때, 필요한 엣지 정보가 최대한 보존되도록 잡음을 제거하는 것이 각각의 영역을 정확하게 분할 할 수 있게 한다.

기존의 이미지 분할을 위한 엣지 필터링 기술은 몇몇 문제점을 가지고 있다. 첫 번째는 엣지 보존의 세밀함이 떨어지는 문제로 인해 각 객체의 경계선이 모호해지는 경우다. 두 번째는 중요 엣지 정보 보존을 위한 엣지 필터링이 잡음 및 불필요한 영역의 정보 또한 보존하는 문제를 가지고 있다.

본 논문에서는 이러한 문제를 해결하기 위해 기존의 방법들보다 내부의 잡음을 줄이고 엣지 정보를 최대한 보존 하는 HOG 가이드 필터를 제안한다. HOG 가이드 필터는 히스토그램의 기울기를 이용해 엣지 정보를 획득하고, 이를 기반으로 가이드라인을 정한다. 보다 정확한 엣지 필터링 결과를 획득하기 위해, 가이드라인을 기반으로 엣지 필터링을 적용하는 과정을 2~4번 반복한다[8]. 결과적으로, 이미지 분할에서 HOG 가이드 필터를 사용하는 것은 객체 내부의 무늬 또는 불필요한 세부 정보는 확실하게 제거하고 필요한 엣지 정보는 정확히 보존한다는 점에서 기존의 기술 보다 좋은 결과를 얻을 수 있다.

본 논문의 구성은 다음과 같다. 2장에서는 선행 연구된 필터링 방법들을 살펴보고, 3장에서는 제안하는 알고리즘에 대해 제시한다. 4장에서는 알고리즘 성능에 대한 실험과 결과를 다루고, 5장에서 결론을 맺는다.

 

2. 관련연구

영상 분할은 이미지에서 물체와 배경 또는 물체와 물체를 분할하는 이미지 처리 기술이다. 영상을 분할하기 위한 방법은 다양하게 존재하며, 기존의 방법은 분할하기 전, 전 처리 과정을 통해 엣지를 보존하는 필터링 기술을 적용하는 공통점이 있다. 이 절에서는 보편적으로 알려진 양방향 필터와 HOG 필터, 잡음을 제거하는 Non-local-means 필터와 이를 이용한 영상 분할에 대하여 기술한다.

2.1 양방향 필터

1998년에 Tomasi와 manduchi에 의해 제안된 양방향 필터는 필요한 엣지 정보를 보존하면서 잡음을 평활화해 제거하는 가장 기본적인 비선형 필터다[1]. 양방향 필터는 도메인 필터 및 레인지 필터에 대해 낮은 패스(low-pass) 가우시안 필터를 사용하였으며, 각각 도메인 낮은 패스 가우시안 필터(Domain low-pass Gaussian Filter)와 레인지 낮은 패스 가우시안 필터(Range low-pass Gaussian Filter)로 불려진다. 도메인 필터는 공간적으로 중앙 화소와 가까운 화소에 높은 가중치를 할당하고, 레인지 필터는 중앙 화소의 그레이 레벨과 비슷한 화소에 높은 가중치를 할당한다.

위의 식에서 H(x)는 스무싱 되는 결과, x,y는 각각의 픽셀과 이웃 픽셀을 의미하며, 각각 픽셀 간의 인접도와 픽셀 값들의 유사도를 이용하여 적응적인 컨볼루션을 통해 계산한다[9]. Fig. 1을 보면 엣지로 판단되는 부분을 가운데 이미지처럼 가우시안 필터를 적용하는 것을 오른쪽 이미지처럼 반을 나누어서 필터를 적용한다. 가장 보편적으로 많이 사용되는 방식이고 다른 필터링 기술의 베이스가 되는 기술이다. 하지만, 단독으로 사용될 경우에 속도가 느리며 정확도가 낮다는 단점이 있다.

Fig. 1.Bilateral filter.

2.2 HOG 가우시안 필터

HOG 가우시안 필터는 이미지에서 픽셀이 갖는 방향성을 이용하여 인접한 픽셀들의 방향성에 따라 엣지를 구분 짓는 방법이다[10]. Fig. 2는 픽셀의 방향성을 나타내며, Fig. 3은 가우시안 필터의 모양과 공식을 설명하고 있다.

Fig. 2.Pixel gradient.

Fig. 3.Gussian Filter.

구분된 엣지 정보를 이용해서 가우시안 필터를 적용하여 스무싱 작업을 한다. 가우시안 필터는 영상의 모든 부분을 스무싱 하여 잡음을 제거하기 때문에 엣지를 따로 구분하기 어렵다. 그러나 HOG로 엣지 정보를 추출함으로 인해 스무싱 할 때 엣지를 보존할 수 있다

2.3 Non Local means 필터

영상에서 한 픽셀에 잡음이 생겼을 경우 잡음 픽셀 영역 주변의 로컬 정보만 이용했다. 하지만, Buades 등은 잡음에 의해 주위 로컬 정보가 심하게 훼손될 수 있기 때문에, 전체 영상 정보를 이용하여 근방 영역 [Δ]간의 유사도에 따라 가중치를 두어 픽셀을 복원한다[11]. Fig. 4와 같이 일정한 영역(Non Local)에서 가운데 픽셀을 근방 픽셀과의 유사도를 통해 필터링 한다.

Fig. 4.Non local means filter denoising.

Non local means 필터는 필요한 엣지 보존 보다는 잡음을 제거하기 위해 사용되는 필터로, 다른 엣지 보존 필터들과 같이 사용되는 경우가 많다.

2.4 이미지 분할

이미지 분할은 부드러운 분할과 딱딱한 분할로 구분된다. 기본적인 이미지 분할은 Fig. 5와 같이 배경과 물체로 분할 해주는 흑백 이미지가 대중적인데, 이를 딱딱한 분할이라고 한다. 부드러운 분할은 딱딱한 분할과 달리 분할의 결과물을 이분법적인 구분이 아니라 배경과 물체의 비율로 표현하는 방식을 말한다. 이러한 부드러운 분할 기술은 딱딱한 기술보다 상대적으로 좋은 결과를 나타내지만, 연상량이 많아지기 때문에 속도는 느리다[12].

Fig. 5.Image Segmentation.

이미지 분할 기법에는 임계값 기법, 히스토그램 기반 기법이 존재한다. 이러한 기법은 배경과 물체를 잘 구별되는 색 차원으로 변형시킨 뒤 적절한 수치를 이용하여 나누는 방법이다. 이미지 불한 기법에는 영역 성장 기법, 자르고 합치기 기법, 그래프 분할 기법 등이 있다[13,14,15]. 영역 성장 기법과 자르고 합치기 기법은 이미지를 작은 영역으로 나눈다. 나누어진 작은 영역들은 인접한 영역 간의 색감이나 밝기의 차이를 계산하여 비슷한 영역끼리 합해 최종으로 남는 영역을 각 영역으로 판단하는 방법이다. 그래프 분할 기법은 이미지의 각 픽셀 픽셀을 노드로 변경하고 픽셀들 간의 차이를 가중치로 갖는 엣지로 구분하는 그래프로 구성한다. 구성된 그래프를 미리 정의해준 에너지 함수의 값이 최소가 되도록 분할 하여 이미지를 분할 한다. 그러나 그래프 분할 기법은 다른 기법들에 비해 이미지의 크기와 에너지의 크기에 따라 연산량이 많아지는 단점이 있다.

 

3. 제안하는 방식

3.1 알고리즘 개요

기존의 엣지 보존 알고리즘은 이미지에서 잡음을 제거하기 위해 평활화 필터를 많이 사용했지만, 잡음을 제거하는 과정에서 엣지 정보가 훼손되는 문제가 발생한다.

Fig. 6에서 보면 입력(Input)에 이미지를 넣어주고 넣은 이미지를 먼저 HOG 필터를 이용하여 엣지 정보를 추줄 한다. 방향성을 이용하는 방법으로 Edge 정보를 추출하여 이 정보를 하나의 가이드로 정하고 다시 기존의 입력이미지를 반복지도 필터로 스무싱한다. 반복 지도 필터 스무싱하는 경우 마다 HOG 필터로 획득한 엣지 정보와 비교하여 엣지를 확립한다. 이 과정을 두 세번 반복하여 정확한 결과물을 획득하도록 한다.

Fig. 6.Our Method Framework.

3.2 알고리즘 설명

보통 그라디언트의 크기는 영상에서 엣지정보와 수직인 방향일수록 크게 측정되므로 HOG에서 가장 큰 방향인 135도가 지배적으로 엣지와 수직인 방향이 되고 반대방향인 45도는 엣지 방향을 나타낸다. 이를 이용하여 엣지 정보를 보존 할 수 있다. 엣지 정보가 보존되면 반복 지도 필터를 이용하여 텍스쳐 스무싱과 잡음제거를 진행하여 불필요한 정보를 제거한다[16]. 반복 지도 필터는 이미지 정보를 구조체로 나누워서 작은 구조체는 잡음 및 필요 없는 정보로 지정하여 스무싱하고 큰 구조체정보에선 엣지로 구분하여 엣지정보를 복원한다.

Fig. 7에서 보면 이미지들을 구조체로 나누었을 때 작은 구조체는 엣지가 아닌 잡음으로 판단하여 스무싱하고 (b)와 같이 큰 구조체는 엣지로 추정한다.

Fig. 7.Rolling guidance 1D sample (a) Small Structure. (b) Large Structure.

우리의 제안 알고리즘은 다음과 같다.

첫 번째로 입력 이미지(I)에 가우시안 스무싱을 적용함으로써, 구조체 정보를 최대한 제거한 출력 영상(G)를 획득한다.

여기서 은 평준화를 위한 식이고 N(p)는 픽셀 p로부터의 이웃한 픽셀의 모집이다. 이 수식은 σs보다 작은 스케일의 구조체들을 완벽하게 제거한다.

구조체들을 제거하고 생긴 엣지 정보의 훼손을 s값을 변화시키며 HOG정보를 이용해 훼손된 자리에 가중치를 주어 큰 구조체를 생성한다. 큰 구조체를 제외한 나머지 구조체를 제거함으로서 엣지 외의 불필요한 정보를 제거한다. 이와 같은 과정을 두세 번 반복하여 더 정확한 결과를 얻는다.

Fig. 8에서 보면 최초 입력 영상의 잡음 및 엣지 비율과 알고리즘을 반복 수행하여 얻은 비율을 비교했을 경우 매우 좋은 결과가 나타나는 것을 알 수 있다.

Fig. 8.Structure’s error and edge preserving rate in σs

 

4. 실험 결과

본 논문에서는 Cpu i5-4670 8GB, opencv 2.4.3, Visual Studio 2010 환경에서 실험이 진행되었다. 실험에 사용된 영상은 2D 이미지와 MiddleBury Stereo lab의 LCU Disparity 결과 영상을 사용하였다. 우리는 원본영상을 기존의 양방향 필터와 우리가 제안하는 방법의 결과를 비교 했다.

기존의 방법과 우리가 제안하는 방법의 결과에서, 물체들의 엣지 정보와 내부 정보의 차이를 시각화하여 원본과 비교 분석을 수행했다. Fig. 9에서 (b), (c)와 (d)의 엣지 차이는 작지만 빨간 원이 그려진 영역에서 (d)의 옷 내부 무늬는 제거가 되었다. 영상에서 객체내부의 무늬가 또 다른 객체로 인식되면 물체 분할이나 검출에서 좋지 않은 결과가 나올 수 있기 때문에 (d)의 결과가 좋은 결과임을 의미한다. Fig. 10 또한 흑백 이미지에서 엣지와 엣지 내부를 가장 뚜렷하게 구별하고 있으며, 잡음 정보를 최소화 시켰기 때문에 물체를 구별하고 분할, 수정할 때 매우 효과적이다[10]. Fig. 11에서 뚜렷한 객체의 엣지 정보 차이는 근소하나, 배경 처리에서는 더 좋은 결과를 보여준다.

Fig. 9.(a) Original Image (b) Bilateral Filter (c) BEEPS Filter (d)Our method.

Fig. 10.(a) Original Image (b) Bilateral Filter (c) BEEPS Filter (d) Our method.

Fig. 11.(a) Original Image (b) Bilateral Filter (c) BEEPS Filter (d) Our method.

또한 Fig. 11의 후방의 물체가 흐리게 보이는데 이는 후방의 물체를 배경과 차이 가 없다고 인식하기 때문에 후방의 물체도 배경의 일부로 인식하기 때문이다. 이는 앞에 나와 있는 중요 물체를 부각시키거나 배경과 물체를 확실하게 나누는 작업에서 매우 용이하다. Fig. 12는 이미 (a) 엣지와 내부관계가 많이 구별 되어 있기 때문에 오히려 필터를 적용 하였을 경우 결과가 안 좋게 나오는 방향이 있다. 정량적인 측면에서 보면 우리가 제안하는 방법은 Fig. 13에서와 같이 시간적인 면에서 양방향, BEEPS 필터보다 느리며 실시간으로 적용하기에 무리가 있다. Fig. 14의 경우는 그라운드 트루스와 실험 결과를 비교하여 정확도를 비교한 수치이다. Fig. 14에서 보면 제안하는 방법이 영상을 처리하는데 있어서의 정확도는 더 높게 확인되기 때문에 Fig. 13의 시간적인 요소 개선이 필요하다[17,18,19,20].

Fig. 12.(a) Original Image (b) Bilateral Filter (c) BEEPS Filter (d) Our method.

Fig. 13.Each Image’s Filters processing time.

Fig. 14.Ground Truth and each filters disparity in each image.

 

5. 결 론

본 논문에서는 HOG를 사용하여 엣지 정보를 가이드 화하고, 가이드된 정보를 기반으로 엣지 영상을 여러 번 스무싱 함으로써 필요한 엣지 정보를 보존했다. 이를 통해 이미지의 편집이나 분할 등의 분야에서 보다 정확한 연산을 위한 결과를 얻었다. 특히 영상 분할에 있어, 내부 잡음을 최소화시켜 물체 탐색에도 매우 용이 하도록 하였으며, 물체의 중요도 표현이나 배경과 객체 분할에 사용할 수 있다. 그러나 여러 번의 가이드 필터 적용으로 인해, 연산 시간이 다른 방법보다 오래 걸린다는 문제점이 존재한다. 이러한 이유로, 실시간 영상처리에 부적합하다. 또한 본래 엣지가 보존 되어있고 잡음이 적은 영상에 발생하는 블러를 정확하게 처리하기 위한 기술 개발이 필요하다. 본 논문에서 구현한 엣지 보존 기술은 2D영상 뿐만 아니라 3D영상이나 센서 영상 등 다양한 분야에서 사용될 수 있으며, 더 효과적인 최적화 방법을 적용한다면 이미지 분할의 분야뿐만 아니라 다양한 이미지 처리 분야에서 사용 될 수 있다[21,22,23,24].