Sequential Defect Region Segmentation according to Defect Possibility in TFT-LCD Image

TFT-LCD영상에서 결함 가능성에 따른 순차적 결함영역 분할

Abstract

Defect region segmentation of TFT-LCD images is performed by combining defect pixels detected by a defect detection method into defect region, or by using morphological operations to segment defect region. Therefore, the result of segmentation of the defect region is highly dependent on the defect detection result. In this paper, we propose a method which segments defect regions sequentially according to the possibility of being included in defect regions in TFT-LCD images. The proposed method repeats the process of detecting a seed using the median value and the median absolute deviation of the image, and segments the defect region using the seeded region growing method. We confirmed the superiority of the proposed method to segment defect regions using pseudo-images and real TFT-LCD images.

1. 서론

TFT-LCD (thin film transistor liquid crystal display) 장치는 개인용 단말기와 상업성 디스플레이 등과 같은 IT 기기들의 핵심요소로 자리 잡고 있다. 제품에 대한 생산성 향상을 위한 비용 절감과 품질향상을 위해 TFT-LCD 자동 결함 검사 시스템에 대한 연구가 지속적으로 진행되고 있다. 일반적으로 TFT-LCD 자동 결함 검사 시스템은 TFT-LCD 표면영상 획득, 전처리, 결함화소 검출, 결함영역(binary large object, BLOB) 분할 등의 과정으로 이루어진다. 영상획득 과정에서는 수백 μm의 해상도를 갖는 영역 카메라를 사용하여 TFT-LCD 패널 영상을 획득한다. 전처리 과정에서는 영상 배경 영역의 불균일한 휘도 분포를 균일한 휘도 분포로 평활화한다[1]. 결함화소 검출 과정에서는 결함 영역에 포함될 결함화소를 검출한다[2-5]. 결함영역 분할 과정에서는 검출된 결함 화소를 이용하여 결함 영역을 분할한다[6-7]. 결함영역 분할의 결과에 가장 큰 영향을 미치는 결함화소 검출 방법이 매우 중요하므로, 신뢰 있는 결함화소 검출을 위한 많은 연구들이 진행되고 있다.

기존의 TFT-LCD 영상의 결함화소 검출을 위한 대표적인 방법으로는 평균과 표준편차를 이용한 STD(standard deviation) 기반 결함화소 검출 방법[8], 순차적 결함화소 검출 방법[9], 그리고 MAD(median absolute deviation) 기반 결함화소 검출 방법[10] 등이 있다. STD 기반 결함화소 검출 방법은 영상 화소 값의 평균 및 표준편차에 따른 임계치를 이용하여 결함화소를 검출한다. 이 방법은 영상에 따른 평균 및 표준편차가 달라지면 결함화소 검출 결과가 크게 달라지는 문제가 있다. 순차적 결함화소 검출 방법은 STD 방법을 기본으로 하고 결함화소일 가능성이 높은 결함화소를 순차적으로 검출하여, 영상에 따른 결함화소 검출 결과가 비슷해지도록 한다. 이 방법은 영상에서 결함이 차지하는 비율에 따라 결함화소 검출 결과가 달라지는 문제가 있다. 또한 순차적으로 결함화소를 검출할 경우 우선적으로 검출된 화소일수록 결함영역에 포함될 가능성이 높다는 특징을 사용하지 않는 문제가 있다. 그리고 MAD기반 결함화소 검출 방법은 STD 결함화소 검출 방법에서 평균 및 표준편차를 대신해 중간 값과 중간절대편차를 이용하여 순차적으로 결함화소를 검출한다. 이 방법은 영상에서 결함이 차지하는 비율에 따라 결함화소 검출 결과가 비슷해지도록 한다. 이 방법은 배경영역과 휘도 차가 작은 결함화소 검출에는 신뢰 있는 결과를 얻기 어렵다. 그리고 위의 결함화소 검출 방법들은 결함화소의 미 검출을 발생하지 않게 하기 위해 과 검출을 많이 발생 시키고, 이의 과 검출은 후처리 과정인 결함영역 분할과정에 큰 부담을 준다. 결론적으로 결함화소 검출 결과에서 가장 중요한 것은 결함화소의 미 검출은 없어야 하고, 과 검출은 최소화하는 것이다. 결함영역 분할은 결함화소 검출 방법에 의해 검출된 결함화소를 단순 결합하여 결함영역으로 분할하거나, 형태학적 연산[11]을 이용하여 결함영역을 분할한다. 따라서 결함영역의 분할 결과가 결함화소 검출 결과에 매우 의존적이다.

본 논문에서는 결함영역에 포함될 가능성에 따라 순차적으로 결함영역 분할하는 방법을 제안한다. 제안한 방법은 결함가능성에 따라 영역성장 분할방법을 이용하여 결함 영역을 순차적으로 분할한다. 영역성장 분할 방법은 영상의 중간 값(median)과 중간절대편차(median absolute deviation)를 이용하여 시드(seed)를 검출하고, 시드기반 영역성장 분할방법(seeded region growing, SRG)으로 결함영역을 분할하는 과정을 반복한다.

본 논문의 구성은 다음과 같다. 2장에서는 기존 순차적 결함화소 검출을 이용한 결함영역 분할 방법을 소개한다. 3장에서는 제안한 결함 가능성에 따른 순차적 결함영역 분할 방법을 설명한다. 4장에서 실험을 통해 제안한 방법의 성능을 분석한다. 그리고 5장에서 결론을 맺는다.

2. 순차적 결함화소 검출을 이용한 결함영역 분할

결함은 배경 영역과의 휘도 차에 의해 표현되고, 휘 결함과 암 결함이 있다. 휘 결함은 배경영역에 비해 휘도 값이 높고, 암 결함은 배경영역에 비해 휘도 값이 낮다. 따라서 히스토그램의 우측에는 휘 결함이, 왼쪽에는 암 결함이 위치한다. Fig. 1은 TFT-LCD 패널 영상에서 휘 결함을 포함한 영상과 히스토그램을 나타낸다. Fig. 1로부터, 영상의 대부분을 차지하는 배경영역의 휘도분포는 정규분포를 따르며, 휘 결함은 배경영역에 비해 우측에 위치함을 확인할 수 있다.

Fig. 1. Image and histogram of TFT-LCD. (a) TFT-LCD image, (b) Histogram of (a).

기존의 결함영역 분할 방법은 순차적 결함화소 검출결과를 형태학적 연산을 이용하여 결함영역을 분할하는 방법이다. 먼저 순차적 결함화소 검출 방법을 소개한다.

순차적 결함화소 검출 방법은 영상의 히스토그램이 정상분포와 유사한 분포를 갖도록 결함화소를 검출하는 방법이다. 구체적으로 적응적인 가중치를 이용하여 결함화소일 가능성이 높은 결함화소부터 순차적으로 검출한다. 식 (1)과 같은 다수의 k 값을 순차적으로 적용하여 결함화소를 검출한다.

\(k^{1}>k^{2}>k^{3}>\cdots\)       (1)

먼저 k값은 가장 큰 k¹으로 식 (2)과 식 (3)를 만족하는 화소를 결함화소로 검출한다. 이는 화소 값이 평균으로부터 차이가 클수록 결함화소일 가능성이 높다는 사실을 이용한다. 구체적으로 영상 I(x,y)가 식 (2)를 만족하면 휘 결함화소로, 식 (3)을 만족하면 암 결함화소로 검출한다.

\(I(x, y) \geq m+k \times \sigma\)       (2)

\(I(x, y) \leq m-k \times \sigma\)       (3)

여기서 m은 영상의 평균을 나타내고, σ는 영상의 표준편차를 나타내고, 그리고 k는 임계치 결정을 위한 가중치를 나타낸다. 검출된 결함화소를 제외한 화소들의 표준편차 σ와 결함 없는 정상 영상의 표준편차 σ_r를 비교한다. σ가 σ_r보다 크면 식(1)과 같이 k값을 감소시켜 식 (2)과 식 (3)을 만족하는 화소를 결함화소로 검출하고, σ가 σ_r보다 작으면 결함화소 검출의 반복과정을 종료한다. 이 방법은 결함화소일 가능성이 높은 결함화소를 순차적으로 검출하여, 영상에 따른 결함화소 검출 결과가 비슷해지도록 한다. 하지만 순차적으로 결함 화소를 검출하는 과정에서 우선적으로 검출된 화소들이 결함영역에 포함될 가능성이 높다는 특징을 사용하지 않는다.

Fig. 2는 순차적 결함화소 검출 결과를 나타낸다. Fig. 2(a)는 의사(pseudo)영상으로 배경휘도 128에 크기와 휘도 값이 다른 얼룩형 원형결함을 갖고, 그리고 N(0, 1)의 가우시안 잡음이 첨가된 영상이다. Fig. 2(b)는 Fig. 2(a)의 히스토그램 평활화 영상이며, Fig. 2(c)∼(e)는 반복과정에서 검출된 결함 영상들이다. 그림으로부터 반복 과정에서 배경과의 휘도 차가 따라 결함 영역에 포함될 가능성이 높은 화소들이 순차적으로 검출됨을 알 수 있다. 그리고 Fig. 2(f)는 반복과정에서 검출된 결함화소를 결합한 영상으로 과 검출이 많이 발생함을 알 수 있다. 또한 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함화소의 검출 결과가 미흡함을 알 수 있다.

Fig. 2. Detected defect images of Fig. 2(a) using sequential defect detection. (a) pseudo image, (b) histogram equalization image, (b) iteration 1(k¹=3), (c) iteration 2(k²=2.5), (d) iteration 3(k³=2), (f) merged defects.

Fig. 3은 Fig. 2(f)에 대해 형태학적 연산인 닫힘 연산과 열림 연산으로 결함영역 분할한 영상이다.

Fig. 3. Defect region image for Fig. 2(e) image using morphologic operation.

Fig. 4는 기존 순차적 결함화소 검출을 이용한 결함영역 분할 방법의 흐름도를 나타낸다.

Fig. 4. The flowchart of the existing method.

3. 결함가능성에 따른 순차적 결함영역 분할

앞 절에서 소개한 기존의 결함영역 분할 방법은 결함 가능성에 따라 순차적으로 결함화소를 검출하고, 검출된 결함화소에 대해 형태학적 연산으로 결함영역을 분할한다. 이 방법은 모든 결함화소를 검출한 다음 결함영역을 분할하므로, 순차적으로 결함화소를 검출하는 과정에서 우선적으로 검출된 화소들이 결함영역에 포함될 가능성이 높다는 특징을 이용할 수 없다.

본 논문에서는 순차적 결함화소 검출과정에서 우선 검출된 화소가 결함영역에 포함될 가능성이 높은 특징을 이용하기 위해, 순차적으로 검출된 결함화소를 시드로 하여 영역을 성장하는 결함영역 분할 방법을 제안한다. 즉 결함 가능성이 가장 높은 화소를 시드로 하여 영역성장 방법으로 결함영역을 분할하고, 결함 가능성에 따라 시드기반 영역성장 방법으로 결함 영역을 순차적으로 분할한다.

실제 영상 I(x,y)의 중간절대편차(MAD_I)가 결함없는 영상의 중간절대편차(MAD_r) 보다 큰 경우 영상 I(x,y)에 결함이 포함되어 있다고 가정한다. 제안한 방법은 다음의 시드 검출과정과 영역성장 분할과정을 순차적으로 반복한다.

3.1 시드 검출

영상 I(x,y)에 대해 시드 검출을 위한 초기 조건은 식 (4)와 같다.

\(\begin{array}{l} I^{0}(x, y)=I(x, y) \\ k^{1}>k^{2}>k^{3}>\cdots \end{array}\)       (4)

여기서 I⁰(x,y)는 반복과정에서 초기영상을 나타낸다. 그리고 시드 검출과정에서 사용되는 k값을 반복과정에서 작아지도록 설정한 이유는 k값이 클수록 시드가 결함영역에 포함될 가능성이 높다는 특징을 이용하기 위함이다.

i번째 반복과정에서 영상 Iⁱ(x,y)에 대하여 kⁱ을 이용하여 식 (5)를 만족하는 화소들을 시드로 검출한다.

\(\left|I^{i}(x, y)-M_{I^{i}}\right| \geq k^{i} \times M A D_{I^{i}}\)       (5)

여기서 M_Iⁱ는 Iⁱ(x,y)의 중간 값을 나타내고, MAD_Iⁱ 는 Iⁱ(x,y)의 중간절대편차를 나타낸다. 식 (6)은 M_Iⁱ 과 MAD_Iⁱ를 나타낸다.

\(\begin{array}{l} M_{I^{i}}=\operatorname{median}\left(I^{i}(x, y)\right) \\ \left.M A D_{I^{i}}=b_{M} \times \operatorname{median}\left(\mid I^{i}(x, y)-M_{I^{i}}\right) \mid\right) \end{array}\)       (6)

여기서 b_M은 정규분포에서 표준편차와 중간절대편차 간의 차이를 보정하기 위한 상수로 1.4826을 사용한다. 한편 M_Iⁱ과 MAD_Iⁱ를 구하기 위해 휘도 값의 정렬을 요구되기 때문에 긴 수행시간이 필요하고, 영상의 크기에 비례하여 수행시간이 더욱더 늘어난다. 이를 개선하기 위해 영상 Iⁱ(x,y)의 히스토그램을 이용하여 M_Iⁱ과 MAD_Iⁱ를 구한다.

영상 Iⁱ(x,y)에 대해 휘도 값이 a인 히스토그램을 H(a)로 나타낼 때, M_Iⁱ는 식 (7)과 같이 구할 수 있다.

\(\begin{array}{l} M_{I^{i}}= \begin{array}{l} \underset{{0 \leqq j \leqq 255}}{{argmin}} \end{array} \left\{C H(j) \geqq \frac{N}{2}\right\} \\ C H(j)=\sum_{l=0}^{j} H(l) \end{array}\)       (7)

여기서 CH(j)는 Iⁱ(x,y)에서 휘도 값이 j 이하인 화소의 개수에 대한 누적히스토그램을 나타낸다. 즉, M_Iⁱ는 누적히스토그램이 전체 화소수(N)의 절반이 넘는 순간의 휘도 값을 의미한다. 그리고 MAD_Iⁱ는 MAD_Iⁱ와 히스토그램을 이용하여 식 (8)과 같이 구한다.

\(\begin{equation} \begin{array}{l} M A D_{I^{i}}=b_{M} \times \begin{array}{l} \underset{{0 \leqq j \leqq 255}}{{argmin}} \end{array} \left\{C H^{\prime}(j) \geqq \frac{N}{2}\right\} \\ C H^{\prime}(j)=\sum_{l=M_{I^i}-j}^{M_{I^i}+j} H(l) \end{array} \end{equation}\)       (8)

여기서 CH'(j)는 M_Iⁱ을 중심으로 휘도차가 j 이하의 화소의 개수를 누적시킨 함수이다. 식 (7)과 식 (8)과 같이 히스토그램을 이용하여 중간 값과 중간절대편차를 구하면, 화소 값의 정렬이 필요하지 않으므로 수행시간을 줄일 수 있다. 또한 영상의 크기에 무관하게 고정적인 수행시간을 갖는다.

3.2 시드 기반 결함영역 분할

식 (5)에 의해 검출된 시드를 이용하여 SRG로 결함영역을 분할한다. SRG 기법은 하나의 결함영역에 속하는 화소들은 유사한 휘도 값을 지닌 특징에 기반하여, 영역성장과정에서 현재 영역의 평균휘도와의 휘도차를 기반으로 영역성장을 진행한다. SRG 방법은 다음과 같다.

i번째 반복과정에서 식 (5)에 의해 검출된 결함화소를 시드포인터 집합 Aⁱ={A_j : j=1,2,···,n}이라할 때, 시드포인터 각각은 화소 또는 화소들이 연결된 영역이 된다. 먼저 집합 T는 영상 Iⁱ(x,y)에서 A에 속하지 않는 화소 중에서 A_j중에 적어도 하나는 8방향으로 이웃하는 화소들의 집합이다. 즉 집합 는 식 (9)와 같다.

\(\begin{equation} T=\left\{(x, y) \notin \bigcup_{j=1}^{n} A_{j}: N(x, y) \cap \bigcup_{j=1}^{n} A_{j} \neq \varnothing\right\} \end{equation}\)       (9)

여기서 N(x,y)는 화소 (x,y)의 8 방향의 이웃화소들의 집합을 나타낸다. N(x,y)가 하나의 시드 포인터 A_j와 교차할 때, A_j와 (x,y)의 교차 영역((p,q)∈A_j)의 평균값과 (x,y)의 화소 값과의 절대 차 δ(x,y)를 식 (10)과 같이 구한다.

\(\begin{equation} \delta(x, y)=\mid I^{i}(x, y)-\operatorname{mean}_{(p, q) \in A_{j}}\left\{I^{i}(p, q)\right\}\mid \end{equation}\)       (10)

N(x,y)가 두개 이상의 시드 포인터와 교차할 때는 가장 작은 δ(x,y)를 갖는 시드 포인터가 A_j가 된다. 이와 같이 집합 T에 속하는 모든 화소에 대해 δ 값을 구한다. T에 속하는 각 화소들 중, 최소 δ값을 가지며 화소의 휘도 값과 시드포인터 A_j의 초기 평균 휘도값과의 휘도차가 임계값 이하인 화소를 A_j에 포함시킨다. 위 과정을 시드포인터 집합 Aⁱ의 변화가 없을 때 까지 반복한다.

그리고 분할된 결함영역인 시드포인터 집합 Aⁱ 영역을 제거한 영상 Iⁱ⁺¹(x,y)을 식 (11)과 같이 구한다.

\(\begin{equation} I^{i+1}(x, y)=I^{i}(x, y)-A^{i} \end{equation}\)       (11)

그리고 영상 Iⁱ⁺¹(x,y)의 중간절대편차(MAD_Iⁱ⁺¹)가 결함 없는 영상의 중간절대편차(MAD_r) 보다 큰 경우 영상 Iⁱ⁺¹(x,y)에 결함이 포함되어 있다고 가정하여 위의 시드검출과 결함영역 분할과정을 반복한다. 한편 MAD_Iⁱ⁺¹가 MAD_r와 같거나 작은 경우 영상 Iⁱ⁺¹(x,y)에 결함이 없다고 가정하고, 반복과정을 종료한다.

Fig. 5는 Fig. 2(a) 영상에 대해 제안한 순차적 시드 검출 및 결함영역 분할 결과를 나타낸다. Fig. 5(a)∼(d)는 반복과정에서 검출된 시드영상과 분할된 결함영상들이다. 그림으로부터 반복 과정에서 배경과의 휘도 차에 따라 결함영역이 순차적으로 분할됨을 알 수 있다. 그리고 5(e)는 반복과정에서 분할된 결함영역을 결합한 영상이다. 그림으로부터 우수한 분할결과를 확인할 수 있고, 특히 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함영역의 분할 결과가 매우 우수함을 알 수 있다. 또한 결함영역의 과 분할이 거의 발생하지 않음을 알 수 있다.

Fig. 5. Defect region images of Fig. 2(a) using the proposed method. (a) A¹(k¹=3) (b) A¹ after SRG, (c) A² (k²=2) (d) A² after SRG, (e) merge (b) and (d).

Fig. 6은 Fig. 5(e)에 대해 형태학적 연산인 닫힘 연산과 열림 연산으로 결함영역을 분할한 영상이다.

Fig. 6. Defect region image for Fig. 2(e) image using morphologic operation

Fig. 7은 제안한 방법의 흐름도를 나타낸다.

Fig. 7. The flowchart of the proposed method.

4. 실험 및 고찰

제안한 방법의 성능을 평가하기 위하여 인위적 결함이 포함된 Fig. 8(a)의 의사 영상을 사용하였다. 의사영상은 512×512 크기이고, 배경휘도 128에 크기와 휘도 값이 다른 얼룩형 타원형결함을 갖는 영상이다. 그리고 N(0,2)의 가우시안 잡음이 첨가되었다. Fig. 8은 의사영상에 대한 기존의 순차적 결함화소검출과 형태학적 연산을 이용한 결함영역 영상과 제안방법의 결함영역 영상을 나타낸다.

Fig. 8. The segmentation result of defect regions for the pseudo-image. (a) pseudo image, (b) histogram equalization of (a), (c) the result of the existing method, (d) the result of the proposed method.

Fig. 8(b)로부터 기존의 결함영역 분할 방법은 비교적 우수한 분할 결과를 얻을 수 있으나, 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함영역의 분할 결과는 미흡함을 알 수 있다. Fig. 8(c)로부터 제안한 결함영역 분할 방법은 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함영역의 분할 결과를 보아 우수한 분할 결과를 얻을 수 있음을 알 수 있다. 특히 순차적 결함화소 검출과정에서 우선적으로 검출된 화소일수록 결함영역에 포함될 가능성이 높다는 특징을 이용하여 결함의 과 검출이 많이 발생하지 않음을 알 수 있다.

다음은 350 μm/pixel의 영역카메라를 이용하여 획득된 약 14∼20인치 소형 TFT-LCD 패널 영상을 사용하여 제안한 방법의 성능을 평가하였다. 실험에 사용한 영상은 가장 빈번하게 발생되는 결함인 얼룩성 결함(mura)이 포함된 영상으로, 배경과의 휘도 차가 작은 한도성 결함이 포함된 영상이다. Fig. 9(a)는 512 × 512 크기의 TFT-LCD 패널 영상이며, (b)는 (a)에 대한 히스토그램 평활화된 영상이다. Fig. 9(c)는 기존의 순차적 결함화소검출과 형태학적 연산을 이용한 결함영역 영상이고, Fig. 9(d)는 제안방법의 결함영역 영상을 나타낸다.

Fig. 9. The segmentation result of defect regions for the TFT-LCD image. (a) defect image, (b) histogram equalization of (a), (c) the result of the existing method, (d) the result of the proposed method.

Fig. 9(c)로부터 기존의 결함영역 분할 방법은 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함영역의 분할 결과가 미흡함을 알 수 있다. 특히 과분할이 많이 발생함을 알 수 있다. Fig. 9(d)로부터 제안한 결함영역 분할 방법은 결함영역의 경계부분과 배경과의 휘도 차가 작은 결함영역의 분할 결과를 보아 우수한 분할 결과를 얻을 수 있음을 알 수 있다. 특히 순차적 결함화소 검출과정에서 우선적으로 검출된 화소일수록 결함영역에 포함될 가능성이 높다는 특징을 이용하여 결함의 과 분할이 많이 발생하지 않음을 알 수 있다.

5. 결론

본 논문에서는 TFT-LCD 영상에서 결함영역에 포함될 가능성에 따라 순차적으로 시드 검출 및 결함영역 분할을 수행하는 방법을 제안하였다. 먼저 영상의 중간 값과 중간절대편차를 이용하여 영상화소의 결함영역에 포함될 가능성이 높은 순으로 시드를 검출하고, 영역 성장 분할 방법으로 결함 영역을 분할하는 과정을 반복한다. 제안한 방법은 순차적 결함화소 검출과정에서 우선 검출된 화소가 결함영역에 포함될 가능성이 높은 특징을 이용한 방법으로, 다양한 TFT-LCD 패널 영상을 사용하여 제안방법이 신뢰있게 결함 영역을 분할함을 확인하였다.