STD Defect Detection Algorithm by Using Cumulative Histogram in TFT-LCD Image

TFT-LCD 영상에서 누적히스토그램을 이용한 STD 결함검출 알고리즘

Abstract

The reliable detection of the limited defect in TFT-LCD images is difficult due to the small intensity difference with the background. However, the proposed detection method reliably detects the limited defect by enhancing the TFT-LCD image based on the cumulative histogram and then detecting the defect through the mean and standard deviation of the enhanced image. Notably, an image enhancement using a cumulative histogram increases the intensity contrast between the background and the limited defect, which then allows defects to be detected by using the mean and standard deviation of the enhanced image. Furthermore, through the comparison with the histogram equalization, we confirm that the proposed algorithm suppresses the emphasis of the noise. Experimental comparative results using real TFT-LCD images and pseudo images show that the proposed method detects the limited defect more reliably than conventional methods.

1. 서 론

TFT-LCD는 높은 해상도와 낮은 전력소모를 장점으로 컴퓨터, TV, PDA, 휴대폰 등 다양한 기기의 디스플레이 장치에 활용되고 있다[1][2]. TFT-LCD는 제조과정 중의 먼지나 분진, 기계의 오작동, 제조과정의 실수 등에 의해 다양한 결함이 발생하게 되며, 이는 생산성 및 품질 등에 큰 영향을 미치게 된다. 결함 검출을 위해 숙련된 목시검사자에 의해 수동으로 판별이 되었으나, 이는 검사자의 숙련도, 컨디션 등에 따라 검출률이 크게 변할 뿐만 아니라 생산성이 낮아 양산에 큰 어려움이 있다[3]. 이와 같은 문제를 해결하기 위해 다양한 자동 결함 검사 시스템이 개발되고 있으며, 결함검출 기법들은 영상의 결함 후보 화소 검출 후, 결함 후보 블랍(BLOB; Binary Large OBject)을 구성하여 블랍 분석을 통해 결함을 검출 및 분류한다[4].

기존의 대표적인 결함 검출 방법으로는 Otsu 방법[5], Gabor 필터를 이용하는 방법[6], 평균과 표준편차를 이용한 방법[7-9] 등이 있다. Otsu 방법은 영상의 히스토그램 분포에 따라 적응적으로 설정된 임계값을 사용하여 결함을 검출한다. 이는 알고리즘은 간단하지만, 배경과의 밝기 차가 크지 않은 한도성 결함이 많이 포함된 영상의 경우 과검출이 발생하는 문제점이 있다. 그리고 Gabor 필터 기반의 방법은 특정 형태를 갖는 결함을 검출하는 방법이다. 그러나 TFT-LCD는 대부분의 결함이 그 형태를 정의할 수 없는 부정형성 특징을 가지므로 TFT-LCD영상의 결함 검출 시스템에 적용하기에 한계를 가진다.

평균과 표준편차를 이용한 방법으로는 STD(Standard Deviation) 방법[7]과 순차적 STD 방법[8] 등이 있다. 이들 STD기반 결함 검출 방법은 결함이 없는 영상의 휘도 분포가 정규분포를 따른다는 특징을 이용한 방법으로 실제 많은 검사 시스템에 활용되고 있다. 먼저 STD 방법[7]은 평균과 표준편차에 따른 임계값을 이용하여 결함을 검출하는 방법이다. 이는 결함 영역에 속하는 화소의 휘도는 영상의 히스토그램에서 가장자리 부분에 속할 확률이 높으며, 배경 영역에 속하는 화소의 휘도는 영상의 히스토그램에서 가운데 부분에 속할 확률이 높은 특징을 바탕으로 결함을 검출한다. 하지만 STD 방법은 배경과의 휘도 차가 큰 결함에 대해서는 신뢰있게 검출할 수 있으나, 배경과의 휘도 차가 크지 않은 결함에 대해서는 신뢰있게 검출하기가 어렵다.

순차적 STD 방법[8]은 STD 방법의 임계값 결정시에 사용하는 가중치를 순차적으로 사용함으로써 결함 가능성이 높은 순으로 결함을 검출한다. 이는 다중 가중치를 사용하여 신뢰 있게 결함을 검출할 수 있지만, 반복적인 계산에 따른 계산량과 반복 검출과정에서 종료 조건에 따라 검출 결과가 달라지는 문제가 있다. 따라서 평균과 표준편차를 이용한 방법들은 임계값에 따라 결함검출 결과가 크게 달라지는 문제를 갖고 있다.

본 논문에서는 기존의 STD 방법에서 사용한 히스토그램 대신 누적히스토그램을 이용하여 개선된 영상(이하 누적히스토그램 영상)을 사용함으로써, 임계값에 따른 결함검출 결과가 유사하도록 하는 STD 방법을 제안한다. 히스토그램에 비해 누적히스토그램 영상은 배경의 휘도에 해당하는 평균 부근의 휘도대비가 상당히 증가되는 특징이 있으며, 히스토그램 평활화 기법과 달리 정규분포의 누적분포함수(CDF; Cumulative Distribution Function)를 이용함으로써 노이즈가 함께 강조되는 것을 억제하여 안정적으로 휘도대비를 강조할 수 있다. 이와 같은 특징을 기반으로 누적히스토그램 영상을 획득한 후, STD기반 결함검출을 적용하여 성능을 개선한다. 제안한 방법은 평균 부근의 휘도대비를 증가시킴으로서, 배경과의 휘도 차가 크지 않은 결함화소들에 대해 신뢰있게 검출할 수 있어 임계값에 따른 결함 검출 결과가 크게 달라지는 문제를 해결할 수 있다.

2장에서는 영상 특성 및 STD 결함검출 방법에 대해 알아보고, 3장에서는 본 논문에서 제안한 누적히스토그램 영상에서의 STD 결함검출 방법에 대해 설명한다. 4장에서는 다양한 종류의 결함영상에 대한 실험을 통해 제안 알고리즘의 우수성을 확인한 후, 마지막으로 5장에서 결론을 맺는다.

 

2. TFT-LCD 영상 특성 및 STD 결함검출

2.1 배경 특성

TFT-LCD 영상은 Fig. 1과 같이 패널의 가장자리에 존재하는 BLU(Back Light Unit)에 의해 불균일한 휘도 분포를 포함한다.

Fig. 1.Example of TFT-LCD image.

불균일한 휘도 분포는 결함검출에 어려움을 주는 요인으로 작용하므로, 일반적으로 배경 영역의 휘도분포를 제거하는 보정방법을 전처리로 사용하며, 본 논문에서는 그 중 형태학적 연산[10]을 이용하여 전처리를 진행한 후 결함 검출을 진행한다. 전처리가된 TFT-LCD 영상에는 결함뿐만 아니라 노이즈도 함께 산재해 있고, 영상의 휘도분포는 일반적으로 정규분포 형태를 가지게 된다.

Fig. 2(a)는 512 × 512 사이즈의 실제 TFT-LCD 패널 영상으로써, 350㎛/pixel의 에어리어 카메라를 이용하여 획득된 영상이다. 해당 영상에 대해 히스토그램 평활화를 통해 결함 영역을 확인하고, 히스토그램 및 영상의 평균과 표준편차를 갖는 정규분포의 PDF(Probability density Function)를 비교하였다.

Fig. 2.TFT-LCD image and PDF. (a) TFT-LCD image, (b) histogram equalization image, (c) histogram of intensity.

Fig. 2에서 알 수 있듯이 영상의 히스토그램이 정규분포 형태를 가지며, 영상 내의 결함화소는 평균 휘도와 차이가 있는 휘도 값을 갖는다. 그리고 히스토그램 분포에서 평균휘도와 차이가 큰 결함화소는 히스토그램의 가장자리에 위치하고, 평균휘도와 차이가 작은 결함화소는 히스토그램의 가운데 부분에 위치한다.

2.2 STD 결함검출

STD(Standard Deviation) 기반 결함검출[7]은 정규분포를 따르는 영상에서 평균휘도와의 휘도 차가 클수록 결함화소일 확률이 큰 특징을 기반으로 식 (1)과 같이 임계값 THB와 THD을 결정한다.

여기서 m와 σ는 영상의 평균과 표준편차를 나타내며, kB와 kD는 각각 휘결함과 암결함을 검출하기 위한 임계값을 결정하는데 사용되는 가중치이다. 결정된 임계값을 이용하여 입력 영상 I(i,j)에 대해 식 (2)와 같이 결함영상 DI(i,j)를 검출한다.

Fig. 3은 Fig. 2의 영상에 대해 식(1)과 식(2)을 이용한 STD기반 결함검출을 적용한 결과에서 휘결함 영상과 암결함 영상을 각각 분리한 영상이다.

Fig. 3.Defect detection results for Fig. 2 image using the STD method.

STD 결함검출은 결함일 가능성이 높은 화소일수록 배경과의 휘도차이가 큰 특성을 이용하였기에 신뢰있는 결함검출이 가능하다. 하지만 배경과의 휘도차이가 작은 결함을 검출할 경우, 배경화소나 노이즈가 과검출이 되는 문제가 발생하게 된다.

Fig. 4는 평균필터를 적용하여 노이즈를 억제한 후, STD기반 결함검출을 적용한 결과영상들이다. Fig. 4(b)의 경우 노이즈가 다소 제거됨과 동시에 결함이 잘 검출이 되었으나, 많은 노이즈가 여전히 과검출되는 문제가 남아 있다. 특히 다른 임계값을 적용한 영상들의 경우, 임계값이 미세하게 변하였음에도 불구하고 배경영역이 크게 과검출이 되거나 결함이 미검출되는 문제가 존재함을 확인할 수 있다.

Fig. 4.Defect detection results for Fig. 2(a) using the STD with average filtering.

 

3. 누적히스토그램 영상을 이용한 STD 결함검출

일반적으로 휘도대비를 증가시키기 위한 방법으로 Fig. 2(b)에서 사용된 히스토그램 평활화 기법이 흔히 이용된다. 히스토그램 평활화 영상 IHE(i,j)는 식(3)과 같이 나타낼 수 있다.

여기서 H(k)는 히스토그램에서 휘도가 k인 화소의 개수를 나타내며, S은 영상의 총 화소 수를 나타내고 L은 영상의 화소 범위로 여기서는 8비트 영상을 사용하므로 256의 값이 주어진다. 주어진 화소 (i,j)의 휘도인 I(i,j)까지의 히스토그램을 누적하여 IHE(i,j)를 계산함으로써 히스토그램 평활화 영상을 획득할 수 있다. 그러나 히스토그램 평활화 영상은 영상의 누적분포함수를 기반으로 하였기 때문에, 영상의 결함과 노이즈의 분포에 따라 휘도대비가 정상적으로 강조되지 않아 결함을 식별하기 어렵거나 노이즈가 지나치게 강조되는 문제가 있다.

따라서 본 논문에서는 배경휘도를 중심으로 영상을 안정적으로 강조하기 위해 누적히스토그램 영상을 이용한 방법을 제안한다. 누적히스토그램은 영상의 누적분포함수 대신, 영상의 평균과 표준편차를 이용한 정규분포함수의 누적분포함수를 사용하여 영상의 휘도대비를 증가시킨다. 정규분포의 누적분포함수를 기반으로 하였기 때문에 결함이나 노이즈의 분포에 의해 변환함수가 크게 변동이 발생되지 않아 안정적으로 휘도대비를 증가시킬 수 있다. 이를 이용하여 주어진 영상으로부터 누적히스토그램 영상을 획득하고, 이에 대해 STD기반 결함검출을 적용한다.

먼저 영상의 평균(m)과 표준편차(σ)를 이용한 정규분포함수에 대한 누적분포함수 Cm,σ는 식(4)와 같이 나타낼 수 있다.

여기서 Nm,σ는 평균과 표준편차가 m과 σ일 때 정규분포를 나타내고, 누적분포함수는 0에서 I(i,j)까지 적분한 값을 계산하게 된다. 식(3)의 누적분포함수 Cm,σ를 기반으로, 식(5)의 누적히스토그램 영상 를 제안한다.

누적히스토그램 영상에서 일반적으로 배경의 휘도는 128에 가깝게 변환되고, 휘결함은 밝을수록 255의 값에 가까우며, 암결함은 어두울수록 0의 값에 가깝게 변환이 된다.

Fig. 5는 Fig. 2영상에 대해 히스토그램 평활화 영상과 누적히스토그램 영상으로 변환할 때 나타나는 휘도의 변화를 나타낸 그래프이다. 실선으로 표현된 영상의 누적분포함수를 사용할 경우 식(3)에 의해 히스토그램 평활화 영상이 획득되며, 점선으로 표현된 정규분포의 누적분포함수를 사용할 경우 식(5)에 의해 누적히스토그램 영상을 획득할 수 있다.

Fig. 5.Transform function of histogram equalization and cumulative histogram of Fig. 2(a).

Fig. 5에서 파선으로 표시된 기존 영상에서 125와 130의 휘도를 가지는 화소의 경우, 누적히스토그램 영상으로 변환할 경우 각각 14와 192의 휘도를 가지게 된다. 이와 같이 휘도대비가 커짐으로써 결함을 검출하기가 용이하게 변환되었음을 확인할 수 있다.

Fig. 6은 알고리즘을 설명하고 히스토그램 평활화 영상과 제안한 누적히스토그램 영상과의 차이를 확인하기 위해 제작된 의사영상과 각 알고리즘을 적용하여 개선된 영상들을 나타낸다. 의사영상의 배경의 휘도는 128이며, 880 × 545 크기로 제작되었다. 원형 모양의 결함을 크기와 밝기별로 추가하였으며, 영상 전체에 가우시안 노이즈도 함께 추가하였다. 원형결함은 영상의 중심에서 위아래로 멀어질수록 배경의 휘도와 차이가 커지고, 좌측에서 우측으로 갈수록 결함의 크기가 커진다. 또한 가우시안 노이즈는 σ = 1을 이용하여 첨가하였다.

Fig. 6.Pseudo image and enhanced images. (a) pseudo image, (b) histogram equalization image, (c) proposed image.

Fig. 6(b)와 Fig. 6(c)는 제작된 의사영상에 대해 각각 히스토그램 평활화 영상 및 누적히스토그램 영상을 구한 후, 평균 필터를 적용하여 노이즈를 개선한 영상을 나타낸다. 히스토그램 평활화를 적용한 Fig. 6(b)는 휘도대비가 크게 증가하여 결함을 인식하기에는 적합하나, 노이즈가 함께 강조되는 문제가 남아있음을 확인할 수 있다. 이에 비해 제안한 누적히스토그램 영상인 Fig. 6(c)는 휘도대비를 증가시키면서 노이즈가 함께 강조되는 것을 억제하여 안정적으로 영상이 강조되었음을 확인할 수 있다.

Fig. 6에서 중앙 부근에 표시된 수직선에 속하는 화소들의 라인 프로파일을 Fig. 7과 같이 나타내어 휘도분포의 변화를 자세히 확인해 본다.

Fig. 6의 결과에서 확인할 수 있었듯이, Fig. 7의 라인 프로파일을 통해 히스토그램 평활화는 노이즈도 함께 강조되는 문제가 있지만, 제안 알고리즘은 휘도대비를 증가시키면서 노이즈가 함께 강조되는 것을 최소화하여 결함검출에 적합한 영상으로 변환되었음을 확인할 수 있었다.

Fig. 7.Line profiles of Fig. 6. (a) line profile of Fig. 6(a), (b) line profile of Fig. 6(b), (c) line profile of Fig. 6(c).

Fig. 8은 Fig. 2(a)의 영상에 대해 제안한 누적히스토그램을 적용하여 개선된 영상과 STD 결함검출 방법에서 5개의 문턱 값에 따른 검출 결과영상을 나타낸다. Fig. 4의 결과에 비해 다양한 문턱 값에 따른 검출 결과가 유사하여, 검출 결과가 문턱 값에 민감하지 않음을 알 수 있다.

Fig. 8.Defect detection results by using proposed method.

 

4. 실험 결과 및 고찰

제안한 누적히스토그램 영상을 이용한 STD 결함검출의 성능을 확인하기 위해 다양한 형태의 결함을 갖는 영상들을 실험 대상으로 하였으며, 실험에 사용된 영상은 Fig. 2(a)와 같이 512 × 512 사이즈의 실제 TFT-LCD 패널 영상으로써, 350㎛/pixel의 에어리어 카메라를 이용하여 획득된 영상이다. Fig. 9는 실험에 사용한 결함 영상들과 이에 대한 히스토그램 평활화 영상들이다.

Fig. 9.TFT-LCD defect images and histogram equalization images.(a)(c) TFT-LCD defect image, (b)(d) histogram equalization image of (a) and (c).

Fig. 10과 Fig. 11은 각각 Fig. 9(a)와 Fig. 9(c)의 영상들에 대해 기존의 STD 결함검출 방법에서 임계값의 변화에 따른 결함검출 결과영상들이다. Fig. 10과 Fig. 11로부터 기존의 STD 결함검출 방법은 임계값의 변화에 따른 결함검출 결과가 상이함을 알 수 있다.

Fig. 10.Defect detection results for Fig. 9(a) image using the STD method.

Fig. 11.Defect detection results for Fig. 9(c) image using the STD method.

Fig. 12와 13은 Fig. 9(a)와 (c) 영상들에 대해 제안한 결함검출 방법에서 임계값의 변화에 따른 결함검출 결과영상들이다. 제안한 결함검출 방법은 임계값의 변화에 따른 결함검출 결과가 유사함을 알 수 있어, 검출 결과가 문턱 값에 민감하지 않음을 알 수 있다. 특히 기존의 STD 결함검출 방법에 비해 임계값 변화를 2배 이상 주어도 결함검출 결과는 안정적임을 확인할 수 있다.

Fig. 12.Defect detection results for Fig. 9(a) image using the proposed method.

Fig. 13.Defect detection results for Fig. 9(c) image using the proposed method.

Fig. 14는 Fig. 2(a)와 같은 조건에서 획득된 TFT-LCD영상으로, 배경과의 휘도차가 작은 수직방향의 휘결함들을 포함한 영상이다.

Fig. 14.TFT-LCD defect image and histogram equalization image. (a) defect image, (b) histogram equalization image of (a).

Fig. 15는 Fig. 14의 영상에 대해 기존의 STD 방법에 의한 결함검출 결과영상을 나타내며, Fig. 16는 Fig. 14의 영상에 대해 제안한 방법에 의한 결함검출 결과영상을 나타낸다. Fig. 16로부터 제안한 결함검출 방법은 배경과의 휘도차가 작은 결함을 포함한 영상에서도 임계값의 변화에 따른 결함검출 결과가 유사함을 알 수 있어, 검출 결과가 문턱 값에 민감하지 않음을 알 수 있다.

Fig. 15.Defect detection results of Fig. 14(a) image using the STD method.

Fig. 16.Defect detection results of Fig. 14(a) image using the proposed method.

 

5. 결 론

STD기반 결함검출 방법은 휘도가 높은 화소일수록 결함에 속하는 화소일 확률이 높다는 점을 기반으로 결함을 검출한다. 그러나 STD기반 결함검출은 임계값의 결정에 어려움이 존재하며 특히 배경과의 휘도차가 적은 결함을 검출하는데 있어서 과검출 및 미검출이 크게 발생하는 문제가 존재한다. 제안 알고리즘은 누적히스토그램 영상을 이용하여 배경과의 휘도대비를 크게 증가하도록 영상을 변환한 후, STD기반 결함검출 방법을 적용하였다. 결함영역의 휘도대비가 커짐에 따라 기존 STD기반 결함검출 방법에 비해 임계값의 변화에 강인함을 확인할 수 있었으며, 다양한 종류의 영상에 대해서도 유사한 임계값을 사용하는 장점을 가지고 있다. 또한, 제안한 누적히스토그램을 이용한 영상개선은 배경과 유사한 휘도를 갖는 객체 검출에 적극 활용될 수 있다고 사료된다.