Defect Detection algorithm of TFT-LCD Polarizing Film using the Probability Density Function based on Cluster Characteristic

TFT-LCD 영상에서 결함 군집도 특성 기반의 확률밀도함수를 이용한 결함 검출 알고리즘

Abstract

Automatic defect inspection system is composed of the step in the pre-processing, defect candidate detection, and classification. Polarizing films containing various defects should be minimized over-detection for classifying defect blobs. In this paper, we propose a defect detection algorithm using a skewness of histogram for minimizing over-detection. In order to detect up defects with similar to background pixel, we are used the characteristics of the local region. And the real defect pixels are distinguished from the noise using the probability density function. Experimental results demonstrated the minimized over-detection by utilizing the artificial images and real polarizing film images.

1. 서 론

TFT-LCD는 디스플레이 시장에서 다양한 기기에 사용되고 있다. 이러한 상황에서 TFT-LCD 산업은 현재 성숙기에 진입하였으므로 가격 경쟁력의 확보를 위해서는 원가 경쟁력이 있는 제품의 원활한 국내 생산이 중요하다[1,2]. 이에 따라 편광판 산업 또한 발전을 거듭해오고 있다. 또한 세계적인 업체들이 국내에서 현지 생산을 시작하면 편광 필름의 중요성이 함께 대두되며 요구되는 성능도 점점 높아지고 있다. TFT-LCD에 사용되는 편광 필름은 무결함 특성을 유지하는 것이 중요하지만 제조과정에서 먼지, 이물, 스크래치 등 다양한 결함이 발생할 가능성을 가지고 있기 때문에 필름 결함 검사를 필요로 한다. 현재의 결함 검사는 목시(目視)검사자의 육안검사에 의존적하는 실정이며 이는 검사자의 컨디션, 숙련도 등에 매우 의존적이며 인건비와 느린 작업속도 등에 의해 효율이 낮다[3,4]. TFT-LCD 생산 업체에서도 편광 필름의 품질에 대한 신뢰도 향상을 요청하고 있는 상황이지만 목시검사자에 의한 검사 결과 또한 주관적인 판단 결과로 신뢰성이 낮다. 이러한 이유로 편광 필름의 자동 결함 검사 시스템의 개발을 통해 생산비 절감 및 품질 향상을 시도하였다.

편광 필름의 자동 결함 검사 시스템은 획득된 영상의 전처리와 결함 후보 화소 검출, 후보 화소를 이용한 블랍 구성 및 특징점 추출, 이를 이용한 분류 및 인식 단계로 구성된다[5,6]. 편광 필름의 구조는 Fig. 1과 같이 여러 필름의 적층 구조로 구성되며, 이러한 구조적 특성으로 인해 편광 필름에 존재하는 결함은 크게 두 종류로 구분가능하다.

Fig. 1.The structure of polarizing film.

편광 필름을 구성하는 필름과 필름 사이에 존재하는 내부의 결함과 보호 필름과 같은 외부에 발생하는 결함으로 구분되는 결함은 발생 위치에 따라 구분가능하다. 이러한 결함을 검출하는 기존의 방법은 영상 내에 배경 영역과 결함 영역의 면적을 이용한 P-tile 방법[7], 히스토그램 형태를 이용하여 임계값을 결정하는 Otsu 기법[8], 영상의 평균과 표준편차를 이용하여 가능성이 높은 결함 화소부터 단계별로 검출하는 순차적 결함 검출기법[9] 등이 있다. 하지만 영역의 면적비를 이용한 P-tile 기법은 결함의 대략적인 크기 정보를 이용하여 결함을 검출하는 기법으로 다양한 형태와 크기를 가지는 편광 필름 결함을 검출하기에 한계점을 가진다. Otsu 기법은 영상의 히스토그램 형태에 따라 적응적으로 임계값을 검출하지만 배경과 결함의 휘도값이 유사한 경우 신뢰도 높은 결함 검출 결과를 기대하기 어렵다. 또한 순차적 결함 검출 기법은 결함에 포함될 확률이 높은 화소부터 순차적으로 결함 화소를 검출하는 기법이지만 임계값을 결정하기위해 사용되는 가중치에 매우 의존적인 검출결과를 나타낸다. 이러한 기존의 결함 검출 기법은 전역적 임계화 방법으로 배경과 유사한 휘도값을 가지는 결함의 검출력을 확보하기 위해서는 과검출을 피하기 어렵다. 결함 후보 화소의 과검출은 자동 결함 검사 시스템의 블랍 분석 및 인식 단계의 부담으로 작용하므로 과검출을 최소화하는 것이 매우 중요한 요소가 된다.

본 논문에서는 배경과 유사한 휘도값을 가지는 결함으로 정의되는 한도 결함까지 견실하게 추출하면서 잡음의 과검출을 최소화하는 알고리즘을 제안한다. 편광 필름의 결함을 검출하기 위해 배경 영역의 휘도값 범위를 추정하고 추정된 범위 이외의 휘도값을 가지는 화소를 각 결함 화소의 시드점(seed point)으로 결정한다. 이러한 시드점을 기준으로 국부 영역의 히스토그램의 분포 특성을 분석하여 결함 영역에 포함되는 추가 결함 후보 화소를 검출한다. 검출된 결함 후보 화소는 실제 결함과 잡음이 함께 검출된 결과이며 실제 결함 화소는 군집되어 나타나는 특징을 기반으로 확률 밀도 함수를 이용하여 각 화소의 군집도를 판단하여 결함과 잡음을 구분한다. 제안 방법의 검출 성능 및 과검출 최소화 결과를 검증하기 위해 실제 영상의 특성을 반영한 모의영상과 다양한 실제 필름 영상에 대한 검출 결과 및 정량적 평가를 수행하였다.

 

2. 편광 필름의 영상 특성 분석

편광 필름 영상을 획득하기 위한 광학계의 광원에 의한 불균일한 조도 및 필름의 평탄한 정도에 따라 불균일한 반사광에 의해 배경 영역의 불균일한 휘도 분포가 발생한다. 확산판(diffuser sheet)의 장착을 통해 불균일한 조명의 영향을 최소화하고 있지만 필름의 구조적 특성으로 인해 불균일한 휘도 분포가 여전히 발생하고 있다. Fig. 2는 편광 필름 영상으로 배경에 존재하는 불균일한 휘도 분포를 Fig. 2(b)의 히스토그램 평활화 결과 및 Fig. 2(c)의 3차원 그래프를 통해 확인할 수 있다. 이와 같은 배경 영역의 불균일한 휘도 분포는 결함 검출에 영향을 주는 요인으로 작용하여 결함 검출 결과의 신뢰도에 영향을 준다.

Fig. 2.Examples of real polarizing film image. (a) polarizing film image, (b) histogram equalization result of (a), and (c) 3-dimensional graph of (a).

여러 층의 필름들로 구성되어 필름과 필름사이에 제조상에 발생된 먼지나 이물, 접착 불량 그리고 스크래치 등으로 인해 많은 결함이 발생할 수 있고 LCD 영상과 같이 자동 검사를 통해 검출이 가능하다. 편광필름 영상에서 발생하는 대표적인 결함은 각 필름 층 사이에 이물, 기포 삽입에 의한 결함, 편광매질층의 찍힘이나 눌림에 의한 쿠닉(kunic), 핀 홀(pin hole)에 의한 휘점, 필름 표면의 이물, 스크래치, 기포 등으로 편광 필름의 품질에 직접적으로 영향을 미치는 치명적인 결함이다. 이는 결함이 존재하는 위치에 따라 투과광에 의해서만 획득되는 결함과 반사광에 의해서만 획득되는 결함으로 나뉜다. Fig. 3는 편광 필름에 존재하는 결함의 예로 Fig. 3(a)는 투과광에 의해서만 획득되는 필름 내 이물, 기포, 쿠닉(찍힘) 등의 결함을 나타내며 Fig. 3(b)는 편광 필름의 표면에 존재하는 결함으로 반사광에 의해서만 획득되는 스크래치, 점착제 이물을 나타낸다.

Fig. 3.Examples of a various polarizing film defects. (a) defects by transmitting optical system, and (b) defects by reflecting optical system.

필름내 이물과 점착제 이물은 영상에서 흑점의 형태로 나타나며, 실 이물과 스크래치의 경우 곡선 또는 직선의 형태를 가진다. 점 이물에 의해 발생하는 기포는 얼룩과 같은 형태로 획득된다. 본 논문은 이러한 다양한 형태 및 휘도값 분포 특성을 가지는 결함을 과검출을 최소화하면서 견실하게 검출하고자한다.

 

3. 제안한 방법

3.1 분포 함수의 모멘트(moment) 개요

모멘트는 분포함수를 분석하는 방법 중 하나로 분포함수에 대한 특성값으로 나타낼 수 있다[10,11]. n차 모멘트는 확률 변수에 대한 평균, 분산, 왜도, 첨도 등을 보다 일반화 시킨 것으로 확률 분포의 여러 통계량을 분석할 있으며, 변수 x의 원점에 대한 n차 모멘트는 식 (1)과 같이 나타낸다.

이때, F(x)는 분포함수를 그리고 E[ • ]는 기댓값을 나타낸다. 분포의 평균에서 편차에 대한 제곱의 합은 큰 편차의 제곱만큼 크게 작용하므로 분포의 형태에 따라 그 값이 상이하다. 이러한 편차의 제곱합의 성질을 이용한 값이 분산(variance)이며, 동일하게 편차의 3승합이 왜도(skewness), 편차의 4승합은 첨도(kurtosis)를 의미한다. 3차 모멘트 왜도는 분포함수의 비대칭 정도를 나타내는 척도로 집중점 및 최빈값을 중심으로 분포함수의 형태를 분석한다. 좌우대칭인 형태의 정규분포의 경우 왜도값이 0이며 Fig. 4(a)와 같이 오른쪽으로 긴 꼬리를 갖는 분포는 왜도값이 양수, Fig. 4(b)와 같이 왼쪽으로 긴 꼬리를 갖는 분포는 왜도값이 음수로 나타난다.

Fig. 4.Skewness of the bias in histogram. (a) positively skewed distribution , and (b) negatively skewed distribution.

3.2 히스토그램의 분포 특성을 이용한 결함 영역의 초기점 검출

LCD 편광 필름 영상은 조명의 영향으로 인해 배경에 불균일한 휘도분포를 가지고 있다. 이러한 불균일한 배경의 정보는 견실한 결함 검출을 어렵게 하는 요인으로 작용하므로 본 논문에서는 형태학적 연산기법[12]을 이용한 배경 추정 기법을 이용하여 배경의 불균일한 휘도분포를 제거한다. 배경의 불균일한 분포 추정 결과와 원영상의 차영상을 이용하면 어두운 결함은 음수값을 가지게 되므로 식 (2)와 같이 절대값을 이용하여 주변에 비해 어두운 결함을 밝은 결함으로 반전하여 결함 검출 기법을 적용한다.

이때 fb(x, y)는 휘도 분포를 평탄화한 후 어두운 결함이 반전된 영상이며 IF(x, y)는 형태학적 연산기법을 이용하여 배경의 휘도분포 추정 영상이다. 차 연산의 결과가 0으로 수렴하므로 bias를 설정하여 정규화한다.

실제 결함이 존재하지 않는 양품 영상 히스토그램의 이상적인 형태는 하나의 휘도값에 집중된 형태이다. 하지만 영상의 획득과정에서 센서 잡음과 같은 다양한 잡음의 영향으로 이상적인 형태의 영상으로 획득되지 않는다. 필름 영상에 존재하는 잡음 신호가 백색 잡음(White Noise) 형태의 광대역 특성을 가지고 있기 때문에 양품 영상의 히스토그램은 정규분포와 유사한 형태로 나타난다. 따라서 결함이 존재하는 영상에서 정규분포와 가장 유사한 형태의 히스토그램이 되는 임계값을 결정하면 결함 영역에 포함되는 화소를 검출할 수 있다.

여기서 T1은 결함 영역을 검출하기 위한 초기점(seed point)을 검출하기 위한 임계값을 나타내며 n, min, max, 및 σ는 각각 x의 범위 내 휘도값을 가지는 화소의 개수, 최소값, 최대값, 평균값, 표준편차를 나타낸다. 임계값 T1에 따라 배경 화소의 범위로 추정된 분포의 비대칭도 Skew(T1)가 최소가 될 때의 임계값 T1이 결함 영역의 초기점 검출을 위한 최적의 임계값으로 결정된다.

하지만 주변 영역과의 휘도값 차이가 매우 적은 한도성 결함은 배경의 휘도값과 유사하므로 한도성 결함의 검출력을 보장하기 위해서는 과검출 결과를 피할 수 없다. 따라서 과검출을 최소화하기 위하여 임계값 T1에 의해 검출된 초기점 p을 기준으로 국부 영역 L(p)의 히스토그램 분포 특성을 판단하여 한도성 결함이 존재하는 국부 영역의 추가 검출을 진행한다. 결함 영역과 배경 영역에 포함되는 화소가 혼합된 국부 영역의 경우 배경 영역의 국부 영역에 비해 분산이 크다. 이와 같이 국부 영역의 분산이 식 (4)의 조건에 따라 값이 큰 경우 두 영역이 혼합된 것으로 판단하여 배경과 결함을 검출하기 위한 국부 영역의 임계값 T2를 결정한다.

여기서 α는 혼합된 분포를 가진 영역으로 잘못 판단될 확률을 나타낸다.

국부 영역의 분산값이 크면 히스토그램 분포를 배경 영역의 분포와 결함 영역의 분포로 정규 분포 두 개로 추정 가능하다. 국부 영역 L(p)를 확률 Pb, Pd를 가지는 두 개의 가우시안 분포(Gaussian distribution)로 가정하고, 두 가우시안 분포의 평균을 mb, md라 하고 분산을 σ라 가정한다. 이때 국부 영역의 확률 밀도 함수는 식 (6)와 같이 정의할 수 있다.

두 확률 분포의 평균과 사전 확률을 1,2,3차 모멘트를 이용하여 추정하고 베이시안 접근법에 따라 식 (7)과 같이 국부 영역의 임계값을 결정한다. 결정된 임계값 T2를 이용해 국부 영역에서 배경과 유사한 휘도값을 가지는 한도 결함에 포함되는 화소까지 추가 검출이 가능하다.

이와 같이 각 단계를 통해 검출된 화소는 국부적 처리를 통하여 배경과 유사한 휘도값을 가지지만 결함에 포함된 화소가 잡음에 독립적으로 검출되면서 과검출을 줄일 수 있다. 하지만 각 단계에서 검출된 후보 화소는 실제 결함과 잡음이 함께 검출된 결과이다. 따라서 과검출이 줄어든 결과를 보이지만 잡음화소 또한 존재하는 결과이므로 잡음과 결함을 구분할수 있는 척도를 이용하여 최종적으로 결함만을 검출하고자한다. 결함은 군집된 형태로 나타나며 잡음은 광대역 특성을 가지므로 잡음과 결함을 구분하기 위해 확률 밀도 함수를 이용하여 군집된 정도를 판별한다. 결함 화소의 군집 정도를 판단하기 위해 일정 크기의 국부 영역에서 화소의 개수를 세는 파젠창(parzen window)을 이용한 확률 분포 추정 방법으로 확률값을 부여한다. 중심 화소를 기준으로 멀어질수록 결함에 포함될 확률이 낮아지므로 거리에 따라 가중치가 낮아지도록 하기 위해 커널함수로 가우시안 함수를 적용한 확률밀도함수는 식 (7)과 같다.

이때 (x, y)는 N × N크기의 국부 영역 중심 화소, (xi, yi)는 국부 영역의 검출된 결함 후보 화소의 좌표이다. C는 영상 전체에 검출된 화소의 개수를 의미한다. 확률밀도함수 값을 임계값 TC를 기준으로 임계화하여 잡음과 결함 화소를 구분하여 최종 결함을 결정한다.

 

4. 실험 결과 및 고찰

본 논문에서 제안한 결함 검출 기법을 사용하여 편광 필름의 결함 검출 결과를 나타내었다. 알고리즘의 정량적 평가를 위해 실제 영상의 특성을 반영한 모의영상과 실제 영상이 모두 사용되었다. 실험에 사용된 실제 광학 필름 영상은 결함을 포함하도록 임의로 선택하여 구성하였다. 실험에 사용된 실험용 PC는 3.40GHz Core i7 CPU와 4GB 메모리의 사양이며, Visual C++ 2008 컴파일러를 사용하였다. Fig. 5(a)는 제안 기법이 과검출을 최소화한 결과를 정량적으로 평가하기 위해 제작된 모의 영상으로 5단계로 선형 증가하는 결함의 크기와 4단계로 선형 증가하는 대비를 가지는 결함이 포함되어 있다. 결함 검출 결과는 잡음의 정도에 따라 그 결과가 달라지므로 Fig 5.(a)에 평균이 0이고 표준편차가 0.5에서 2.5까지 5단계로 증가하는 가우시안 잡음을 추가하였다. 이와 같이 표준편차를 가변하여 가우시안 잡음을 추가한 영상에 대해 Otsu 기법, 순차적 STD 기법을 이용한 결함 검출 결과와 제안 기법의 결과를 비교하였다.

Fig. 5.3-dimensional graph of the artificial image added a Gaussian noise. (a) artificial image (b) standard deviation 0.5, (c) standard deviation 1.0, (d) standard deviation 1.5, (e) standard deviation 2.0, and (f) standard deviation 2.5.

Fig. 6은 그 중 표준편차가 0.5일 때와 1.5일 때 영상의 결함 검출 결과이다. 잡음 레벨이 낮은 Fig. 6 첫 번째 행의 경우 잡음의 영향이 비교적 적으므로 과검출 비율이 낮다. 하지만 잡음 레벨이 높아지는 Fig. 6 두 번째 행은 전역적 임계화를 적용하는 기존의 방법에 비해 제안 기법의 과검출 비율이 매우 작은 것을 육안으로도 확인할 수 있다.

Fig. 6.Defect detection performance comparison in accordance with the noise level. (a) the artificial image added noise, (b) result of Otsu method, (c) result of sequential STD method, (d) result of the proposed method.

제안 기법의 결함 검출 결과가 기존 기법에 비해 과검출을 최소화한 결과임을 정량적으로 평가하기 위해 양성예측도(PPV; positive predictive value)를 이용하였다. 양성예측도는 결함 검출 결과 중 실제 결함의 비율을 나타내는 척도로 식 (8)과 같다.

여기서 TP(true positive)는 결함 검출 결과에서 결함을 결함으로 검출한 화소수를, FP(false positive)는 잡음을 결함으로 검출한 수를 의미한다. 따라서 양성예측도 값이 1에 가까울수록 실제 결함 화소를 제외한 잡음을 검출하지 않은 결과임을 의미한다. 신뢰도 높은 평가 결과를 도출하기 위해 Fig. 5(a)를 포함한 7장의 모의영상에 대해 5단계의 잡음을 추가하여 기존의 결함 검출 결과와 제안 기법의 결과를 비교하였다. 그중 표준편차가 1.5인 잡음을 추가하였을 때 7장 모의영상의 평균 양성예측도는 Table 1과 같다. 제안 기법의 결함 검출 결과가 기존의 기법에 비해 잡음의 과검출을 줄인 결과임을 확인할 수 있다.

Table 1.Comparison of the positive predictive value of the algorithms

Fig. 7은 잡음 레벨에 따른 7장 영상의 평균 양성예측도를 나타낸 결과이다. 잡음 레벨이 높아질수록 잡음의 영향으로 기존의 방법을 이용한 검출결과는 과검출이 상당히 증가하는 반면 제안 기법의 경우 잡음의 영향에 비교적 강인한 결과를 보인다.

Fig. 7.Result of over-detection evaluation in accorandce with the noise level.

모의 영상을 이용하여 분석된 제안 기법의 타당성을 바탕으로 실제 결함 검사 시스템의 적용 가능성을 분석하기 위하여 다양한 실제 편광 필름 영상에 적용한 결과를 Fig. 8로 확인 가능하다.

Fig. 8.Defect detection result comparison. (a) the real polarizing film images, (b) result of histogram equalization of (a), (c) result of sequential STD method, (d) result of the proposed method.

Fig. 8(a)는 결함이 포함된 실제 편광 필름 영상으로 Fig. 8(b)의 히스토그램 평활화 결과를 통해 육안으로 식별이 어려운 한도성 결함의 존재 유무를 할 수 있다. Fig. 8(c)의 순차적 STD 기법의 경우 한도성 결함의 검출을 위해 잡음의 과검출이 심한 결과를 나타낸다. 하지만 제안 기법의 경우 왜도를 이용하여 검출된 결함 영역에 포함되는 초기점을 기준으로 국부 영역의 특성을 이용하여 추가 화소를 검출한 결과 잡음의 과검출을 최소화하면서도 한도성 결함까지 견실하게 검출한 결과를 나타낸다.

 

5. 결 론

본 논문에서는 TFT-LCD용 편광 필름의 자동 결함 검사 시스템에 적용 가능한 결함 검출 기법을 제안하였다. 주변 화소와의 휘도값의 차이가 작아 식별이 어려운 한도성 결함까지도 견실하게 검출하면서 잡음 화소의 과검출 최소화를 목표로 하였다. 결함이 없는 배경의 분포를 추정하여 결함 영역의 초기점을 검출하기 위해 왜도를 이용하여 배경 분포를 추정하였다. 추정된 배경 분포를 제외한 범위를 결함 영역의 초기점으로 설정하고 잡음의 과검출을 최소화하기 위해 초기점을 기준으로 국부영역의 특성을 이용하여 배경과 유사한 휘도값을 가지는 결함 화소까지 추가 검출하였다. 제안 기법의 과검출 최소화 성능을 정량적으로 평가하기위한 모의 영상 및 실제 적용 가능성 판단을 위해 실영상의 적용 결과를 통하여 제안 기법의 타당성을 증명하였다.