A Study on Shape Recognition Technology of Die Casting and Forging Parts Based on Robot Vision for Inspection Process Automation in Limit Environment

극한환경 검사공정 자동화를 위한 로봇비전 기반 주단조 부품의 형상인식 기술에 관한 연구

Abstract

This study proposes a new approach to real time implimemtation of shape recognition technology of die casting and forging parts based on robot vision for smart factory. The proposed shape recognition and inspection technology for forging and die casting parts is very useful for manufacturing process automatiom and smart factory including external form's automatic inspection of machanical or electronic panrs for the precision verification. The reliabiblity of proposed technology Ihas been illustrated through experiments.

1. 서론

국내⋅외 관련 기술의 현황은 현재의 국내에 카메라 등에 사용되는 광학렌즈를 제조하는 가공업체는 약 10개 업체와 일본과 중국의 해외 현지업체, 기타 임가공 업체 등이 있다. 그리고, 관련 광학렌즈는 국내주요 업체들과 미국의 약 2개사에서 생산되는 양으로 전세계에 대부분이 공급되고 있다고 할 수 있다. 물론, 중국에서도 광학렌즈 생산업체들이 많이 있어 싼 노동력을 활용한 낮은 가격으로 국내업체들을 위협하는 실정이고,러시아에서도 일부 광학렌즈를 가공 생산하고 있지만 아직까지 정밀 렌즈가공기술에는 국내기술의 품질에 못 미치고 있다.

하지만, 현재까지 렌즈가공기술 및 제품의 품질은 국내제품이 기술경쟁력을 지니고 있지만, 광학렌즈 가공제조공정의 기술이 매우 취약하여 대부분 수작업 공정으로 진행되어서 생산능력이 부족하여 외국 주문량의 생산을 유지하기가 어려운 실정이다. 이와 같은 시대의 흐름에 부응하여 소비자의 요구에 따라 모든 시스템의 지능화⋅첨단화가 추구되면서 화상처리기술, 영상인식 그리고 시스템의 시각화 기능이 요구되면서 부터 매우 중요한 산업분야로 부각된 초정밀렌즈의 품질향상을 위해 공정 자동화를 위한 지능형 로봇 비젼 시스템 개발이 시급한 실정이다[1]

로봇 비젼에 대한 초창기의 연구는 주로 2차원 정보를 얻는데 초점을 두어 왔다. Makhlin⁽¹⁾은 카메라를 수직으로 설치해 이진 영상(Binary Image)으로 원형 형상의 위치를 알아내어 전기 모터의 조립을 수행하였다. Moshe Shoham⁽²⁾은 4개의 요소로 구성된 스폿(Spot)감지기로 2차원 상에서 방향과 속도 정보를 이용하여 용접선을 추적하는 작업을 수행하였다. Hitachi⁽³⁾에서는 전자 소자를 PCB에 삽입하는 과정에서 단면의 형상을 인식하여 방향을 맞추는데 이용하였다. 자동화 발달과 더불어 3차원 물체의 형상이나 위치 및 방향 정보를 얻어내는 연구가 활성화되었다. Birk⁽⁴⁾⁽⁵⁾는 핸드내에 있는 물체의 상태를 알 때 효과적으로 로봇을 조작하는 이론적인 연구를 하였다. Choi⁽⁶⁾는 카메라로부터 얻어진 2차원 화상 데이터와 그 물체의 모서리가 작업 테이블에 수직이라는 제약 조건을 추가하여 원형 단면 형상 물체의 3차원 정보를 얻어내는 방법을 제시하였다.[1]

21세기초에 들어 CPU의 놀라운 처리성능 향상, 고속 대용량 Memory의 발전, 고기능 Camera의 탄생 등 주변기술의 고 기능화 및 저 가격화가 이루어지면서 전 세계적으로 비약적으로 발전하고 있는 분야이며, 비접촉 검사용 비젼 시스템은 FA분야에서 필수적인 핵심요소로 까지 여겨지게 되었고, 일반 기업에서도 신뢰성 있는 비접촉 검사용 비젼 시스템의 도입이 근래에 와서는 그리 부담스럽지 않은 상황이라고 판단된다. 전 세계적인 추이로 보면 비교적 단순기능의 Sensing 처리 방식은 저가의 비접촉 검사용 비젼 시스템의 출현이 조만간에 예견되며 기타 범용 장비도 저가격화 추세에 있으며 특정분야에 응용되는 고기능, 고성능 제품 등은 향후에도 상대적으로 고가를 유지할 전망이다[2].

현재, 자동 검사용 비젼시스템의 국내 실정은 외산의 상용장비의 도입이 주류이며 일부 업체들에서 외산 핵심 장치를 근간으로 하고 처리목적에 맞게 Program 만을 개발하는 형태로 업무를 진행하는 형식이 대부분이라고 할 수 있다. 소수의 일부 기업들에서 핵심 처리 장치를 개발하려고 시도되고 있으며 현재 상용화 된 것은 거의 없는 실정이다. 또한, 이 분야의 응용기술은 여러 업체에서 노하우를 쌓아가며 연구개발에 박차를 가하고 있고 향후 국내 기술도 진일보 할 것으로 기대 된다. 기업의 경쟁력 확보에 비접촉 검사용 비젼 시스템의 역할은 지대 할 것으로 판단되는데 그 이유는 경쟁력 강화를 위한 품질 보증, 인력 절감 생산성 향상 등 다양한 분야에 확대 적용이 기대되며 첨단 정밀 분야인 광학기기, 반도체, 디스플레이, 광학재료 및 정밀부품 분야 등에서는 비젼 기술에 의한 검사/계측이 더욱 절실할 것으로 보인다. [3]

광학렌즈의 활용분야는 PC카메라, WEB카메라, 디지털카메라, 화상 휴대폰 및 IMT2000의 렌즈, 보드렌즈, 그리고 안경산업 및 휴대폰산업 등에 이르기까지 매우 광범위하므로, 관련산업분야의 기술개발이 절실히 요구되고 있다

따라서, 본 연구에서는 비접촉 검사용 비젼 시스템을 설계 개발하여 렌즈의 가공 정밀도 및 외형상태를 비롯하여, 양⋅불량 판정을 수행할 수 있는 광학렌즈 자동 검사용 로봇 비젼 시스템을 설계하고 그 성능을 검증한다.[4]

2. 형상인식 기술

2.1 Image Thresholding

영상 스레스홀딩(Image Thresholding)은 그레이 레벨(gray level)의 연속색조(continuous-tone) 영상을 2진 레벨(binary level)의 흑백 영상으로 변환하는 기법이다. 지정된 스레스홀드(threshold) 아래의 픽셀(pixel)값은 모두 블랙(black)으로 변환되고, 스레드홀드에 있거나 그 위에 있는 픽셀 값은 화이트(white)로 변환된다.[5]

영상 스레스홀딩은 윤곽선 추출(edge detection)을 하기전에 수행하는 과정으로써, 윤곽선을 추출하는데 혼란을 초래할지도 모르는 정보를 제거하기 위해 이용되는 과정으로, 영상처리과정에서 가장 보편적으로 이용된다[3]

스레스홀드의 수식은 다음 식(1)과 같다.

g(x, y) = 1 f(x, y) ≥ t

0 f(x, y) < t       (1)

여기서 F(X, Y)와 g(x, y)는 각각 영상처리전후의 (x, y)에 있는 화소의 농도값을, t는 경계값을 나타낸다.([6,7]

본 연구에서 수행한 스레스홀드 흐름도는 Fig. 1과 같다.

Fig. 1 Flowchart of Image thresholding

2.2 영상분할

본 연구에서 영상분할은 스레스홀딩에 의해 처리된 흑백영상의 색정보를 이용하여 입력 영상에서 인식에 필요한 제품의 형상이 있는 부분만을 추출하였다. 분할할 부분의 열(column)의 시작 부분을 찾는 알고리즘은 Fig. 2와 같고, 분할할 부분의 줄(row)의 시작 부분의 알고리즘은 그림 Fig. 2를 기본으로 두 군데를 수정하면 된다. 즉, 임의의 열(column)과 다음 열의 비교 대신 열의 위치는 같고 임의의 줄(row)과 다음 줄에 위치한 픽셀과의 부분과, Min x 대신 Min y를 구하면 된다.

Fig. 2 Flowchart of Initial Column for segment region

다음 흐름도는 분할할 부분의 열(column)의 끝 부분 위치를 찾는 흐름도인데, 줄(row)의 끝 부분을 찾는 방법은 Fig. 3에서 임의의 열과 그 앞의 열의 비교 대신 임의의 줄과 그 앞 줄을 비교하고, Max x 대신 Max y를 구gks다.[8,9]

Fig. 3 Flowchart to find the end column for segment region

2.3 윤곽선 추출

윤곽선을 추출하는 알고리즘은 미분 연산에 의한 기법과 마스크(mask)와 정합(matching)에 의한 기법 등이 있는데, 본 연구에서는 사용하는 패턴의 윤곽선을 추출하는 알고리즘은 영상 스레스홀(Image threshold)를 통한 평활화 과정을 거쳐 2진값으로 변환시킨 후 윤곽선 추출 작업을 수행하였다.[10]

본 연구에서 수행한 알고리즘은 한 번의 스캔으로 상⋅하⋅좌⋅우 4방향 윤곽선을 추출한다. 스캔하면서 임의의 픽셀과 그 다음 스캔되는 픽셀과 비교하여 변화가 생기면 그 정보에 의해 윤곽선을 추출한다. 또한 잡음에 민감하게 반응하지 않도록 알고리즘이 설계되어 있기 때문에 잡음 제거과정의 전처리 단계를 거치지 않고 스레스홀드 과정을 수행한 후 윤곽선 추출 과정을 수행하였다. 본 알고리즘의 윤곽선 추출 흐름도는 Fig. 4와 같다.[11]

Fig. 4 Flowchart of edge detection

2.4 특징값 추출

입력된 영상의 패턴을 인식하기 위하여 가중치(weight value)가 인가된 매트릭스(matrix)를 통해 입력된 영상에서 추출된 윤곽선과 정합(matching)시켜 영상의 특징값을 결정한다. 패턴 영상의 테이타 분포에 따라 매트릭스의 가중치 인가 방법을 조절한다. 가중치인가 방법에 따라 특징값이 민감하게 변화하기 때문에 가장 안정적인 특징값을 추출하기 위하여 많은 모의 실험이 필요하다.

본 연구에서 제안한 가중치 인가방법은 주어진 형상의 데이터를 분석하여 볼 때 데이터의 분포가 주로 중앙에 밀집하여 있기 때문에 가중치의 값도 중앙에 비중을 두어 인가하였다.[12]

인식기법 개발은 통계적 방법을 이용하여 오프라인 마킹인식을 수행할 경우, 인식 대상 케릭터가 많은 경우에는 방대한 계산량으로 처리 속도가 느린 단점이 있다. 이를 개선하기 위해 인식과정을 기능적으로 분리한 후, 각 단계를 하드웨어로 구현하여 파이프라인 처리가 되도록 구성함으로써 고속의 문자인식기의 구현이 가능하다. 이러한 단계 중 대분류 과정을 고속 처리할 수 있도록 다수의 디지털 신호처리용 프로세서(DSP)를 이용하여 병렬구조로 구현한다.

2.5 소프트웨어의 구성

실제 시스템에서 마스터 프로세서와 슬레이브 프로세서간의 데이터 통신은 마스터 프로세서와 슬레이브 프로세서간의 데이터 프로세서와 술래이브 프로세서간의 데이터 통신은 마스터 프로세서가 순차적으로 이루어진다.[11,12]

1) 호스트 컴퓨터에서 마스터 DSP의 프로그램과 표준 데이터를 전송하면 마스터 DSP에서는 내부의 RAM 영역에서는 프로그램을, 외부의 SRAM 영역에는 표준 데이터를 저장

2) 마스터 DSP는 자신의 프로그램과 데이터의 다운로드 완료 후 병렬로 접속된 다른 슬레이브 DSP’s에 순차적으로 호스트로부터 프로그램과 데이터를 전송받아 download를 수행

3) 모든 DSP’s의 프로그램과 데이터의 전송이 완료되면 마스터 DSP는 특징 추출의 완료를 알리는 flag 를 확인한 후 특징벡터를 읽어서, 자신을 포함한 전 슬레이브 프로세서로 순차적으로 전송

4) 모든 프로세서는 특징벡터를 이용하여 표준 데이터베이스와 식(4)에 의거하여 유클리드 거리를 계산한다.

5) DSP의 병렬 operations과 loop counter의 zero overhead를 이용하여 고속연산이 가능

Fig. 5 The Process of Shape recognition

3. 형상인식 시스템

비젼 소프트웨어는 호스트 컴퓨터의 운영체계(Operation System)하에서 동작하며, 호스트 컴퓨터의 한 어플리케이션 소프트웨어로 작동한다. 그러므로, 본 연구에서 적용한 Matrox Meteor-II 영상처리보드는 여러 기능을 가지고 있는 시스템의 한 모듈로서 응용될 수 있기 때문에 시스템 인테그레이션에 의한 특정용도의 시스템 개발이 편리하도록 설계되었다.[13]

렌즈 검사용 비젼 시스템의 주요 구성요소는 카메라, 렌즈, 비젼 모니터, 조명, 영상처리보드, 검사용 비젼 알고리즘, Host Computer, 제어기 그리고, 검사다이 및 Frame, 제반 주변 TOOL 등으로 구성된다. 아래의 Fig. 6은 PC 기반 렌즈 검사용 비젼시스템(Vision System)의 기본 구성도를 나타내고 있다. Fig. 7은 개발된 렌즈 양⋅불량 검사 시스템의 비젼 알고리즘을 나타내고 있다.[14]

Fig. 6 Structure of vision system based PC

Fig. 7 Vision algorithm for inspection of surface scratch

개발된 시스템의 주요 특성 및 기능은 다음과 같다.

① Vision System은 Hardware 장치와 검사용 Software Program으로 구성된다.

② 부품 표면 Scratch 검사용 Vision Program은 표면 불량 Scratch 정도의 기준사양 조건을 직접 입력하여 기준 영상 데이터로 설정하여 놓고, 실제 측정 영상 데이터와 기준 영상 데이터를 상호 비교하여 그 오차를 계산한 후 일정 범위 이내의 오차는 정상제품으로 일정 오차 이상의 제품을 불량제품으로 판별하는 기능 보유.

③ 본 검사 시스템은 최소 1Pixel 단위까지 측정이 가능함.(1Pixel은 3.7㎛×3.7㎛(0.1369×10^-4mm²))

④ 개발된 검사용 Vision System은 조도 검사, Ball (Lens) Roundness 검사, Damage Ball(Lens) 검사, Wrong Size Ball(Lens) 검사, Missing Ball(Lens) 검사, Extra Ball (Lens) 검사 등 부품의 가공정밀도 측정이 가능함.

4. 성능 시험

4.1 성능시험 개요

□ 부품 형상의 기준모델 실영상

Fig. 8은 측정 렌즈 모델의 정상 부품 실 영상을 영상처리보드를 이용하여 Image를 획득한 영상화면을 나타내고 있다. 기준 모델 설정 순서는 기준모델 설정 시작, 이미지 획득, 기준모델 영역 설정, 표면영역 지정, 불량 검색 영역 지정, 불량 형태 설정 순으로 설정을 한다.

Fig. 8 Hardware scheme of Image recognition

Fig. 10은 설정한 검사 영역 내 Pixel의 밝기를 0에서부터 255사이의 모든 영역을 히스토그램으로 표현한 화면을 나타낸다. Fig. 9는 실제 렌즈 부분을 판독할 수 있는 가장 적절한 Pixel의 밝기(158∼255)를 파악한 후 이진화를 통하여 렌즈 부분을 인식한 후 설정 검사 영역 내의 Pixel 밝기의 최적화 히스토그램을 나타내고 있다. 여기서, 결정된 Pixel의 밝기 값은 기준 모델에 대한 적정 밝기 값으로 측정 대상렌즈의 측정시 표면에 미세한 Scratch가 있을 경우 Scratch Gray Level 값을 측정하게 되고 기준 모델의 최적화 히스토그램에서 설정된 Pixel의 밝기 값과 비교하여 이진화함으로서 Scratch의 유⋅무를 판단한 후 렌즈 표면의 양⋅불량을 측정한다. 또한, Scratch의 Pixel 값을 이진화함으로서 얻은 Pixel의 개수를 파악하여 Scratch의 크기 또한, 측정이 가능하다. 렌즈 모델의 표면 Scratch가 특정 값 이상을 불량이라고 처리할 경우 측정된 Scratch 부분의 Pixel 개수를 계산하여 양품렌즈의 Scratch 크기 기준에 맞는 정상 렌즈를 측정할 수 있다.

Fig. 9 Real image of reference model of forging part

Fig. 10 A real image of reference model

Fig. 11서 파악된 최소 Pixel 밝기 값인 158을 기준으로 이진화되었음을 확인할 수 있다. 여기서, Pixel 밝기 값이 0∼157은 0의 값(black)으로 158∼255은 255의 값(white)으로 변환된다.

Fig. 11 Gray level value of optimizing histogram in set inspection area

4.2 결과 및 고찰

Fig. 12는 측정 렌즈 모델의 실 영상을 나타내고, Fig. 12는 측정 렌즈 모델의 시험 검사 측정 결과로서, 불량 부분을 화면에 칼라로 표현하고 있다.

Fig. 12 Inspected image of model

본 실험에서 불량의 조건 Scratch Pixel값을 10Pixel (0.001396mm²)이상으로 설정하였다(렌즈 제품 설계사양 기준). 따라서, Fig. 10을 보면 Scratch Surface의 Pixel값이 350.00p의 값을 가지므로 렌즈 표면이 불량임을 확인할 수 있다.(단, 1Pixel = 3.7㎛×3.7㎛ = 0.1369×10^-4mm²)

4.3 단조부품 형상인식 성능시험

단조 부품의 자동검사를 위하여 기준모델의 형상을 저장하고, 실제 부품의 실형상과 기준모델괴 비교하는 방법으로 형상인식알고리즘의 성능시험을 단조부품 원형 정밀도 검사에 대한 형상인식 성능시험을 8개 단조 부품의 모델에 대하여 각 18회씩 실험하고, 그 결과를 분석하였다.

Fig. 13 The forging parts for shape recognition based on robot vision

Fig. 14 The scene of experiments

Fig. 15 The result anaysis of shape recognition of forging parts

5. 결론

본 연구에서는 주조 및 단조 공정의 자동화를 위한 뿌리산업의 스마트 팩토리 실현을 위한 로봇비전 기술 기반 주조 및 단조 부품의 자동검사 및 분류 정리를 위한 형상인식 기술 및 실용화 기술을 개발하였다. 그에 대한 성능 검증을 위하여 주조 및 단조 부품의 외형 상태를 비롯하여 제품의 양불 판정을 비롯하여 주조 및 단조 부품의 형상 및 가공정밀도, 표면 거칠기, 결함 정도 등을 기준모델 사양 조건을 직접 입력하여 기준 영상 데이터로 설정하여 저장해 놓고, 실제 측정 영상 데이터와 기준 영상 데이터를 상호 비교하여 그 오차를 계산한 후 일정 범위 이내의 오차는 정상제품으로 일정 오차 이상의 제품을 불량제품으로 판별할 수 있는 형상인식기술을 이용하여 단조부품의 검사 기술을 제안하였다. 제안된 기술은 최소 50 pixel 단위까지 측정이 측정이 가능하며, 실험을 통하여 성능 검증 및 신뢰성을 확인하였다.