DOI QR코드

DOI QR Code

Development of Material Deformation Measurement System using Machine Vision

머신 비전을 활용한 재료 변형 측정 기술 개발

  • E. B. Mok ;
  • W. J. Chung ;
  • C. W. Lee (Department of mechanical system design and manufacturing engineering, SEOULTECH)
  • 목은빈 (서울과학기술대학교 기계정보공학과) ;
  • 정완진 (서울과학기술대학교 기계정보공학과) ;
  • 이창환 (서울과학기술대학교 기계정보공학과)
  • Received : 2022.10.15
  • Accepted : 2023.01.18
  • Published : 2023.02.01

Abstract

In this study, the deformation of materials was measured using the video and tracking API of OpenCV. Circular markers attached to the material were selected the region of interests (ROIs). The position of the marker was measured from the area center of the circular marker. The position and displacement of the center point was measured along the image frames. For the verification, tensile tests were conducted. In the tensile test, four circular markers were attached along the longitudinal and transverse directions. The strain was calculated using the distance between markers both in the longitudinal and transverse direction. As a result, the stress-strain curve obtained using machine vision is compared to the stress-strain curve obtained from the DIC results. RMSE values of the strain from the machine vision and DIC were less than 0.005. In addition, as a measurement example, a bending angle and springback measurement according to bending deformation, and a moving position measurement of a punch, a blank holder, and a die by time change were performed. Using the proposed method, the deformation and displacement of the materials were measured precisely and easily.

Keywords

1. 서론

재료의 변형을 측정하는 것은 재료의 변형 특성을 분석하는데 있어서 매우 중요한 역할을 한다. 특히 재료가 변형하는 과정 중 실시간 변형을 측정하는 것은 재료의 물성 평가, 공정 중 금형 변형 측정 등 다양한 응용이 가능하다. 변형율을 측정하는 방법은 신율계 (extensometer), 스트레인게이지 (straingage) 등을 재료에 부착하여 측정하는 직접식 측정 방법이 있고, 이미지를 사용하여 변형율을 측정하는 방법이 있다.

이미지를 사용하여 변형율을 측정하는 경우, 재료에 신율계, 스트레인게이지를 부착하지 않아도 변형율 측정이 가능하며, 한 번에 다양한 위치에서 변형 측정이 가능하다. 이와 관련한 연구는 다양하게 진행되어 왔다.

Kim 등 [1,2]은 자동 곡면 정보 분석 시스템 (Automated Surface Information Analysis System)을 개발하여, 성형한 제품의 3 차원 곡면변형율을 측정하였다. 이 외에도 ASAME (Automated Strain Analysis and Measurement Environment), ARGUS 등 [3]이 있다. 이와 같은 변형율 측정 시스템은 제품 표면에 일정한 크기의 격자를 형성하고, 성형 후 변형된 형상을 측정하여 변형율을 측정하는 방법이다.

Digital image correlation (DIC)는 실시간으로 변형율을 측정할 수 있는 방법으로 [4], 재료 표면에 스프레이를 통해 스펙클 패턴 (Speckle pattern)을 만들어 주고, 시간에 따른 패턴의 이동 및 변형을 측정함으로써 재료 표면에 발생하는 변위 및 변형율을 측정할 수 있다. DIC를 활용하는 경우 재료의 변형을 3 차원으로 시간에 따라 표현할 수 있어, 재료의 인장 시험 및 성형 실험에서 정밀한 변형율을 측정하기 위해 사용한다. DIC 의 경우, 재료에 스프레이를 도포해야 하며, 전문 촬영 장비 및 분석 소프트웨어가 필요하다. 또한 처리해야 할 데이터의 양이 증가하여, 실시간으로 처리하기 어려운 단점이 있다.

이와 같은 문제를 해결하기 위해 컴퓨터 비전, 레이저 등을 활용한 실시간 재료 변형 측정 기술이 개발되었다. Kwok 등 [5]은 머신 비전 시스템을 통해 굽힘 공정에서 제품의 외곽선을 추출하여 굽힘 각도를 측정하였다. Elkins 등 [6]는 굽힘 공정에서 재료에 레이저를 조사하여 반사되는 각도로 굽힘 각도를 측정하였다. Ha 등 [7]은 튜브 굽힘 공정에서 튜브에 레이저를 연결하여, 레이저의 위치를 측정하여 재료의 굽힘 각도를 측정하였다. 이와 같은 방법은 손쉽게 재료의 변형이 측정 가능하나, 특정 변형 상태에만 적용 가능하여 범용성의 문제가 있다.

본 연구의 목적은 일반 디지털 카메라, 스마트폰 카메라의 영상데이터를 사용하여, Python 기반의 재료의 변형 및 이동을 간편하게 측정하는 프로그램을 개발하는 것이다. 본 연구에서는 머신 비전 분야에서 많이 사용되고 있는 프로그래밍 라이브러리 OpenCV (Open Source Computer Vision) [8]의 특정 형상 또는 개체의 위치를 추적할 수 있는 Tracking API와, 추적한 개체의 정확한 위치를 분석할 수 있는 영상처리 기법을 사용하였다. 먼저 본 연구에서 사용한 영상 처리 및 위치 측정 알고리즘에 대해 설명하였다. 그리고 1 축 인장 시험에서 상용 DIC 프로그램 (GOM Correlate)과 본 연구에서 제안한 측정 방법의 비교를 통해 제안한 방법을 검증하였다. 그리고 굽힘 실험에서 재료의 변형 각도를 측정하였고, 판재의 성형 실험에서 각 금형 부품의 이동을 측정하였다.

2. 영상 처리 방법 및 측정 알고리즘

2.1 위치 및 변형 측정 알고리즘

재료 변형 측정은 객체 추적을 기반으로 하여 진행하였다. 본 연구에서 적용한 위치 및 변형 측정 알고리즘은 Fig. 1 과 같다.

SSGGB@_2023_v32n1_20_f0001.png 이미지

Fig. 1 Flow chart of the tracking and deformation measurement algorithm

먼저 재료에 객체 추적을 위한 특정점을 표시하기 위해 마커를 부착하였다. 영상에서 마커를 관심 영역 (Region of interest, ROI)로 지정한 후, 해당 마커의 위치를 측정하여, 프레임에 따른 위치 변화 데이터를 저장한다. 픽셀 당 거리, 프레임 당 시간을 측정하여 프레임에 따른 마커 위치(픽셀)을 시간에 따른 절대 거리로 변환할 수 있다. 이 데이터를 활용하여 변형율, 각도, 변위 등을 계산할 수 있다.

2.2 Tracking API

한 번 지정한 객체의 위치를 연속된 영상 프레임에서 지속적으로 찾아내는 것을 객체 추적이라 한다. Tracking API는 이와 같은 객체 추적을 보다 쉽게 사용할 수 있도록 개발된 API로 추적할 객체의 초기 위치만 전달하여 손쉽게 객체 추적이 가능하다.

Tracking API는 여러가지 머신 러닝 알고리즘을 기반한 8 개의 tracker를 제공한다. 본 연구에서는 CSRT (Channel and Spatial Reliability Tracking) 트래커를 사용하였다. CSRT 트래커는 ROI 내 객체의 형태 정보를 반영하여 객체 위치를 추정하며, 그 과정에서 상관 필터를 지속적으로 업데이트함으로써 객체를 추적한다[9].

본 연구에서는 재료가 변형함에 따라 이동하는 재료 내 특정 점을 추적하여 위치를 측정하기 위해 흰색과 검은색으로 구성된 GOM Metrology의 0.8mm 포인트 마커를 사용하였다. 또한 ROI는 마커 형상을 포함하도록 설정하였다.

2.3 영상 처리 알고리즘

Tracking API가 마커의 정확한 위치를 제공하지는 않기 때문에 ROI 내에서 원형 마커의 중심 위치를 찾는 알고리즘을 적용하였다. 먼저 ROI 내부에 위치한 마커의 외곽선을 추출하여 그에 외접한 사각형을 그린 뒤, 꼭지점의 좌표로부터 중심점을 찾아 해당 프레임에서의 위치를 표시하였다. 그리고 재료의 변형 전 후 프레임 별 마커 중심점의 위치를 측정하였다. 세부 과정은 다음과 같다.

측정의 정확도를 위해 본 연구에서는 양방향 필터를 적용하여 영상의 노이즈를 제거하였다. 노이즈 제거를 위한 대표적인 필터인 가우시안 필터는 과하게 적용하게 되면 영상의 경계 (Edge)가 훼손될 수 있다. 양방향 필터는 이 단점을 보완하기 위해 가우시안 필터를 양쪽 방향으로 두 번 적용하는 기법으로 경계 부근의 픽셀 값의 차이가 크면 0, 작으면 1의 가중치를 두어 경계가 아닌 부분만을 블러링하여 경계를 보존한다.

양방향 필터를 적용하여 노이즈는 없고 경계는 뚜렷한 이미지를 얻어 바이너리를 적용한 뒤, Canny 함수로 마커의 경계를 검출한다. 그리고 검출한 경계를 원으로 근사화 하는 허프 원 변환 (HoughCircles)을 통해 외곽선을 그린다. 그리고 OpenCV의 무게중심을 구하는 Moments 함수를 사용하여 검출한 외곽선 내부의 무게중심을 구하여 중심 좌표로 사용하였다. 영상의 각 프레임마다 해당 영상처리 알고리즘을 활용하여 시간에 따른 마커의 중심 위치를 계산하였다. 이 일련의 과정들을 아래 Fig. 2 에 간략하게 나타냈다.

SSGGB@_2023_v32n1_20_f0002.png 이미지

Fig. 2 Image processing for finding center of the marker

재료 내 측정하고자 하는 특정 점이 여러 개라면, 그에 해당하는 개수의 포인트 마커를 사용하였다. Tracking API에서 동일한 마커를 다수 사용하는 경우, 추적하는 특정 점의 형상이 동일하기 때문에 다른 마커를 추적하는 경우가 발생한다. 이와 같이 추적점이 변경되는 경우 위치 측정이 정확하지 않다. 따라서 이와 같은 문제를 해결하기 위해 ROI를 선택하였을 때, Fig. 2 와 같이 ROI 외의 영역은 모두 제거한 영상을 만들어 이 영상에서 트래킹을 실시한다.

2.4 표면 처리

일부 소재의 경우 가공, 작업, 보존환경 등의 영향으로 표면 상태가 좋지 못하다. 이 경우 영상에 노이즈가 많이 생겨 추적 알고리즘이 원활하게 적용될 수 없다. 따라서, Fig. 3 (b)와 같이 측정 마커를 붙이고자 하는 위치에 무광 흰색 스프레이를 뿌리거나, 무광 흰색 스티커를 부착하여 표면 상태를 좋게 만든다. 그 후 원형 마커에 추적 알고리즘을 적용하면 노이즈가 감소하여 보다 정확한 마커의 추적이 가능하다. Fig. 3 의 (a)는 소재의 표면 처리 전 후 사진이며, (b)는 표면 처리 전 후 영상에 바이너리를 적용한 사진이다. 표면 처리 전 소재의 바이너리 이미지는 노이즈가 많이 보이는 반면, 표면 처리 후 소재의 바이너리 이미지에는 노이즈가 보이지 않음을 알 수 있다. 추가적으로, 무광 흰색 스프레이는 재료 변형이 발생하는 경우에 적합하며, 단순히 재료 변형 없이 이동만 측정하는 경우 무광 흰색 스티커를 사용할 수 있다.

SSGGB@_2023_v32n1_20_f0003.png 이미지

Fig. 3 Image processing results of (a) original materials, (b) sprayed materials

3. 머신비전을 통한 변형 측정

본 연구의 목적은 OpenCV의 Tracking API를 이용하여 재료 변형을 측정하는 것이다. 본 연구에서는 검증 예제로, 1 축 인장 시험을 적용하였다. 또한 측정 예제로, 굽힘 변형에서 굽힘 각도 측정, 드로잉 실험에서 펀치, 다이, 블랭크 홀더의 시간에 따른 이동 위치를 측정하였다. 실험은 MTDI 社의 만능재료시험기 (MINOS-020)와 Apple 의 iPhone 11 을 사용하여 Full HD 화질로 영상을 제작하여 측정하였다.

3.1 인장 실험에서 재료 변형 측정

재료의 성형성을 평가하는 대표적인 방법 중 하나는 인장 시험이며, 이로부터 재료의 여러가지 기계적 특성을 알 수 있다. 인장 시편은 두께 1t의 자동차용 판재 CR2 를 사용하였고, 인장 속도는 15mm/min, 변위는 9mm 로 제어하여 실험 종료 후 측정한 변형률을 비교하였다. 변형율은 마커 사이픽셀 거리 변화를 통해 측정하였다.

먼저 Fig. 4 와 같이 시편에 종 및 횡방향으로 원형 마커를 2 개씩, 총 4 개를 부착한다. 그리고 실험 과정을 동영상으로 촬영한 뒤, GOM Correlate program에서 마커를 특정점으로 잡아 해당 DIC 프로그램에서 측정한 변형율과 본 연구에서 제안한 방법으로 측정한 변형률을 비교하였다. 여기서 변형률은 식 (1)로부터 계산하였다. 식 (1)에서 dt 는 시간 t 에서 마커 2 개 사이의 거리, d0 는 변형 전 마커 2 개 사이의 거리를 의미한다.

SSGGB@_2023_v32n1_20_f0004.png 이미지

Fig. 4 Tensile test with the machine vision system

\(\begin{aligned}e=\frac{d_{t}-d_{0}}{d_{0}}\end{aligned}\)       (1)

3.2 인장 실험 결과 및 분석

Test 1 부터 Test 5 까지 총 5 회 측정한 변형률은 Table 1 과 Table 2 에 나타냈으며, 오차율은 대략 4% 이하였다. 또한, DIC 로 측정한 변형률과 머신 비전으로 측정한 변형률을 0.5 초 단위로 보정하여 응력-변형률 선도를 작성하고, 두 방법의 변형률 값에 대한 평균제곱근편차 (RMSE)를 구하였다. 그 결과 RMSE 값은 모두 0.005 이하로, 비교적 정확한 실험 결과를 얻을 수 있었다.

Table 1. Comparison of measured strain using DIC and machine vision in the longitudinal direction

SSGGB@_2023_v32n1_20_t0001.png 이미지

Table 2. Comparison of measured strain using DIC and machine vision in the transverse direction

SSGGB@_2023_v32n1_20_t0002.png 이미지

Table 1 과 Table 2 로부터 측정 오차율이 횡방향 변형률에서 더 크게 나타나는 것을 관찰할 수 있다. 이는 상대적으로 재료가 많이 변형하는 종 방향은 픽셀의 이동이 큰 반면, 변형이 적은 횡 방향은 픽셀의 이동이 크지 않아 생기는 현상이다.

아래 Fig. 5 는 Test 1 의 종 방향 변형률을 이용하여 나타낸 응력-변형률 선도이다. 여기서 변형률은 동일한 영상을 사용하여 DIC 에서 측정한 변형율과 머신 비전으로 측정한 값을 이용하였다. 두 방법의 결과를 비교하였을 때, 머신 비전으로 이 DIC 결과 만큼 변형률을 잘 예측하고 있음을 알 수 있다.

SSGGB@_2023_v32n1_20_f0005.png 이미지

Fig. 5 Stress-strain curve

Fig. 6 은 Test 1 의 시간 당 GOM Correlate program과 머신 비전으로 측정한 종 방향, 횡 방향 변형률을 그래프로 나타낸 것이다. 종 및 횡 방향 변형률의 RMSE 오차는 각각 0.0036, 0.0028 로 머신 비전을 이용한 측정이 높은 정밀도를 보였다.

SSGGB@_2023_v32n1_20_f0006.png 이미지

Fig. 6 Distribution of the (a) longitudinal and (b) transverse directional strain with respect to time

본 연구에서 제안한 변형율 측정 방법의 경우, 마커를 부착하면 어느 방향의 이동이든 쉽게 측정이 가능하다. 재료의 종 방향, 횡 방향으로 변형율을 측정하는 경우, 측정 결과를 활용하여 이방성 계수의 측정이 가능하다.

3.3 V-굽힘에서 굽힘 각도 측정

판재를 성형함에 있어서 스프링 백을 최소화하는 것은 매우 중요하다. 이를 위한 가장 기본적인 단계는 V-굽힘 실험[10]에서 소재에 따른 스프링 백을 측정 및 분석하는 것이다. 보통 실험 후 3 차원 스캐닝을 통해 제품의 변형 각도를 측정하는데, 본 연구에서 제안하는 트래킹 기반의 변형 측정에서는 실시간 측정이 가능하다.

굽힘 실험 재료는 두께 2 mm 의 AZ31B-H24 마그네슘 합금을 사용하였으며, 15 mm/min 의 변위 제어 방식으로 진행하였다. 펀치 각도는 90˚, 펀치 반경은 1 mm 이며 펀치 스트로크는 14 mm 로 설정하였다. 아래 Fig. 7 은 실험 장비를 보여주는 사진이다.

SSGGB@_2023_v32n1_20_f0007.png 이미지

Fig. 7 Experimental set-up for the V-bending

실험에는 총 4 개의 마커를 사용하였다. 먼저 원활한 영상 처리를 위해 흰색 무광 스티커를 원형 마커 뒤에 덧대어 처리한다. 그 후, 재료의 두께 면에 처리한 원형 마커를 한 쪽에 나란히 2 개씩 총 4 개를 붙인 뒤 각 마커를 ROI 로 설정한다. 마커의 번호는 좌측에서부터 1, 2, 3, 4 로 정하였다. Fig. 8 은 머신 비전을 굽힘 실험에 적용한 사진이다. 굽힘 변형이 진행됨에 따른 마커의 중심 좌표를 추적하여 식 (2)로부터 직선의 기울기를 구해 재료의 스프링백을 측정한다. 식 (2)에서 x1, x2, x3, x4는 마커 1, 2, 3, 4의 x 위치이며, y1, y2, y3, y4는 마커 1, 2, 3, 4의 y 위치이다. VA와 VB는 각각 마커 1, 2와 4, 3이 만드는 벡터이다.

\(\begin{aligned}\begin{array}{l}\cos \theta=\frac{\boldsymbol{V}_{A} \cdot \boldsymbol{V}_{B}}{\left|\boldsymbol{V}_{\boldsymbol{A}}\right|\left|\boldsymbol{V}_{\boldsymbol{B}}\right|} \\ \boldsymbol{V}_{\boldsymbol{A}}=\left(x_{2}-x_{1}\right) i+\left(y_{2}-y_{1}\right) j \\ \boldsymbol{V}_{\boldsymbol{B}}=\left(x_{3}-x_{4}\right) i+\left(y_{3}-y_{4}\right) j\end{array}\end{aligned}\)      (2)

SSGGB@_2023_v32n1_20_f0009.png 이미지

Fig. 8 Measurement strain value of the (a) machine vision and (b) Experimental result

3.4 V-굽힘 측정 결과 및 분석

Fig. 8 에서 스프링백 발생 후 굽힘 제품을 머신비전을 통한 측정 결과와 시편을 3D 스캔한 후 각도를 비교하였다. Fig. 8 의 (a)는 굽힘 변형이 완료되어 펀치가 상사점에 위치한 모습을, (b)는 굽힘 변형한 재료의 최종 형상을 나타낸 사진이다. 재료를 3D 스캔하여 분석한 결과, 최종 변형 각도가 122.50˚로 측정되었다. 펀치가 상사점에 위치하여 재료 변형이 완료됐을 때, Machine Vision을 이용하여 측정한 재료의 최종 성형 각도는 122.35˚ 이다. 두 측정 값의 오차율은 0.12%로 Machine Vision 을 통한 측정이 비교적 정확함을 알 수 있었다.

Fig. 9 는 프레임을 시간으로 보정한 뒤, 머신 비전으로 측정한 재료 변형 각도를 시간에 따라 나타낸 그래프이다. 57.5 초에서, 설정한 펀치 스트로크 14mm에 도달하였고 이 때 재료 각도는 109.72˚로 측정되었다. 그리고 59 초 이후 펀치가 상승하면서 스프링백이 발생하며 79 초에 스프링백 변형이 완료된다. 제품의 최종 변형 각도는 122.35˚로 스프링백은 약 12.63˚ 발생하였다.

SSGGB@_2023_v32n1_20_f0008.png 이미지

Fig. 9 Angle of the material according to time during the V-bending experiments

두께가 얇은 판재 같은 경우 원형 마커를 붙이는데 어려움이 따를 수 있다. 이와 같은 경우, 자율 주행에서 많이 쓰이는 알고리즘인 허프 라인 검출 (HoughLines)을 이용하여 원형 마커가 아닌 직선을 검출하는 방법을 적용할 수 있으며, 현재 해당 방법을 적용한 연구를 진행 중이다.

3.5 드로잉 공정의 금형 이동 측정

본 연구에서 수행한 드로잉 실험은 정지해 있는 다이 (Die)에 홀더 (Holder)로 소재를 눌러 고정한 뒤 펀치 (Punch)가 내려와 소재를 원하는 형상으로 가공하는 것이다. 본 연구에서는 머신 비전으로 금형의 이동거리를 측정하여 다이, 홀더, 펀치의 시간에 따른 위치 변화를 측정하였다.

실험 재료는 두께 1 mm 의 자동차용 판재 CR2 를 사용하였으며, 35 kN 의 하중 제어 방식으로 진행하였다. 먼저 다이-홀더-펀치로 구성된 프레스 금형[11]의 시간에 따른 이동거리를 파악하기 위해 Fig. 10 과 같이 금형에 마커를 부착하여 실험을 구성하였다. 금형의 표면 상태가 고르지 않으므로 원활한 영상 처리를 위하여 흰색 무광 스티커를 덧대어 원형 마커를 부착하였다.

SSGGB@_2023_v32n1_20_f0010.png 이미지

Fig. 10 Experimental set-up of the sheet drawing experiments

3.6 드로잉 공정의 금형 이동 측정 결과 및 분석

실험은 약 400 초간 진행되었으며 프레임을 시간 변환하여 금형의 이동거리를 Fig. 11 과 같이 그래프로 나타내었다. 1 픽셀당 거리는 0.156 mm 이며, 홀더는 약 74 초 동안 9.68 mm, 펀치는 약 400 초 동안 45.90 mm 이동한 뒤 다이와 닿아 더 이상의 이동을 하지 않는 것을 알 수 있다.

SSGGB@_2023_v32n1_20_f0011.png 이미지

Fig. 11 Displacements of the punch, holder and die during the sheet drawing experiments

그래프 상 약 270 초가 넘어가는 시점에서 다이, 홀더의 이동거리가 증가하는 것을 확인할 수 있다. 이는 성형 과정에서 성형 하중이 증가함에 따라 시험기의 프레임이 변형하여 발생한 이동으로 볼 수 있다. 따라서, 정확한 펀치의 이동 거리를 측정하기 위해서는 펀치의 이동거리 – 홀더의 이동거리로 계산해야 하며, 이 때 총 이동거리는 36.22 mm 가 된다.

일반적인 방법으로는 다이의 이동 거리를 정확히 측정하기 어렵지만, 머신 비전을 통해 실시간으로 측정하는 경우, 홀더가 이동하는 거리, 홀더와 펀치의 상대 위치를 실시간으로 정확히 계산할 수 있다. 다이의 경우, 보통 위치 변화가 발생하지 않아야 한다. 하지만 아래 그래프에서 확인 가능하듯이 성형 공정 중 0.7 mm 가 이동한 것을 확인할 수 있다. 이는 펀치가 다이와 접촉한 후 하중이 급격히 증가한 상태에서, 재료 및 다이를 위치시킨 UTM 의 프레임이 변형이 발생하기 때문이다.

4. 고찰

인장시험에서 영상처리를 진행한 영역은 재료의 변형이 발생하는 영역은 세로 950 픽셀, 가로 840 픽셀이다. 일반 PC (Intel i9-11900K, 32Gb Ram, GTX3080)에서 초당 12 프레임까지 처리 가능하였다. 굽힘시험 및 금형 이동 측정에서는 넓은 영역을 측정하였다. 측정 영역은 가로 세로 각각 3000 픽셀, 1800 픽셀이며, 1 초당 약 2 프레임이 처리 가능하였다. 처리 영역이 증가함에 따라 영상처리 시간이 증가하였으며, 인장시험의 경우 PC 로 영상을 입력받아 영상처리를 진행하는 경우 실시간 변형율 측정이 가능한 수준이다.

기존 DIC 측정 방법의 경우, 영상을 촬영한 후, 특정 프로그램을 통해 일반적인 변형율 (각 방항 별변형율, 전체 변형율 변화)등을 측정한다. 하지만 본 연구에서는 사용자가 입력을 원하는 데이터를 다양하게 처리 가능하다. 굽힘에서는 좌표 데이터를 기반으로 굽힘 각도 측정으로 변경이 가능하며, 이동거리는 시간에 따라 상대 이동 거리, 절대 이동 거리 등으로 출력이 가능하다는 장점이 있다.

또한 파이썬을 통해 프로그램을 구현하였기 때문에, 추가적인 다양한 작업을 추가할 수 있다. 재료의 파손이 발생하는 경우 파손 이미지를 학습하여 R-CNN, YOLO 를 통해 공정 중 파손 검출이 가능하다. 또한 굽힘 등의 성형 공정에 적용하여 목적 형상 성형을 위한 펀치 스트로크 최적화 등에 적용할 수 있으며, 해당 연구를 진행 중이다.

5. 결론

본 연구에서는 스마트폰 또는 일반 카메라를 활용하여 간편하게 재료 변형을 측정할 수 있는 Machine Vision 기술을 개발하였다. 인장 변형, 굽힘 변형 그리고 금형 이동 거리 측정 등 3 가지 예제에 적용하여 그 실효성을 확인하였다.

(1) 인장 변형에서는 원형 마커 4 개를 부착하여 종 및 횡 방향 변형률을 측정하였다. 측정 방법은 GOM Correlate program과 머신 비전을 사용하였고, 실험은 총 5 회 반복하였다. 두 측정 방법 간의 오차율은 4% 이하였으며, RMSE 도 0.005 이하로 나타났다. 따라서 머신 비전을 방법으로도 정확한 측정 결과를 얻을 수 있었다.

(2) 굽힘 변형에서는 시간에 따른 재료의 굽힘 각도를 측정할 수 있었다. 재료의 최종 변형 각도를 3D 스캔과 머신 비전으로 측정하였다. 재료를 스캔하여 측정한 값은 122.50˚였고, 머신 비전으로 측정한 값은 123.35˚로 머신비전을 이용한 경우 정확한 측정이 가능함을 확인하였다.

(3) 세번째로 금형 이동 측정에서는 다이, 홀더, 그리고 펀치의 이동거리를 머신 비전으로 측정하여 프레임을 시간 변환하여 분석하였다. 성형 과정에서 성형 하중이 증가하는 것을 고려하였을 때, Fig. 12 로부터 펀치의 이동거리는 36.22mm 로 측정되었다. 성형 공정 중 펀치와 다이가 접촉하여 하중이 급격히 증가하여 재료, 금형, UTM 프레임이 변형하면서 다이가 약 0.7mm 이동한 현상을 관찰할 수 있었다.

후기

본 연구는 정부의 재원으로 한국연구재단 (NRF)의 지원 (과제번호: NRF- No. NRF-2020R1C1C1014412)을 받아 수행되었습니다. 또한 본 연구에서 사용한 코드는 GitHub[12]에서 다운로드 받을 수 있습니다.

References

  1. Kim, H.J., Kim, D. S., and Kim, H. Y., Improvement of the Stereo Vision-Vased Surface-Strain Measuremnet System for Large Stamped Parts. The Korean Society for Technology of Plasticity, 2000. 9(4): p. 404-412.
  2. Kim, D.S. and Kim, H. J., A Study on the Improvement of Accuracy and Precision in the Vision-Based Surface-Strain Measurement. The Korean Society for Technology of Plasticity, 1999. 8(3): p. 294-305.
  3. GOM Metrology, Available from: https://www.gom.com/en/products/3d-testing/argus.
  4. Chu, T., Ranson, W., and Sutton, M. A., Applications of digital-image-correlation techniques to experimental mechanics. Experimental mechanics, 1985. 25(3): p. 232-244. https://doi.org/10.1007/BF02325092
  5. Kwok, S. and Lee, W. B., The development of a machine vision system for adaptive bending of sheet metals. Journal of materials processing technology, 1995. 48(1-4): p. 43-49. https://doi.org/10.1016/0924-0136(94)01631-A
  6. Elkins, K.L. and Sturges, R. H., Design of a sensor for on-line measurement of loaded bend angle for pressbrake control. Robotics and Computer-Integrated Manufacturing, 2001. 17(4): p. 329-340. https://doi.org/10.1016/S0736-5845(01)00008-4
  7. Ha, T., Welo, T., Ringen, G., and Wang, J., A strategy for on-machine springback measurement in rotary draw bending using digital image-based laser tracking. The International Journal of Advanced Manufacturing Technology, 2022. 119(1): p. 705-718. https://doi.org/10.1007/s00170-021-08178-w
  8. OpenCV team, Available from: https://opencv.org/.
  9. Huang, M., Guan, W., Fan, Z., Chen, Z., Li, J., and Chen, B., Improved target signal source tracking and extraction method based on outdoor visible light communication using a cam-shift algorithm and Kalman filter. Sensors, 2018. 18(12): p. 4173. https://doi.org/10.3390/s18124173
  10. Yu, J. H. and Lee, C. W., Study on the Time-Dependent Mechanical Behavior and Springback of Magnesium Alloy Sheet (AZ31B) in Warm Conditions. Materials, 2021. 14(14). https://doi.org/10.3390/ma14143856
  11. Lee, C. W., Yu, J. H., Youn, H. W., and Chung Y. C., The Minimum Formable Radius of Subtle Feature Lines in Automotive Outer Panel Stamping. International Journal of Automotive Technology, 2021. 22(4): p. 993-1001. https://doi.org/10.1007/s12239-021-0089-0
  12. https://github.com/AIMETALFORMINGLAB/StrainMeasuring