Enhancement of Displacement Resolution of Vibration Data Measured by using Camera Images

카메라 영상을 이용한 진동변위 측정 시 측정해상도 향상 기법

Abstract

Vibration measurement using image processing is a fully non-contact measurement method and has many application fields. The resolution of vibration data measured by image processing depends on the camera performance and is lower than that measured by accelerometers. This work discusses the method to increase resolution of vibration signal measured by image processing based on the image mosaic technique with a high-power lens. The working principle of resolution enhancement was explained theoretically and verified by several experiments. It was shown that the proposed method can measure vibrations of relatively large scale structures with increased resolutions.

1. 서 론

구조물의 진동측정을 위해서는 접촉식 가속도센서, 변위센서 및 레이저 센서가 주로 사용되고 있다. 하지만, 접촉식 가속도센서는 구조물에 직접 부착해야 하므로 높은 곳에 위치한 구조물이나 위험지역과 같이 측정자의 접근이 어려운 지역에서 측정 시 많은 시간과 비용이 소요된다. 그리고 변위센서는 보통 비접촉식이지만 구조물과 일정간격 떨어진 위치에 완전한 고정이 이루어져야 하기 때문에 일반 구조물보다는 회전체축의 변위측정에 주로 사용되어진다. 또한, 레이저 센서는 고밀도 빛을 광파 간섭의 원리와 광 도플러 효과들을 응용한 것으로서 매우 높은 분해능을 가지고 있지만 비교적 고가이며 대상체의 굴곡률 및 반사율에 따라 사용 용도가 한정된다.

이에 최근 카메라 해상도의 급속한 발전으로 카메라를 이용한 진동 측정에 관한 많은 연구가 진행되었다(1~5). 카메라를 이용한 방법은 기존 센서 측정 방식에 비해 측정 해상도 및 샘플링속도는 떨어지지만 원거리 측정 및 다중포인트 동시 측정이 가능하다는 큰 장점을 가지고 있다. 따라서, 다리나 건물과 같이 저 주파수 및 큰 진동변위 특성을 갖는 비교적 큰 구조물을 대상으로 많은 연구가 이루어져 왔으며 측정 해상도를 높이기 위해 주로 망원렌즈를 사용하였다. 하지만, 기존의 방법은 대부분 측정 해상도가 카메라 해상도의 한계를 벗어나지 못하고 있다. 최근 측정 타켓의 설치 없이 구조물의 에지를 이용한 카메라 픽셀해상도 이상의 측정해상도를 갖는 EEPD(expected value of edge probability distribution) 방법이 제시되기도 하였으나 픽셀 사이즈 결정 과정에서 문제점을 보였다(6,7).

이 방법에서 픽셀 사이즈 결정 방법은 구조물의 지름방향 양쪽 경계를 하나의 이미지에 포함시켜 지름사이즈를 이용하여 픽셀의 사이즈를 결정한다. 이러한 방법은 수동적으로 픽셀 사이즈를 산출하는 방법에 비해 더 정확한 픽셀 사이즈 결정이 가능하다. 하지만, 측정 대상체가 큰 구조물일 경우 작은 구조물에 비해 상대적으로 큰 픽셀사이즈를 갖게 되며 이는 측정해상도를 저하시키고 측정오차를 증가시킨다. 이미지 프로세싱을 이용한 진동변위 측정 방법은 픽셀 사이즈가 측정해상도와 비례하고 측정오차에 가장 많은 영향을 미치기 때문이다. 따라서, 카메라를 이용한 진동변위 측정에서는 보다 신뢰성 있는 정보 취득을 위해 고해상도 이미지 취득이 매우 중요하다. 초고속 카메라를 사용하면 고해상도 이미지를 높은 프레임 속도로 취득이 가능하지만 매우 고가이기 때문에 일반적으로 산업현장에서 사용하기에는 어려움이 따른다.

이 연구에서는 저가의 산업용 CCD 카메라를 사용하여 측정해상도를 향상시키기 위한 방법으로 이미지 모자익 기법(8)을 적용한 방법을 제안한다. 제안된 방법을 검증하기 위해 초고속카메라와 일반 산업용 CCD 카메라를 이용한 비교실험을 통해 제안 방법의 성능을 살펴본다.

 

2. 측정해상도 향상 방법

카메라를 이용한 진동변위 측정을 위해서는 픽셀 단위를 SI 단위인 ‘m’로의 변환이 필요하다.

단위환산을 위해서는 정확한 픽셀사이즈의 측정이 필요하며, 기존의 EEPD 방법에서는 Fig. 1과 같이 구조물의 실제 지름을 양쪽 에지 사이의 픽셀수로 나누는 방법을 사용하였다.

Fig. 1An example of EEPD method for unit conversion

Fig. 2와 같이 전체영상을 S라 했을 때, m1×n1 사이즈의 측정포인트 A와 m2×n2 사이즈의 측정포인트 B에 대한 y축에 1차 편미분을 식 (1)과 같이 산출하여, 측정포인트 A와 B의 대표값인 F(S1)과 F(S2)을 산출한다.

Fig. 2Vibration measurement points in camera image based method

여기서 i는 측정포인트의 x축 좌표값, j는 y축 좌표값, p1과 p2는 A영역과 B영역의 절대좌표로부터 떨어진 거리이다.

따라서, A와 B의 대표값은 영상의 절대좌표 S(0,0)를 기준으로 F(S1)과 F(S2)만큼 떨어져 있는 좌표값이다. 두 대표값 사이의 픽셀거리는 구조물의 지름에 해당하므로 이를 이용하여 픽셀의 사이즈를 결정할 수 있다. 하지만, 카메라에 의해 취득된 이미지의 해상도는 한계가 있기 때문에 구조물의 지름이 커지면 구조물 양쪽 경계부분을 하나의 영상에 담기 위해 렌즈 배율을 감소시켜야 하므로 단위픽셀의 사이즈가 증가하게 되고 결과적으로 측정해상도를 저하시키게 된다.

고 배율 렌즈를 이용하여 측정 대상체를 확대하여 촬영함으로써 픽셀의 사이즈를 줄이고 측정해상도를 향상시킬 수 있지만 양쪽 에지를 한 이미지에 모두 담을 수 없기 때문에 픽셀의 사이즈를 결정하기가 어렵게 된다. 따라서, 픽셀사이즈를 감소시키면서 동시에 픽셀사이즈를 정확히 측정하기 위한 방법이 필요하다.

촬영거리 및 렌즈 배율을 고정시킨 카메라를 이용하여 취득한 연속이미지는 동일한 해상도 및 픽셀사이즈를 갖는다. 따라서, 진동변위 측정 전에 픽셀사이즈를 결정한 후 같은 촬영조건에서 이미지를 취득하면 앞서 결정된 픽셀사이즈와 동일한 픽셀사이즈의 영상을 취득할 수 있다.

이 연구에서는 Fig. 3과 같이 픽셀사이즈 결정과 정에서 고 배율 렌즈를 이용하여 구조물의 지름방향으로 여러 개의 부분영상을 취득하고 이미지 모자익기법을 사용하여 하나의 완성된 전체 영상으로 만들어 픽셀의 사이즈를 결정한 후 같은 촬영 조건에서 진동변위 측정과정을 수행한다.

Fig. 3Diagram of the proposed method

이미지 모자익 기법은 한 번에 촬영할 수 없는 큰 배경이나 사물을 부분적으로 촬영한 후 이들을 조합하여 전체 배경이나 사물을 합성하는 기술이다. 본 연구에서는 이미지 모자익 기법을 이용함으로써 진동변위 측정해상도를 향상시키고자 한다.

이미지 모자익 기법의 적용 및 고해상도 이미지 취득을 위해 고 배율 렌즈를 사용하여 구조물 양쪽에지의 수직방향으로 카메라를 이동시켜가며 여러장의 부분이미지를 취득한다. t번째 이미지와 t+1번째 이미지를 NCC(normalized cross correlation) 방법을 이용하여 두 이미지가 매칭되는 위치를 검색한다. NCC 방법은 다음과 같다.

M×N 사이즈의 t번째 이미지를 s(m,n)이라 하고 t+1번째 이미지를 o(m,n)이라 하면, 이미지 s와 o로부터 평균 As, Ao와 분산 , 를 다음과 같이 구할 수 있다.

이로부터 영상의 세로축 방향 i 번째 좌표와 가로축 방향 j 번째 좌표에서의 cross correlation은 식 (8)과 같이 구할 수 있으며, 이를 정규화하면 식 (9)와 같이 나타낼 수 있다.

이때 -1.0≤ Ncc ≤1.0 을 만족한다. Ncc가 1.0에 가까울수록 보다 일치하는 좌표로 볼 수 있다.

t번째 영상 s를 기준으로 만큼 좌표를 이동시켜가며 t+1번째 영상의 NCC를 구하고 일치도가 가장 높은 위치 좌표를 찾아 영상 s와 영상 o를 합성한다. Fig. 4에서와 같이 취득된 모든 부분 이미지를 하나의 합성 이미지로 만들면 구조물의 지름방향 이미지 전체를 하나의 이미지로 만들 수 있다.

Fig. 4Image mosaicing for unit conversion

이때, 부분이미지를 취득하는 마지막 시점에서 렌즈 배율 및 촬영거리 등의 영상 취득 조건을 고정시킨다. 동일 조건에서 영상이 취득되지 않으면 픽셀의 사이즈가 변경될 수 있기 때문이다. 합성된 이미지로부터 구조물의 픽셀단위 지름을 측정함으로써 단위픽셀의 사이즈를 결정할 수 있다.

제안 방법을 사용하면 구조물의 지름사이즈 전체를 하나의 영상에 포함하지 않아도 픽셀의 사이즈를 결정할 수 있기 때문에 고 배율 렌즈를 사용함으로써 픽셀사이즈를 최소화할 수 있으며 측정해상도를 향상시킬 수 있게 된다.

 

3. 실험 및 검증

3.1 실험환경

픽셀사이즈와 측정오차와의 관계 및 제안방법의 성능을 평가하기 위하여 Fig. 5의 고해상도 초고속 카메라와 Fig. 6의 저가 산업용 CCD 카메라를 이용하여 실험하였다. 지름 38.2 mm의 원통형 구조물을 측정 대상체로 하였으며 가진기를 사용하여 10 Hz의 정현파로 가진하였다.

Fig. 5Experimental setup for measuring sinusoidal signals using high speed camera

Fig. 6Experimental setup for measuring sinusoidal signals using industrial CCD camera

제안된 영상처리 방법은 Visual Studio C++을 사용하여 개발되었으며 S/W를 구동하고 분석하기 위한 노트북 컴퓨터를 사용하여 실험함으로써 제안된 방법의 성능을 평가하였다. 측정 오차를 평가하기 위하여 가속도센서 데이터를 동시에 취득하였으며 센서가 설치된 같은 위치의 영상을 취득하여 실험에 사용하였다.

3.2 픽셀사이즈가 측정오차에 미치는 영향평가

픽셀 사이즈가 측정오차에 미치는 영향을 확인하기 위하여 산업용 CCD 카메라와 18~108 mm 줌렌즈를 이용하여 픽셀사이즈를 증가시켜가며 제안된 방법을 적용한 총 9개의 픽셀사이즈별 10초간 진동변위 신호를 취득하였다.

Fig. 7은 각 픽셀사이즈별 측정오차의 크기를 나타낸 것으로 측정오차 값은 취득된 샘플데이터의 RMS값과 가속도센서 신호의 RMS값 사이의 차이를 나타낸 것이다. Fig. 7에서 보는 바와 같이 픽셀 사이즈가 증가 할수록 측정 오차의 크기도 증가하는 것을 볼 수 있으며, 카메라를 이용한 진동변위 측정 방법에서 측정오차를 최소화하기 위해서는 고해상도 영상을 취득할 필요가 있음을 확인하였다.

Fig. 7Effects of pixel size on measurement error

3.3 성능 평가 실험

초고속 카메라를 이용한 실험은 측정 대상체로부터 1.5 m 거리에서 200 mm 고 배율 렌즈를 사용하여 측정하였다. 초고속 카메라 이미지는 200프레임에 1600×1200 해상도로 취득되었다.

Fig. 8과 같이 측정포인트 A와 측정포인트 B의 실수형 에지를 검출하고 측정포인트 사이의 거리와 구조물의 실제 지름을 이용하여 픽셀의 사이즈를 결정하였다. 이때, 픽셀의 사이즈는 0.07418 mm/pixel로 나타났다. Fig. 9와 Fig. 10은 센서와 초고속카메라를 통해 취득한 3초간 진동변위 측정데이터를 비교한 그래프이다.

Fig. 8An image taken by high speed camera

Fig. 9Comparison of vibration displacements measured by accelerometer and high speed camera

Fig. 10Auto power spectrum of high speed camera

가속도센서 신호의 RMS는 0.22779 mm이고 초고속카메라를 이용한 방법의 RMS는 0.22521 mm로 나타났다. 두 신호 사이의 RMS차이는 0.00258 mm로 가속도센서 신호를 기준으로 볼 때 약 1.13 %의 오차율을 보였다.

일반 CCD 카메라를 이용한 실험은 측정 대상체로부터 1 m 거리에 카메라를 설치하고 90 mm 고배율 렌즈와 35 mm렌즈를 사용하여 제안방법과 기존방법에 각각 사용할 영상데이터를 취득하였다. 카메라는 198프레임에 640×480 해상도로 영상데이터를 취득하였다.

Fig. 11은 35 mm렌즈를 사용하여 취득한 데이터로 기존방법을 이용하여 측정포인트 A와 측정포인트 B의 실수형 에지를 검출하고 측정포인트 사이의 거리와 구조물의 실제 지름을 이용하여 픽셀의 사이즈를 결정하였다. 이때, 픽셀의 사이즈는 0.26588 mm/pixel로 나타났다. Fig. 12와 Fig. 13은 센서 및 기존방법을 통해 취득한 3초간 진동변위 측정데이터를 비교한 그래프이다.

Fig. 11An image taken by 35 mm lens

Fig. 12Comparison of vibration displacements measured by accelerometer and conventional image processing method

Fig. 13Auto power spectrum of conventional image processing method

가속도센서 신호의 RMS는 0.23505 mm이고 기존 방법의 RMS는 0.24932 mm로 나타났다. 두 신호 사이의 RMS차이는 0.01427 mm로 가속도센서 신호를 기준으로 볼 때 약 6.07 %의 오차율을 보였다.

Fig. 14는 제안방법을 적용한 이미지로 카메라를 수직방향으로 이동시켜가며 부분이미지를 취득한 후 고정된 상태에서의 취득이미지이다. 카메라를 이동시키면서 취득한 여러 장의 부분 이미지데이터를 모자익 기법을 이용하여 하나의 합성이미지로 만들었으며, 이때 결정된 단위 픽셀 사이즈는 앞선 기존방법에 비해 약 3.8배 작아진 0.07028 mm/pixel로 나타났다.

Fig. 14An image taken by 90 mm lens

Fig. 14와 Fig. 15는 가속도센서 및 제안 방법을 통해 취득한 3초간 진동변위 측정데이터를 비교한 그래프이다. 가속도센서 신호의 RMS는 0.23488 mm로 나타났으며 제안방법을 통해 취득된 신호의 RMS는 0.23627 mm로 나타났다. 두 신호 사이의 RMS차이는 0.00139 mm로 가속도센서 신호를 기준으로 볼 때 약 0.59 %의 오차율을 보였다.

Fig. 15Comparison of vibration displacements measured by accelerometer and proposed method

Fig. 16Auto power spectrum of proposed method using Mosaic

초고속카메라 및 CCD 카메라를 이용한 기존방법과의 비교결과, 제안방법을 이용함으로써 고해상도 이미지를 취득함과 동시에 픽셀사이즈를 정확히 측정할 수 있었으며, 이에 측정오차를 크게 줄일 수 있음을 확인하였다.

3.4 비 주기 진동변위 측정 실험

현장 적용 가능성을 확인하기 위해 비 주기 진동 신호에 대한 실험을 수행하였다. Fig. 17과 같이 지름 64.4 mm의 원통형 구조물을 측정 대상체로 하였으며 외부 충격을 이용하여 가진 시켰다. 일반 산업용 CCD 카메라와 제안 방법을 적용하여 실험하였다.

Fig. 17Experimental setup for measuring non-periodic signals by using the proposed method

Fig. 18은 제안 방법을 적용하여 픽셀사이즈를 결정한 후 고정된 카메라로부터 취득된 이미지이다.

Fig. 18An image taken by the proposed method

Fig. 19와 Fig. 20은 제안방법을 통해 측정된 가속도센서 신호와 주파수분석 결과를 보인 것으로 제안 방법에서 픽셀의 사이즈는 0.07694 mm/pixel, RMS는 0.14476 mm로 나타났다. 센서신호의 RMS는 0.14526 mm로 두 신호 사이의 RMS차이는 0.00050 mm로 약 0.34 %의 오차율을 보였다. 실험을 통해 비주기적인 구조물 진동변위 측정에서도 제안된 방법을 사용함으로써 큰 구조물에서도 높은 측정해상도로 측정이 가능함을 확인하였다.

Fig. 19Non-periodic signal measured by the proposed method

Fig. 20Auto power spectrum of non-periodic signal measured by the suggested method

 

4. 결 론

이 연구에서는 저가의 산업용 CCD 카메라를 이용한 진동변위 측정 시 측정 해상도를 향상시키기 위한 방법을 제안하였다. 카메라를 이용한 정확한 진동변위 측정을 위해서는 고해상도의 영상 촬영과 정확한 픽셀사이즈 결정 과정이 매우 중요하다. 하지만 고해상도의 영상촬영을 위해서는 고가의 영상 촬영장비를 필요로 하고 있으며 일반적으로 많이 사용되는 산업용 CCD 카메라는 비교적 낮은 해상도를 갖는 문제점을 가지고 있다. 또한, 낮은 해상도로 인해 비교적 큰 지름을 갖는 구조물의 진동 측정에서는 측정해상도가 떨어질 수 밖에 없는 문제점을 가지고 있었다. 이 연구에서는 고 배율 광학 렌즈와 모자익 기법을 이용한 픽셀사이즈 결정방법을 사용함으로써 큰 구조물의 진동변위 측정에서도 높은 측정해상도를 보일 수 있었으며, 실험을 통하여 제안된 방법을 검증하였다. 다만, 표면이 깨끗하고 매끄러운 구조물인 경우에는 제안된 모자익 기법을 사용하기에 어려움이 있었다. 이는 향후 해결해야 할 과제이다.

대부분의 산업현장 구조물은 표면의 긁힘 및 이물질 등이 있어 제안 방법의 적용이 가능할 것으로 판단되며, 특히 센서설치가 어려운 구조물의 진동변위 측정에 활용 가능할 것으로 기대된다.