Generation of Epipolar Image Using Different Types of Satellite Sensors Images

이종 위성센서 영상을 이용한 에피폴라 영상 제작

Abstract

In this study, the epipolar images were created by both methods of resolution adjustment and piecewise approach using RPC(Rational Polynomial coefficients) and ancillary data of IKONOS-2 and SPOT-5 satellite images whose resolutions are different from each other. The stereo geometry of these two satellite images was analyzed and the RPC block modelling was accomplished for generating epipolar images. In order to evaluate the accuracy of created epipolar images, the y-parallaxes were analyzed for the specific points which were apparently identified in mountainous, plain and urban area. Also the RMSEs of the specific points were calculated using the coordinates from the epipolar stereo images and the coordinates from the block triangulation. Y-parallaxes were within one pixel and the RMSEs were within two meters for X, Y and Z each.

본 연구에서는 해상도가 서로 다른 고해상 위성영상 IKONOS-2와 SPOT-5 영상의 RPC(Rational Polynomial coefficients)와 위성보조정보 자료 등을 활용하여 해상도 조정 및 piecewise 방법을 적용하여 에피폴라(Epipolar) 영상을 제작하였다. 또한, 에피폴라 영상을 제작하기 위한 선행 작업으로 두 영상의 입체기하 분석과 RPC 블록모델링을 수행하였다. 제작된 에피폴라 영상의 정확도 평가를 위해 촬영 대상지역 중, 지형의 특성에 따라 산악지, 농경지, 도심지 및 주거지 등 육안 판독시 식별이 명확한 지점을 세분류하여 Y-시차를 분석하였으며, 이때 사용된 점을 대상으로 에피폴라 영상의 입체관측을 통해 획득한 3차원 좌표와 원영상의 블록모델링에 의해 계산된 3차원 좌표 차이의 RMSE를 계산하였다. 분석결과 Y 시차는 1 화소(pixel) 이내, RMSE 오차는 X, Y 및 Z에 대해 2m 이내임을 확인하였다.

1. 서 론

비약적으로 발전한 수치사진측량, 컴퓨터 관련 분야 및 인공위성의 기술은 대용량의 고해상도 입체 위성영상 취득 및 이를 이용한 정밀한 3차원 위치정보 추출을 가능하게 하여 대축척 지도 및 정밀 수치표고 제작 등에 다양하게 이용하고 있다. 3차원 위치정보 추출이 용이한 동일 궤도 입체영상은 촬영 영역이 협소하며, 위성 재방문 주기, 촬영각, 기상상태 등의 이유로 관심지역의 신속한 영상 획득에 많은 어려움이 있다. 동일지역을 촬영한 서로 다른 해상도의 이종 센서 영상을 이용할 수 있다면 보다 신속한 3차원 위치 정보 추출이 가능하다. 지금까지 동종 센서 기반의 frame 항공영상 또는 pushbroom 고해상 위성영상을 이용한 에피폴라 제작방법에 관해 Cho and Kang(1993), Lee and Park(2002), Noh et al(2007), Dan et al.(2008), Oh and Lee(2011) 등의 연구 사례가 있으며, 실용적 차원에서 활용되고 있지만, 이종 센서 기반의 에피폴라 영상 제작 관련 연구는 미미한 실정이다. 이에 본 연구는 RPC 기반의 piecewise 에피폴라 영상 제작 방법 (Oh, 2011)을 활용하여 신속한 수치지도 및 수치표고자료 제작을 위해 동종 및 해상도가 서로 다른 이종 센서 위성 영상을 이용한 에피폴라 영상제작 방법을 제시하고자 한다.

 

2. RPC 기반의 에피폴라 영상 제작 방안

2.1 직접변환법에 의한 RPC 제작

일반적으로 GSD(Ground Sampling Distance) 1m급 이상의 고해상도 위성영상은 RPC 자료를 함께 제공하지만, 본 연구에서 사용된 SPOT-5 위성영상은 영상과 위성의 보조정보만을 제공한다. 따라서, 본 연구를 수행하기 위해 SPOT 123-4-5 Geometry Handbook(2004)에 언급한 SPOT 위성의 궤도와 자세 정보만의 활용하여 직접변환(Direct- Georeferencing)방법의 궤도모델링을 수행하였으며, RPC 자료 생성을 위해 Grodecki(2001)이 설명한 방법을 활용하여 위성의 위치 p점에서 지상좌표를 나타내는 수식인 Eq. (1)과 타원 방정식을 나타내는 Eq. (2)를 이용하여 임의의 영상점과 타원체고에 대응하는 지상점을 계산하였다.

Where, X,Y,Z : ground coordinate, Xp, Yp, Zp : the satellite position, λ : the distance from the perspective center of the satellite to the ground point, : unit vector of CCD look direction, : transform matrix of platform frame to orbit frame, : transform matrix of orbit frame to the ECEF frame, a : WGS84 semimajor axis, b : WGS84 semiminor axis, h : ellipsoidal height.

2.2 RPC 기반의 블록조정 모델

일반적으로 RPC가 제공되는 고해상도 영상의 경우 지상 기준점에 대해 직접 관측한 영상좌표와 RPC 분수함수 다항식을 이용해 계산한 영상좌표를 비교하면 일정한 편의(Bias)가 존재한다(Choi and Kang, 2012). 이런 편의를 제거하기 위해 RPC 분수함수 다항식(Eq. (3))에 편의 값(Δp, Δr)을 보정하여야 하며, Eq. (4)와 같이 표현된다. 본 연구에서는 Grodecki(2003)이 제안한 방법을 활용하여 모든 영상의 편의를 제거한 블록조정 모델링을 수행하였다. Eq. (5)는 본 연구에서 사용한 관측 방정식이다.

Where, , l, s : normalized image coordinate, U, V, W : normalized groung coordinate (latitude, longitude, height).

Where, Δp=a0+a1 · Sample + a2 · Line, Δr= b0+b1 · Sample + b2 · Line, Line, Sample : image coordinate, L0, S0 : line offset, sample offset, Ls, Ss: line scale sample Scale, a0, a1, a2, b0, b1, b2 : image adjustment parameter.

Where, i : image number, j : point number

2.3 Piecewise 에피폴라 곡선점 및 생성

에피롤라 라인은 에피롤라 평면상에서 좌/우 영상의 동일점(공액점)을 지나는 직선이며, 일반적으로 frame 방식의 항공영상에 쉽게 적용되지만, 복잡한 기하구조를 갖는 pushbroom 방식의 위성영상에서는 에피폴라 라인이 곡선으로 표현된다. 곡선의 형태로 나타나는 epipolar 라인도 작은 구간에서는 직선으로 근사할 수 있는 특성을 활용하여 일정 간격으로 좌/우 영상에서 piecewise 에피폴라 곡선점 및 에피폴라 영상 상에 대응점을 도출하고 이를 선형화하여 에피폴라 영상을 제작하였다.

좌/우 영상의 piecewise 에피폴라 곡선점을 생성하는 절차는 Fig. 1과 같으며, piecewise 에피폴라 곡선점은 Fig. 2와 같이 영상좌표와 지상 높이범위(최저높이 ~ 최고높이)에 의해 좌/우 영상에 나타난다. 에피폴라 곡선점을 찾기 위해 우선, 좌측영상의 초기 시작점은 좌/우 영상의 중복영역 중심 영상좌표를 이용한다. 초기 시작점의 영상좌표, 정규화 된 높이값의 평균값(offset)과 축척계수(scale factor)를 이용하여 최소 및 최대 높이값에 대해 2개의 지상좌표를 계산한다. 계산된 2개의 지상좌표를 이용하여 우측영상의 영상좌표를 계산한다. 계산된 우측영상 좌표에 대해서도 동일한 방법으로 좌측영상에 영상좌표를 계산한다. 이러한 과정을 반복적으로 수행하면 좌/우 영상에서 piecewise 에피폴라 곡선점들이 생성된다.

Fig. 1.The flowchart of Piecewise epipolar curve points generation

Fig. 2.Piecewise method

전체 영상에 대해 piecewise 에피폴라 곡선점을 생성하기 위해서 좌측영상의 시작점들을 계산하며, 좌측영상의 초기 시작점을 기준으로 생성된 에피폴라 곡선점들을 이용하여 직선의 기울기를 계산하고, 계산된 기울기에 수직인 직선과 초기 시작점을 지나는 직선의 방정식을 계산한다. 다음 각 시작점들을 일정한 거리(Y 간격)로 생성하며, 좌측영상에서 생성된 각 시작점들을 기준으로 전체 영상에 대해 piecewise 에피폴라 곡선점을 생성한다.

이종 센서로 촬영한 해상도가 서로 다른 영상의 에피폴라 영상을 생성하기 위해서는 영상 해상도를 동일하게 설정 하는 과정이 필요하다. 본 연구에서 제안하는 방법은 다음과 같다. 우선, Fig. 3과 같이 초기 시작점을 기준으로 생성된 좌/우 영상의 에피폴라 곡선점에서 각 영상마다 Eq. (6)와 같이 X간격을 계산한다.

Fig. 3.Initial start point and epipolar curve point(Left image)

Where, N : number of points, (ri, ci) : image coordinates of point i.

계산된 X간격 중에서 작은 간격 즉, 저해상도 영상의 X 간격을 선택하여야만 서로 다른 해상도를 갖는 영상에서 에피폴라 영상을 생성할 수 있다. 좌/우 영상의 에피폴라 곡선점과 대응하는 에피폴라 영상 상의 대응점은 영상중심 부근의 초기 시작점을 (0,0)을 기준으로 앞에서 계산된 X 간격 및 Y 간격과 동일한 간격으로 에피폴라 영상 상의 대응점을 생성한다. 이렇게 생성된 좌/우 영상의 대응점들과 에피폴라 곡선점들 간의 관계식은 1차 다항식 변환이 아닌 고차 다항식으로 영상을 재배열하여 에피폴라 영상을 생성한다.

 

3. 에피폴라 영상 제작

3.1 실험자료

1) 대상지역 및 위성영상

본 연구에서는 다음과 같이 대전지역을 중심으로 촬영한 SPOT-5 입체영상과 IKONOS-2 영상을 사용하였다. 아래 Table 1은 위성별 기본정보이며, Fig. 4~6은 촬영된 위성영상이다.

Table 1.Image information of SPOT-5 and IKONOS-2 at Daejeon area

Fig. 4.SPOT-5 satellite image(Daejeon): SP01

Fig. 5.SPOT-5 satellite image(Daejeon): SP02

Fig. 6.IKONOS-2 satellite image(Daejeon): IK01

2) 영상 촬영 기하분석

본 연구에서 사용한 입체모델로부터 3차원 정보 추출이 가능한 지를 판단하기 위해 Zhu(2008)가 분석한 것과 같이 입체모델의 촬영기하 특성을 나타내는 지표인 수렴각(CA:Convergence Angle), 비대칭각(AA:Asymmetry Angle), 이등분 고도각(BIE:Bisector Elevation Angle) 및 기선 고도비(B/H:Base and Height ratio )를 사전에 확인하였다.

본 연구에서 사용한 동종 및 이종 입체모델의 촬영기하는 Table 2와 같다. 입체모델의 수렴각이 30~60°, 비대칭각은 20°보다 작은 값, 이등분 고도각은 60~90°, 그리고 최적의 기선 고도비는 0.25~0.40에서 자동 및 수동 3차원 정보 추출에 이상적이며, 기선 고도비가 0.4보다 큰 경우에는 평탄한 지역, 0.4보다 작은 경우에는 산악 및 고층건물지역 에서 3차원 정보추출이 가능하다(ASTRIUM, An EADA Company, 2012)는 연구결과에 따라, 본 연구에서 사용한 이종 입체모델을 이용하여 3차원 정보 추출이 가능한 것으로 판단된다.

Table 2.Characteristics of stereo geometry

3) 지상기준점 및 배치도

SPOT-5 입체영상과 IKONOS-2 영상의 중복영역 내에 육안 판독시 식별이 명확한 5점을 선정하여 GPS 관측을 수행하였다. Fig. 7은 위성영상 상에서 선점한 지상기준점의 예이며, Fig. 8은 GPS 현장 관측 점의 조서이고, Fig. 9는 위성영상 경계 및 기준점 배치도이다.

Fig. 7.Selection of ground coordinate example

Fig. 8.Report of ground coordinate

Fig. 9.Layout of ground coordinate

3.2 RPC 기반의 블록모델링 정확도 평가

SPOT -5 입체영상과 IKONOS -2 영상에 대해 지상기준점 5점을 활용하여 영상좌표를 관측하고 RPC 블록 모델링을 수행하여 영상좌표 보정 계수( Adjustment Parameter)를 산출하였다. Table 3에서 보는 바와 같이 지상기준점에 대한 이종 입체모델간의 RMSE 오차는 X: 1.17 m, Y: 0.27 m, Z: 0.78 m 를 확인하였다.

Table 3.Accuracy assessment of heterogenous sensors RPC block modeling(RMSE)

3.3 동종 및 이종 입체모델 에피폴라 영상 제작

본 연구에서는 Fig. 10~18와 같이 RPC 기반의 piecewise 에피폴라 영상을 제작하였으며, 에피폴라 곡선점과 에피폴라 영상점 간의 기하변환 방법으로는 다항식 2차식, 영상 보간법은 공일차 보간법을 이용하였다. 특히, 이종 센서의 경우, 저해상도인 SPOT -5 영상을 기준으로 고해상도 IKONOS -2 영상의 해상도를 변경하여 영상을 재배열하였다.

Fig. 10.SPOT-5 epipolar image(25,260×25,269): SP01

Fig. 11.SPOT-5 epipoar image(19,577×24,677): SP02

Fig. 12.Anaglyph images (Overlap Area): SP01-SP02

Fig. 13.SPOT-5 epipolar image(31,280×31,140): SP01

Fig. 14.IKONOS-2 epipoar image(5,894×6,598): IK01

Fig. 15.Anaglyph images (Overlap Area): SP01-IK01

Fig. 16.SPOT-5 epipolar image(25,070×24,579): SP02

Fig. 17.IKONOS-2 epipolar image(5,927×5,715): IK01

Fig. 18.Anaglyph images (Overlap Area): SP02-IK01

 

4. 에피폴라 영상 정확도 평가

4.1 Y-시차 분석

각 입체모델별 생성된 에피폴라 영상의 Y -시차는 다항식 변환 과정 등에서 발생되며, 특히 RPC 기반의 블록 모델링 정확도에 크게 좌우된다(Oh, 2011). 본 연구에서는 Fig. 19~21과 같이 지형의 특성을 반영하여 산악지, 농경지, 도심지 및 주거지 등으로 세분류하여 육안으로 식별이 명확한 지점에 대해 영상 상관 매칭( Image Correlation Matching )을 통해 좌/우 영상의 동일지점을 찾아 Y -시차를 분석하였으며, Table 4~6 에서 보는 것처럼 모든 지형의 특성에 대해 Y -시차는 1화소 이내로 나타났다.

Fig. 19.Area of mountainous

Fig. 20.Area of farmland

Fig. 21.Area of urban & plain

Table 4.Y-parallax analysis for SP01-SP02 stereo

Table 5.Y-parallax analysis for SP01-IK01 stereo model

Table 6.Y-parallax analysis for SP02-IK01 stereo model

4.2 3차원 정확도 분석

제작된 에피폴라 영상의 3차원 정확도 평가를 위해 BAE Systems에서 개발된 SOCET SET 소프트웨어를 이용하여 Y -시차분석에 사용된 점을 대상으로 입체관측을 통해 3 차원 좌표를 생성하였다. 입체관측 지상좌표와 블록모델링에 의해 계산된 지상좌표의 차이를 비교하여 RMSE 오차를 계산한 결과는 Table 7~9와 같다. Table 7은 동종 입체모델( SP01-SP02 )의 RMSE 오차는 X: 1.37m, Y: 1.11m, Z: 1.21m , Table 8은 이종 입체모델( SP01-IK01 )의 RMSE 오차는 X: 1.74m, Y: 1.32m, Z: 1.19m , Table 9는 이종 입체모델 ( SP02-IK01 )의 RMSE 오차는 X: 1.73m, Y: 0.85m, Z: 0.99m 로 나타났다. Table 7과 Table 8~9의 RSME의 오차는 거의 유사한 값으로 인해 이종 센서간의 에피폴라 영상을 이용한 3차원 위치 추출이 가능한 것으로 판단된다.

Table 7.3D Accuracy assessment(RMSE) for SP01-SP02 stereo model

Table 8.3D Accuracy assessment(RMSE) for SP01-IK01 stereo model

Table 9.3D Accuracy assessment(RMSE) for SP02-IK01 stereo model

 

5. 결 론

본 연구에서는 해상도가 서로 다른 이종 센서 위성영상에 대해 RPC 기반 에피폴라 영상을 생성하고 정확도를 평가하였다. 본 연구를 위해 SPOT -5 영상의 자세 및 위치 정보를 이용하여 직접변환 방법으로 RPC 모델을 생성한 후, RPC 의 편의보정 및 에피폴라 영상 정확도 향상을 위해 SPOT -5 영상과 IKONOS -2 영상에 대해 RPC 블록 모델링을 수행하였다. Piecewise 방법으로 에피폴라 곡선을 계산하고 저해상도 영상 기준으로 에피폴라 영상을 생성하였으며, 지형지물 특성을 고려하여 정확도를 확인하였다. 본 연구를 통해 다음과 같은 결론을 도출하였다.

• 실험에 사용한 SPOT -5 영상과 IKONOS -2 영상에 대해 RPC 기반의 블록 모델링 정확도는 R MSE X: 1.17 m, Y: 0.27 m, Z: 0.78 m 로 나타났으며, 이를 통해 이종 영상 입체모델을 이용한 3차원 위치 측정이 가능함을 확인하였다.• 에피폴라 영상 제작시 저해상도 영상 기준으로 piecewise 방법을 적용할 경우, 다양한 지형에 대해서도 Y -시차가 1 화소 이내로 나타났으며, 이는 3차원 위치정보, 지도제작 및 수치표고 자료 제작에 활용 가능할 것으로 판단된다.• 이종 센서로 촬영한 서로 다른 해상도의 영상에 대해서도 에피폴라 영상 제작이 가능함으로, 원하는 지역에 대해 신속하고, 경제적으로 3차원 위치 정보를 생성하는데 유용하게 활용될 수 있을 것으로 판단된다.