A Study on the Forecasting of Bunker Price Using Recurrent Neural Network

Abstract

In this paper, we propose the deep learning-based neural network model to predict bunker price. In the shipping industry, since fuel oil accounts for the largest portion of ship operation costs and its price is highly volatile, so companies can secure market competitiveness by making fuel oil purchasing decisions based on rational and scientific method. In this paper, short-term predictive analysis of HSFO 380CST in Singapore is conducted by using three recurrent neural network models like RNN, LSTM, and GRU. As a result, first, the forecasting performance of RNN models is better than LSTM and GRUs using long-term memory, and thus the predictive contribution of long-term information is low. Second, since the predictive performance of recurrent neural network models is superior to the previous studies using econometric models, it is confirmed that the recurrent neural network models should consider nonlinear properties of bunker price. The result of this paper will be helpful to improve the decision quality of bunker purchasing.

본 논문에서는 딥러닝 기반의 순환신경망을 이용하여 선박 연료유 예측을 시도하였다. 해운업에서는 선박 운항비에서 연료유가 차지하는 비중이 가장 크고 가격 변동성도 크기 때문에, 해운 기업은 합리적이고 과학저인 방법으로 연료유를 예측하여 시장경쟁력을 확보할 수 있다. 본 논문에서는 순환신경망 모델 3가지(RNN, LSTM, GRU)를 이용하여 싱가폴의 HSFO 380CST 벙커유 가격을 단기 예측하였다. 예측결과, 첫째, 선박 연료유 단기적 예측을 위해서는 장기 메모리를 사용하는 LSTM, GRU보다는 일반적인 RNN 모델의 성능이 우수한 것으로 분석되어, 장기적 정보의 예측 기여가 낮은 것으로 분석되었다. 둘째, 계량경제학 모델을 사용한 선행연구와 비교하여 순환신경망 모델의 예측성능이 우수한 것으로 분석되어 연료유가의 비선형적 특성을 고려한 순환신경망 모델을 통한 예측 연구의 필요성을 확인하였다. 연구의 결과는 선박 연료유의 단기 예측을 통하여 해운기업의 선박 연료유 수급 결정과 같은 의사결정에 도움이 될 수 있을 것으로 기대된다.

I. Introduction

해운산업은 수요와 공급의 불일치라는 해운 고유의 특성과 국제적 산업 특징으로 인해 외부 위기에 영향을 쉽게 받는 변동성이 높은 산업에 속한다. 이러한 산업 특성으로 인하여 해운과 관련된 많은 지표는 높은 변동성을 갖는 특징을 가지고 있다. 이에 따라 해운기업은 이러한 변동성에 대응하기 위한 세심한 경영 의사결정이 요구된다. 근래의 장기 저운임은 이러한 외부 변수가 해운산업 전반에 많은 영향을 주는 시기였다. 과도한 공급으로 인하여 운임의 상승 폭이 둔화함에 따라서 수익성의 극대화보다는 비용을 효율화하려는 방식으로 해운기업의 경영은 이루어졌다. 이러한 비용효율화를 통한 경영방식에서 핵심적인 부분이 선박 연료유 비용의 관리이다. 선박 연료유 비용은 운항비의 47%를 차지하는 단일 비용으로 선박 연료유 가격의 변화에 따라서 해운기업은 선박의 설계 및 운항방식에 변화를 끌어내기도 할 만큼 주요한 비용이다[1]. 특히 24노트로 항해하는 컨테이너선을 분석한 결과에서는 선박 연료유의 비중이 전체 선박비용(선박 운영비, 선박 자본비, 선박 연료비 및 항만비용)에서는 60%를 차지하고, 총비용(선박비용, 컨테이너 공급 및 수리 유지 관리비용, 주관청 비용, 화물 처리 비용, cargo claim)에서는 40%를 차지할 만큼 주요한 비용으로 보았다[2]. 또한 장거리 항해에서는 총 항해 비용의 75%, 단거리 항해에서는 총비용의 20%를 차지하여 평균적으로 전체 운항비의 50% 이상을 차지하는 것으로 분석된 주요 비용이다[3]. 실제로 2007년 폭등한 선박 연료유 가격에 대응하기 위하여 많은 해운기업이 시작한 감속 운항(slow steaming)이 현재까지도 이어지는 것이 대표적인 선박 연료유를 통한 비용 통제 방식이다.

선박 연료유 가격은 일반적으로 원유가격과 연동됨에 따라 기본적으로 높은 변동성을 유지하고 있으며, 최근에 이르러서는 선박 연료유 가격 변동성을 증가시키는 규제가 시행되기도 하였다. 대기오염물질 감축을 실현하기 위해 2020년부터 강화된 IMO(International Maritime Organization)의 황산화물 규제가 대표적이다. IMO의 황산화물 규제가 강화됨에 따라서 선박은 황산화물 배출 기준 0.5%를 맞추기 위해 선박 연료유의 유종을 황 함유량 3.5%의 HSFO(high sulfur fuel oil)에서 황 함유량 0.5% 미만의 VLSFO(very low sulfur fuel oil)로 전환하게 되었다. 이러한 변화는 Fig. 1과 같이 대표적인 선박 연료유공급항만인 싱가폴의 선박 연료유 가격에 변화를 주기도 하였다. 규제 시작 시점을 전후하여 싱가폴 항만의 HSFO 380CST와 VLSFO 가격은 톤당 300달러에 가까운 스프레드가 발생하였다. 규제 이후 가격 스프레드가 비교적 일정하게 유지되었으나 규제를 만족시키기 위한 스크러버 설치나 대체에너지의 사용 등은 향후에도 선박 연료유 가격에 변동성을 만들 가능성이 존재한다.

Fig. 1. Bunker price trend in the port of Singapore

Source: Various Sources composed by Author

이러한 선박 연료유 가격 변동성에 대응하기 위하여 해운기업은 상기에서 살펴본 감속 운항과 같은 운항방식의 변경이나 유류할증료(Bunker adjustment factor), 파생상품, 장기 선박 연료유 공급 체결과 같은 대응을 선택하고 있다. 실제로 최소 비용 속도에 근접하도록 선대규모를 늘리는 운항방식의 변경이 비용 절감 가능성을 보이는 것으로 분석하기도 하였으며[4], 석유 관련 파생상품을 이용하여서도 선박 연료유 가격 변동성 헤지 효과를 확인하기도 하였다[5]. 그러나 이러한 대응 방식은 중·장기적 변동성에 대한 대응 방식으로 볼 수 있다. 따라서 단기적인 예측을 통한 비용 관리 방식도 요구되고 있다. 실제로 선박 연료유 수급에 관하여 정기선과 비교해 선택권을 가지는 부정기선 같은 경우는 1개월 이내의 짧은 예측을 통하여 선박 연료유 수급 시기와 장소를 결정하여 비용 통제를 할 수도 있기 때문이다. 따라서 본 연구에서는 최근 변동성 발생 요인이 추가된 선박 연료유의 단기 예측에 관한 필요성을 고려하여, 변동성이 높고 비선형적 시계열 데이터에서도 높은 예측성능을 보이는 순환신경망 모델을 통한 선박 연료유 단기 가격 예측을 수행하고자 한다. 동시에 순환신경망 모델 간의 비교검증을 통하여 변동성이 높은 선박 연료유 가격 예측과 관련된 특성을 분석하여 해운기업의 선박 연료유 가격예측을 통한 경영 의사결정에 기여하고자 한다.

II. Previous Studies

운항비에서 차지하는 높은 비중으로 선박 연료유의 비용 관리는 이전부터 중요시되었다. 그럼에도 불구하고 그동안 선박 연료유 가격에 대한 예측연구는 미진하였다. 그러나 최근 10년에 걸친 장기불황은 선박 연료유를 포함한 해운기업의 비용 통제에 많은 관심을 끌게 했고, 그에 관한 연구도 서서히 진행되고 있다.

[6]은 로테르담, 후자이라, 싱가포르, 휴스턴 등의 대표적인 선박 연료유 공급항만에 제공하는 HSFO 380 CST 의주별 가격을 이용하여 선박 연료유 가격 예측 분석을 수행하였다. 예측을 위하여 금융 시계열 등에서 예측에 주로 쓰이는 VARMA(vector autoregressive moving average)모델을 사용하였다. 3분기의 예측성능을 평가한 경우는 4개 항만과 한 항만의 1~4 시점 이전 변수를 추가한 모델 성능이 우수하였으며, 52주의 중기 분석을 시행한 경우에는 20% 이내의 예측성능을 보인 것으로 분석되었다. [7]의 경우에도 상기 연구와 같은 항만의 선박 연료유를 분석하였으며 분석된 사용된 선박 연료유는 HSFO 180CST, MDO, MGO를 추가하였다. Fuzzy time series 모델을 이용하여 분석한 결과, 로테르담의 MDO 예측성능이 가장 떨어졌다. [8]은 싱가폴 항만의 연간자료를 이용하여 HSFO 380CST 가격을 시스템 다이내믹스를 이용하여 분석하였다. 선박 연료 가격에 영향을 미치는 변수로 원유생산량, 원유소비량, WTI, 세계 GDP, 환율, 화물수요, 선박공급, 수요/공급 비율, 운임 등을 이용하였다. 분석결과 2017~2029의 평균연료유 가격이 1990~2015년까지의 평균 선박 연료유 대비 26% 높을 것으로 전망하였다.

상기 선행연구를 통하여 선박 연료유 가격 예측을 위한 유종은 대표적인 선박 연료유인 HSFO 380CST를 선택하였다. 동시에 해운 의사결정 시기를 고려하여 주간 가격을 기준으로 분석하였으며, 선행연구와의 비교검증을 위하여 선행연구에서 사용된 검증지표를 활용하였다.

III. Research Design

1. Data

본 연구에서 활용한 데이터는 선박 연료유 가격 예측 선행연구와 선박 연료유 공급량을 고려하여 대표적인 선박 연료유 공급항만인 싱가폴 항만의 HSFO 380CST 주간 가격을 이용하였다. 분석에 사용된 기간은 1991년 1월부터 2020년 12월까지의 주별 시계열 데이터 1,565개의 자료를이용하였으며, 훈련 세트와 테스트 세트를 8:2로 구분하여 1991년 1월부터 2014년 12월까지의 자료를 훈련 세트로 이용하였다. 훈련 세트 중 다시 2012년 1월부터 2014년 12 월까지의 자료는 훈련 세트의 검증을 위한 검증 세트로 구분하여 학습하였다. 일반적으로 신경망 모델의 학습을 위해서 훈련 세트와 테스트 세트를 7:3에서 8:2로 구분하는 것을 기준으로 하므로 해당하는 비율만큼 분리하여 예측하였다. 순환신경망 및 인공신경망을 이용한 선박 연료유 예측을 위하여 ‘Google’의 ‘Colaboratory’를 사용하였으며 구글 클라우드 GPU를 사용한 환경에서 Python을 코딩을 하여 분석하였다. 해당 자료의 기술통계량은 Table 1과 같다.

Table 1. Descriptive Statistics of Bunker Price

2. Research Modeling

선박 연료유 가격 예측분석에 사용될 순환신경망 모형은 [9]의 연구에서 기반을 두고 만들어진 것으로 시계열 데이터와 같이 시간의 흐름에 영향을 받는 데이터를 분석하는 데 쓰인다. 순환신경망 모델은 Fig. 2와 같이 일반적인 인공신경망과는 다르게 입력층과 출력층 사이의 데이터 일부가 순환되어 시계열 데이터 정보가 전달되게 되게 된다. 이러한 순환구조는 시계열에서 가지고 있는 특성을 반영할 수 있는 것으로 알려져 있다.

Fig. 2. An unrolled recurrent neural network model

Source: https://colah.github.io/posts/2015-08- Understanding-LSTMs/

일반적인 순환신경망 모델은 학습 과정 중의 기울기 소실 문제로 인한 장기 의존성 문제를 지니게 된다. 이 문제를 해결하기 위하여 Fig. 3과 같이 [10]의 LSTM 모델과 [11]의 GRU 모델과 같은 메모리셀을 이용한 순환신경망 모델이 개발되었다. LSTM 모델의 경우 시그모이드 함수와 하이퍼볼릭탄젠트 함수를 사용하는 망각게이트, 입력게이트, 출력 게이트를 이용하여 불필요한 정보를 지우고 필요한 장기기억정보를 저장하는 메모리셀 구조를 가진다. 이러한 구조를 통하여 장기 정보를 이용할 수 있게 된다. GRU의 경우 리셋 게이트와 LSTM의 망각게이트 및 입력게이트를 합쳐놓은 것과 같은 업데이트 게이트 등으로 구성된 모델이다.

Fig. 3. Different Structure between LSTM and GRU

Source: https://colah.github.io/posts/2015-08-Understanding-LST Ms/, https://d2l.ai/chapter_recurrent-modern/gru.html

본 연구에서는 위의 3가지 순환신경망 모델을 예측에 활용한다. 예측을 위해서 예측하여 구하고자 하는 시간 단계(t)의 데이터와 과거의 데이터(t-α)를 구분하여 시계열 자료를 통한 지도학습 문제로 구성하였다. 과거의 데이터에서 어느 정도의 lag까지를 가지고 이용할 것인지는 아직 신경망 모델을 활용한 선박 연료유 가격 예측과 관련된 선행연구가 없어 선박 연료유 예측 연구인 [7]의 계량적 시계열 모델 및 해운 분야에서 BDI 지수를 예측에 활용한 선행연구 [12-14]를 참조하였다. 주간 데이터를 통한 단기예측임을 고려하여 신경망 모델의 Sequence 길이를 1, 3, 5로 구분하여 각각 분석을 시행하고 분석 결과를 참조하여 최적 초모수를 추정하였다.

선박 연료유 가격의 경우 톤당 가격은 상대적으로 높은 단위의 계산이 반복적으로 이루어질 수 있다. 이에 따라 신경망 모델의 예측성능 향상을 위해 입력 데이터를 Min-Max scaler를 이용하여 0과 1 사이의 값으로 변환하여 분석에 사용하였다. 사용되는 활성화 함수는 음수값일 경우 0을 출력하고 양수일 경우 해당 값을 출력하는 Relu 함수를 사용하여 sigmoid 함수를 사용하였을 때의 문제점을 제거하였다.

손실함수에 따른 모델의 최적화를 위하여 최적화 알고리즘은 선행연구를 참조하여 Adam 알고리즘을 사용하였다. Adam 알고리즘은 관성(momentum) 알고리즘과 적응적 기울기의 RMSProp 알고리즘의 장점을 반영한 알고리즘이다. 은닉층의 수는 1개의 은닉층으로 충분한 예측성이 가능하다는 [15]와 [16]의 연구 등을 참조하여 1개의 은닉층으로 정하였다. 은닉층 뉴런의 수는 모델의 간결성을 위하여 ‘30’으로 고정하였으며, 배치 크기의 경우 30과 60 두 가지 초 모수를 기준으로 하여 평가지표를 비교하고자 하였다.

학습률은 Adam 알고리즘에서의 기본값인 0.001을 그대로 사용하였다. Epoch의 경우 적합한 Epoch를 산정하는 어려움이 있어 검증 세트와 훈련 세트를 비교하여 검증 세트의 손실함수의 값이 증가하기 시작하여 과적합이 진행되는 시점을 기준으로 조기 종료하는 Epoch를 선정하였다. 과도한 Epoch로 인해서 모델이 훈련 세트에만 적합 되는 과적합을 미리 방지하기 위하여 시행하였으며, 검증 세트의 손실함수가 변화로 인해 급격하게 종료되는 것을 막고자 최소 5번 이상의 손실함수 개선이 없으면 종료가 되도록 설정하였다. 추가로 모델의 과적합을 방지하고 성능 개선을 기대할 수도 있도록 드롭아웃을 고려하여 0과 0.2로 변화를 주어 분석에 사용하였다.

모델의 예측성능을 비교하기 위하여 예측성능을 평가하기 위해 일반적으로 사용되는 MAE, MSE, RMSE, MAPE를 검증지표로 분석하였으며, [17]의 연구에서 사용된 Diebold-Mariano test를 통하여 모델 간의 통계적 예측성능에 차이가 있는지도 분석하였다.

IV. Results

분석을 통하여 순환신경망 모델에게 변화를 준 초모수의 결과는 Table 2와 같다. Sequence 길이의 경우 LSTM에서만 3이 가장 좋은 예측성능을 가지는 것으로 분석되었으며, 나머지 두 모델에서는 1이 가장 높은 예측성능을 가졌다. Batch size는 모델 및 유종별로 차이가 있었으나 오차가 크진 않았으며, 드롭아웃은 0일 때 모든 모델에서 가장 우수한 예측성능을 보였다.

Table 2. Hyper-parameter of Proposed Models

선정된 초모수를 바탕으로 예측하여 분석된 검증지표는 Table 3과 같다. 분석 결과, MAE, MSE, MAPE, RMSE의 모든 검증지표에서 RNN의 예측성능이 우수한 것으로 나타났으며, 다음으로 GRU, LSTM의 순이었다.

Table 3. Performance of Proposed Models

Note : Tr, Te mean Train set and Test set respectively.

모델 간 차이의 통계적 유의성을 검증하기 위해서 Diebold-Mariano test를 수행하였다. Diebold-Mariano test는 검증지표에서 가장 우수한 모델로 선정된 RNN 모델과 GRU 모델을 기준으로 손실함수를 달리하여 분석하였으며, 결과는 Table 4와 같다. RNN은 손실함수를 Squared error를 쓴 경우를 제외하고 GRU 대비하여 1% 유의 수준에서 우수한 예측성능을 가지는 것으로 분석되었다. LSTM의 경우 RNN과 GRU 두 모델 모두에서 1% 유의수준에서 낮은 예측성능을 가지는 것으로 분석되었다.

Table 4. Diebold-Mariano Test Results

결론적으로 가장 우수한 예측성능을 가지는 순환신경망모델은 RNN이었다. 선박 연료유와 비슷한 원유가격 예측에 관한 연구에서 우수한 예측성능을 보이는 모델은 일반적으로 LSTM 또는 GRU 모델이었다[18-20]. 과거 정보의 영향을 받는 시계열 데이터의 특성상 LSTM이나 GRU와 같은 장기 기억 메모리를 가지는 모델이 기울기 소실(vanishing gradient) 문제를 해결하면서 더 많은 장기 정보를 이용할 수 있기 때문이다. 그러나 본 연구 결과에서는 RNN의 성능이 더욱 우수하였으며, Sequence의 길이도 LSTM을 제외하고 1로 나와 장기적 정보에 의한 예측성능 향상이 이루어지지 않았다. 이는 선박 연료유 가격 예측에 있어서 필요 이상의 과거값을 이용하는 것이 신경망 모델의 예측성능 향상에 기여하지 않았다는 것을 의미한다. 선박 연료유의 높은 단기적 변동성이 반영된 것으로 해석할 수 있다.

계량 경제학적 모델을 활용하여 선박 연료유 가격 예측연구를 수행한 [6]의 선행연구에서 MAPE를 기준으로 HSFO 380CST 예측을 20% 내외에서 분석한 것과 비교하면 본 연구에서 활용된 순환신경망 모델 모두에서 더 우수한 예측성능을 보인 것으로 확인되었다. 이는 [21]의 연구에서처럼 비선형성을 가지는 데이터에 대해 신경망 모델의 예측성능이 더 우수한 이유로 추정된다.

V. Conclusions

본 연구에서는 선박 연료유 비용의 통제를 위하여 선박 연료유 가격의 단기적 예측연구를 수행하였다. 선박 연료유 비용은 해운기업의 비용 통제 관리방안 중 가장 효과적으로 쓰일 수 있는 부분으로 단기적 대응을 통한 선박 연료유 수습결정도 해운기업의 비용 관리에 중요한 역할을 할 수 있다. 이러한 단기적 대응을 수행하기 위해서 필수적으로 요구되는 선박 연료유의 단기적 예측을 시계열 데이터 예측에 효과성을 가지고 있는 순환신경망 모델을 활용하여 예측분석하고 비교한 결과는 다음과 같다.

첫째, 선박 연료유 가격의 단기적 예측에 가장 효과적인 순환신경망 모델은 RNN으로 LSTM과 GRU 대비하여 높은 예측성능을 보이는 것으로 나타났다. 이를 통하여 선박 연료유의 단기적 변동성이 높음에 따라 장기적 정보에 대한 부분이 예측성능 향상에 큰 기여를 하지 않는 것을 알 수 있다. 둘째, 계량경제학 모델을 사용해 선박 연료유 가격 예측 선행연구와 비교하면 순환신경망 모델을 활용한 경우의 예측성능이 더 높은 것으로 분석된다. 데이터 분석에 사용된 기간이 일치하지는 않으나 MAPE를 기준으로 한 검증지표에서 차이가 있었다. 비선형성을 가지는 것으로 분석된 원유와 마찬가지로 선박 연료유도 비선형성을 가지는 데이터에 특화된 신경망 모델을 활용하는 것이 효과적임을 확인할 수 있었다.

본 연구는 순환신경망 모델을 사용해 선박 연료유를 분석한 최초의 시도로서 학문적인 의의가 있으며 실무적으로 선박 연료유 단기 예측의 정확성을 높여 선박 운항비를 효과적으로 관리할 수 있다는 측면에서 실무적인 기여가 높을 것으로 기대된다. 마지막으로 본 연구에서 제기한 모델의 초모수 조정에 관한 기준이 모호하여 연구의 한계로 지적된다. 향후 초모수 선정과 관련하여 추가적인 연구를 통해 예측성능을 높이고자 시도할 것이다.