컨테이너 선박 마스터 적하계획을 위한 심층강화학습 모형

Deep Q-Learning Network Model for Container Ship Master Stowage Plan

Abstract

In the Port Logistics system, Container Stowage planning is an important issue for cost-effective efficiency improvements. At present, Planners are mainly carrying out Stowage planning by manual or semi-automatically. However, as the trend of super-large container ships continues, it is difficult to calculate an efficient Stowage plan with manpower. With the recent rapid development of artificial intelligence-related technologies, many studies have been conducted to apply enhanced learning to optimization problems. Accordingly, in this paper, we intend to develop and present a Deep Q-Learning Network model for the Master Stowage planning of Container ships.

1. 서론

세계 교역량이 지속적인 증가와, 컨테이너라는 규격화된 용기사용의 보편화에 따라 컨테이너 물동량은 급속히 증대되고 있다. 이에 따라 전 세계의 주요 선사들과 항만들은 시장에서 경쟁 우위를 점하기 위해 대형 선박 수주, 항만 시설 및 장비 확충 등 양적인 증대뿐만 아니라 운영시스템 효율화를 통한 질적인 효과 향상을 위해 노력하고 있다.

특히 항만 물류 시스템에서 선박의 활용도 측면의 효과 향상 문제는 물류비용 및 작업 효율화에 중요한 영향을 미친다. 선박 활용도 향상 문제 중 적하계획 문제는 선박 상에서 화물의 목적지, 유형, 무게 등의 요인들을 고려하여 화물의 적하 순서 또는 위치를 계획하는 문제이다. 선사는 사전의 컨테이너 적하 계획을 고려하여 컨테이너 터미널에 선적지시서를 발송하고 이를 기반으로 터미널에서 컨테이너 양적하 작업이 이뤄진다. 현재로서는 주로 플래너들의 수작업 또는 반자동으로 적하 계획이 수행된다. 이는 많은 시간과 노력을 요구하며 여러 가지 변수들이 발생했을 때 신속하게 대응하기에sms 한계를 갖는다. 또한 컨테이너 선박의 초대형화 추세에 따라 적하 계획 문제의 볼륨 또한 점점 커지며 인력으로 효율적인 계획을 계산하기에는 한계가 발생하고 있다.

이런 관점에서 적하 계획에 드는 노력과 시간을 절약하기 위해 휴리스틱 또는 메타 휴리스틱을 이용한 접근방법 등을 활용한 적하 계획 문제 연구가 진행되어 왔다.

대표적으로 Avriel et al.(1998)은 직사각형의 단일 Bay를 대상으로 화물의 양하지(화물을 내리는 항구)를 고려하여 순차적으로 양하지가 동일한 화물 별로 적재 위치를 할당하는 SH(Suspensory Heuristic) 알고리즘을 제시하였다. Lee(2002)는 SH 알고리즘의 적용 범위를 확장하여 선박의 선창과 갑판을 구분하여 각각을 그룹화 한 후 각 컨테이너의 위치를 할당하는 두 단계로 나누어 해를 찾았다. 또한 Rahsed et al.(2018)은 각 열별로 적재되어있는 형태를 9가지 케이스로 나누어 우선 순위를 정해 컨테이너를 할당할 열을 선택하는 Rule-based Greedy 알고리즘을 고안하여 SH 알고리즘에 비해 공간 활용도를 높이며 더 좋은 성능을 보였다.

메타 휴리스틱을 이용한 연구로 Lee(2002)는 유전알고리즘을 이용해 컨테이너를 선박의 각 해치별로 배치하고, 배정된 컨테이너를 슬롯에 할당하는 두 단계로 적하계획을 계산했다. Hong(2005)는 선적지시서와 야드맵 정보를 기초로 동일한 속성을 가진 컨테이너들을 계층적 클러스터링 방법으로 스택단위의 클러스터로 구성하고, 작업 순서를 결정하는 컨테이너 적재 순서 결정 방법을 제안했다. 그리고 Parreno et al.(2016)은 위험물 컨테이너에 대한 분리 규칙을 포함하여 새로운 정수 계획 모델을 제시하였고, GRAPS(Greedy Randomized Adaptive Search Procedure)방법을 고안하였으며, Korach et al.(2020)은 높이가 일반 컨테이너보다 높은 하이큐브 컨테이너와 냉동 컨테이너의 적재 규칙을 포함하여 IP 모델을 제시하고, 이를 계산하는데 효율적인 Mat휴리스틱을 적용하여 GRAPS방법 보다 더 개선된 계산 결과를 보였다.

최근 인공지능 관련 기술이 비약적으로 발전하면서 해당 분야 또한 딥러닝이나 강화학습 등 기술들을 적용하는 연구가 진행되고 있다. 적하 계획 문제의 경우 제약 조건에 따른 목적함수의 최적해를 계산하는 최적화 문제에 해당하는데 강화 학습 기법은 이런 최적화 문제를 계산하는데 효율적인 성과를 보이고 있다.

Yifan et al.(2017)은 적하계획 중 화물의 야드(수출입 컨테이너를 일시적으로 보관하는 장소) 위치와 선박의 안정성을 고려하여 적재 순서와 위치를 결정하는 인베이 플랜 문제를 위한 심층 강화학습 모델을 개발하였다. 적하계획 문제에 심층강화학습(DQN : Deep Q-Learning Network)을 처음 적용한 연구로 상당히 큰 의미가 있다. 하지만 인 베이 플랜의 경우 화물의 양하지가 모두 동일하며 위치가 할당되어있다는 가정하에 진행되기 때문에 마스터 베이 플랜이 우선 수행되어야 한다.

이에 본 논문에서는 선박 적하 계획 중 마스터 베이 플랜 최적화를 위해 제약 조건과 결정요인들을 고려한 DQN 모형을 개발하고자 한다.

2. 컨테이너 선박 적하 계획

컨테이너 선박 적하 계획이란 정해진 항로를 따라 운항하는 선박에 각 항구마다 적하(선박에 화물을 싣는 행위) 예정된 화물들을 어떻게 적재할지 관련 요인들에 따라 결정하는 것이다. 컨테이너 선박 적하 계획은 크게 마스터 베이 플랜과 인 베이 플랜으로 구분된다. 인베이 플랜은 컨테이너 터미널에서 선사로부터 선적지시서를 수신한 후, 이를 참고하여 해당 터미널에서 수행해야 할 컨테이너 양적하(화물을 내리고 싣는 작업) 순서를 계획한다.

이와 달리 마스터 베이 플랜은 선사에서 계획하며, 선박의 운항에서 각각의 항구에서 양적하 할 모든 컨테이너들을 대상으로 비용 효과적인 측면에서의 효율화를 위해 적하항(POL : Port of Loading)과 양하항(POD : Port of Discharge)을 고려하여 컨테이너 적하 위치를 결정한다.

컨테이너 선박은 기본적으로 컨테이너를 적재할 수 있는 공간인 베이(Bay)들로 구성된다. Fig. 1의 작은 사각형은 슬롯(Slot)이라 칭하며 실제로 컨테이너 한 개가 적재되는 칸을 의미한다. 컨테이너 적하 계획이란 적하해야 할 컨테이너를 각각 슬롯에 할당하는 것이다. 각각의 컨테이너는 선박의 정기 운항 중 예정된 양하지가 존재한다. 그림의 숫자들은 양하항 번호를 의미하며 양하항에 도착하게 되면 해당 컨테이너들은 선박에서 내리게 된다. 그림의 예시에서는 Port 2에 도착하여 예정 양하항이 2번 항구인 컨테이너들이 양하된 것을 나타내고 있다.

Fig. 1 Example of Container Stowage Plan Problem

화물 도착항에서 양하를 할 때 해당 항만에서 양하하여야 하는 컨테이너(i) 위에 더 먼 항구에서 양하할 컨테이너(j)가 적재되어있을 경우 j를 양하해야만 i를 양하할 수 있기 때문에 불필요한 양하작업이 발생하게 된다. 이런 불필요한 작업을 재취급(Shifting)이라 하며 재취급 횟수를 최소화하여 비용 효율성을 개선할 수 있다.

Fig. 2 Example of Shifting

마스터 베이 플랜에서는 화물의 적하항과 양하항, 무게, 화물의 유형을 고려하여 선박의 안정성과 재취급 횟수를 최소화하는 최적의 적하 계획을 수립한다.

3. 마스터 적하 계획 DQN 모형화

3.1 Q-러닝과 DQN

Q러닝은 가치반복 강화학습 기법 중 하나로 현재 상태에서 주어진 행동을 수행하는 것이 가져다 줄 기대 가치를 예측하는 함수인 Q 함수(행동 가치함수)를 학습하여 최적의 정책을 탐색한다.

Q러닝의 구성은 Fig. 3과 같으며 크게 에이전트, 환경, 두뇌 클래스로 구분된다. 본 모형을 기준으로 에이전트는 컨테이너를 슬롯에 할당하는 행동을 취하고, 환경 클래스로부터 다음 단계의 상태와 보상 값을 받아온다. 그리고 두뇌는 Q 함수의 학습을 수행하는 역할로 에이전트로부터 행동과 상태, 보상(평가함수) 정보를 받아온 후 Q 테이블을 수정하고, Q 함수에 따라 다음 행동을 결정한다. 환경은 적하작업이 수행되는 공간을 의미하며 에이전트로부터 특정 컨테이너를 특정 슬롯에 할당하는 행동이 취해지면 그에 따라 변화된 상태에 대한 정보와 보상 값을 에이전트에 반환한다. Q러닝 모델은 위와 같은 절차를 반복 학습함으로써 가장 좋은 정책을 찾아낸다.

Fig. 3 Configuration diagram of Q-learning

DQN은 상태변수가 많고 복잡한 문제에 Q러닝을 적용하기 위해 Q함수 테이블을 표의 형식이 아닌 심층 신경망으로 표현하여 정보를 축약한다. 컨테이너 적하 계획의 경우 적하해야 할 컨테이너 수와 컨테이너를 할당한 슬롯의 개수에 따라 상당히 많은 경우의 수가 존재하기 때문에 이를 표 형식으로 나타내는 것에는 한계가 있다. 따라서 Stowage Plan에 강화학습을 적용하기 위해서는 DQN 모델이 적합하다고 판단하였다.

3.2 입력 변수 및 파라미터 정의

컨테이너 적하계획 문제를 모형화하기 앞서 입력 변수와 파라미터들을 다음과 같이 정의한다.

3.2.1 변수 정의

s : 현재 베이의 할당 상태

a : 취하는 행동(컨테이너, 할당할 슬롯)

W_i : i 컨테이너의 무게

D_i : i 컨테이너의 POD

T_x : x 슬롯 열의 현재 단적 수

R_x : x 슬롯의 열 번호

NOC : 해당 항구에서 실어야 할 총 컨테이너의 개수

LC_i : 할당되지 않은 컨테이너 중 i 컨테이너 보다 무게가 가벼운 컨테이너 개수

NC_i : 할당되지 않은 컨테이너 중 i 컨테이너 보다 POD가 가까운 컨테이너 개수

\(\begin{align}S C_{(i, x)}=\left\{\begin{array}{l} 1, x \text { 슬롯의 열에 } i \text { 컨테이너보다 } D_{i} \text { 값이 } \\ \text { 낮은컨테이너가 할당 되어 있을 때 } \\ 0 \end{array}\right.\end{align}\) : i 컨테이너를 x 슬롯에 할당할 때 재취급 작업을 유발하는지 여부

RW_x : x 슬롯의 해당 열에 할당되어 있는 컨테이너들의 무게 합

ST_x : x 슬롯에 할당되어 있는 컨테이너

SL_i : i 컨테이너가 할당된 슬롯

3.2.2 파라미터 정의

i : 컨테이너 번호

x : 슬롯의 좌표

n : 컨테이너를 적재할 베이의 열 개수

m : 컨테이너를 적재할 베이의 최대 단적 수

t : 강화학습에서 반복 시행 중 step의 번호

R_(s,a) : s 는 상태에서 행동 a를 취했을 때 얻을 수 있는 즉각 보상

γ : 강화학습에서 다음 step에 얻을 수 있는 즉각 보상에 대한 패널티를 의미하는 보상 할인율

Q(s,a) : s 상태에서 a 행동을 취하는 것의 행동 가치

3.3 평가 함수 정의

DQN 모형에서는 정책의 가치를 평가하기 위한 지표가 되는 즉각 보상함수가 필요하다. DQN 모형은 반복학습을 통해 이 평가함수에 따라 더 높은 보상을 얻을 수 있는 정책을 찾아 학습한다. 본 모형의 평가함수는 다음과 같다.

3.3.1 적하계획 수립 가능 여부

갑판에서 적하작업을 수행할 시 적재 컨디션에 따라 적재된 화물이 무너지거나 선박이 불안정해지는 등 사고가 발생할 수 있기 때문에 기본적으로 적하 계획이 수립되기 위해서는 안정성에 대한 제약조건을 만족해야 하며, 또한 적재 예정된 화물의 위치가 모두 결정되어야 하고, 물리적으로 적재가 가능하여야 한다.

\(\begin{align}A P=\left\{\begin{aligned} 1, & \text { 수립 가능 } \\ -1, & \text { 수립 불가능 } \end{aligned}\right.\end{align}\)

3.3.2 재취급(Shifting) 작업 횟수 최소화

POD의 순서가 엇갈려 발생하는 불필요한 양적하 작업인 재취급은 작업 시간을 늘릴 뿐만 아니라 불필요한 비용을 발생시키기 때문에 최소화하여야 한다.

\(\begin{align}S F=\sum_{i}^{N O C} S C_{\left(i, S L_{i}\right)}\end{align}\)

3.3.3 선박 무게 균형

적하 계획에서 선박 전체에 걸쳐 화물의 무게를 고르게 분산시키면 선박의 균형을 맞추기 위해 넣어야 할 선박평형수의 양을 줄일 수 있다. 또한 선박의 안정성 측면에서도 화물이 무너지거나 하중의 편향되는 것을 방지할 수 있다.

\(\begin{align}W B=\left|\sum_{x=(0,0)}^{(n / 2,0)} R W_{x}-\sum_{x=(n / 2,0)}^{(n, 0)} R W_{x}\right|\end{align}\)

3.4 제약 조건 설정

선박의 갑판에 컨테이너를 적재할 때 운항 중 또는 양적하 작업 시 사고를 방지하기 위해 선박의 안정성을 보장하기 위한 제약 조건은 다음과 같이 설정한다.

3.4.1 열별 무게 제약

갑판에 컨테이너를 적재할 때, 버틸 수 있는 하중의 한계가 존재하고, 그 이상 하중이 가해진다면 갑판이나 컨테이너가 파손될 수 있다. 이에 선박의 안정성을 고려하여 각 열마다 총 적재 가능한 무게를 제한한다. 일반적으로 갑판 적재 시 5단적으로 적재하며 컨테이너 무게를 본 문제에서 컨테이너 무게를 14∼20톤으로 설정하였기 때문에 평균치를 초과하지 않도록 85톤으로 설정하였다.

\(\begin{align}R W C= \begin{cases}\text { True }, & R W_{(c, 0)} \leq 85 \\ & (c=0,1,2, \bullet \bullet \bullet, n) \\ \text { False } & \end{cases}\end{align}\)

3.4.2 적재 무게 조건

화물의 적재 컨디션을 보장하기 위해서 무거운 컨테이너는 가벼운 컨테이너보다 아래에 적재되어야 한다. 그러나 실제로는 일부 무게 범위에 대해 무거운 컨테이너가 가벼운 컨테이너 위에 올릴 수 있도록 허용한다. 일반적으로 컨테이너 하중 강도는 2톤으로 정의되며, 5단적 기준으로 각 층별 하중 허용범위는 2/4 = 0.5톤으로 설정한다.

\(\begin{align}C W C=\left\{\begin{array}{l}\text { True }, W_{i}-W_{j} \leq 0.5 \\ \text { False }(i=1,2,3, \cdots, N O C)\end{array}\right.\end{align}\)

3.4.3 인접 열 단적 차 제약

화물이 한쪽으로 쏠려 적재될 경우 무너질 위험이 있기 때문에 인접한 열의 층수 차이에 제한을 둔다. 본 모형에서는 그 제한을 1층으로 둔다.

\(\begin{align}R T C=\left\{\begin{array}{l}\text { True },\left|T_{(c, 0)}-T_{(c+1,0)}\right| \leq 1 \\ \text { False }(c=0,1,2, \bullet, n-1)\end{array}\right.\end{align}\)

위의 제약조건들을 만족해야만 적하계획 수립이 가능하다고 판단하며, 적하계획 수립 가능 여부, 재취급 횟수, 선박 무게 균형 세 가지 평가함수에 따라 모형의 가치를 결정한다.

3.5 상태(State)의 정의

컨테이너 적하계획에서 State(상태)는 컨테이너를 적재할 공간에서 어떤 슬롯에 어떤 컨테이너가 할당되어 있는지를 나타낸다. 예를 들어 3×2크기의 베이에 (0,0) 슬롯에C₁컨테이너를 할당한다 할 때 상태 \(\begin{align}s=\left(\begin{array}{ccc} 0 & 0 & 0 \\ C_{1} & 0 & 0 \end{array}\right)\end{align}\)과 같이 표현된다.

3.6 행동(Action)의 정의

컨테이너 적하 계획에서 행동은 어떤 컨테이너를 어떤 슬롯에 할당하는 행위를 의미한다. 즉 행동은 할당할 컨테이너를 선택하는 것과 슬롯을 선택하는 두 가지를 내포한다. i컨테이너를 x슬롯에 할당한다면 행동 a = (i,x)로 표현된다.

3.7 행동 가치 함수 정의

컨테이너 적하 계획문제의 경우 다음 단계의 상태 s_t+1은 현재 상태 s_t에 행동 a_t에 의해 결정된다. 즉 어떤 컨테이너를 특정 슬롯 위치에 할당하였을 때 다음단계의 슬롯 상태는 그 행동에 의해서 변화한다. 따라서 컨테이너 적하계획문제는 마르코프 결정 프로세스(Markov decision process, MDP)에 해당한다고 볼 수 있다. MDP 문제의 경우 상태가치 또는 행동가치 함수를 일반화하는 식인 벨만 방정식이 성립한다.[9] 즉 본 모형의 행동가치함수(Q 함수) Q(s_t,a_t) = R_t+1 + γQ(s_t+1,a_t+1)과 같이 정의된다.

3.8 특성 벡터의 설정

컨테이너 적하계획의 경우 문제의 크기에 따라 차원의 크기 또한 변화하기 때문에 DQN 모형을 적용하기 위해서는 상태에 대한 정보를 특정 지을 필요가 있다. 본 논문에서는 환경의 상태에 대한 특성 값들을 벡터화 한 특성 벡터를 상태변수로 사용한다. 앞서 정의한 평가함수와 제약조건에 영향을 주는 요인들을 아래와 같은 특성 값 10개로 정의하며, 특성벡터는 아래의 f(1)∼f(10)의 값으로 구성된다.

f_i(1) = (W_i - W_min) / (W_max - W_min)       (1)

f_i(2) = D_i / D_max       (2)

f_i(3) = T_i / T_max       (3)

f_i(4) = (W_j - W_i) / (W_max - W_min)      (4)

f_i(5) = LC_i / (NOC_p - 1)       (5)

f_i(6) = (f_i(5) - (T_max - T_i)) / (NOC_p - 1)       (6)

f_i(7) = NC_i / (NOC_p - 1)       (7)

f_i(8) = (f_i(7) - (T_max - T_i)) / (NOC_p - 1)       (8)

f_i(9) = SC_i       (9)

f_i(10) = RW_i / (W_max ⦁ T_max)       (10)

(1) 현재 선택된 컨테이너의 무게를 나타낸다.

(2) 현재 선택된 컨테이너의 POD(양하항)을 나타낸다.

(3) 선택된 위치(슬롯)가 몇 층인지 나타낸다.

(4) 선택된 위치 바로 아래에 할당되어있는 컨테이너와 현재 선택된 컨테이너의 무게 차이를 나타낸다.

(5) 현재 계산 중인 항구에서 아직 위치가 할당되지 않은 컨테이너들 중 선택된 컨테이너보다 가벼운 컨테이너의 개수를 나타낸다.

(6) 𝜙_i(5)에서 현재 선택된 열에 남은 칸 수를 뺀 값이다. 의미는 현재 수행하는 행동이 잠재적으로 남은 컨테이너들의 할당에 끼칠 영향을 의미한다.

(7) 현재 계산 중인 항구에서 아직 위치가 할당되지 않은 컨테이너들 중 선택된 컨테이너보다 더 가까운 항구에서 양하 될 컨테이너의 수를 나타낸다.

(8) 𝜙_i(7)에서 현재 선택된 열에 남은 칸 수를 뺀 값이다. 𝜙_i(6)와 마찬가지로 이후의 적하 계획에 잠재적으로 끼칠 영향을 의미한다.

(9) 현재 수행하는 행동이 재취급을 유발하는지 여부를 나타낸다.

(10) 선택된 열에 적재되어있는 컨테이너들의 총 무게 합을 나타낸다.

3.9 Q 함수 심층 신경망

컨테이너 적하계획 DQN 모형의 심층 신경망 구성은 Fig. 4와 같다. 우선 입력층에는 앞서 설정한 특성변수 값들로 구성된 특성 벡터를 입력하게 된다. 이런 특성 벡터를 신경망에 입력하게 되면 Q 함수 값이 출력되게 된다.

Fig. 4 Neural Network of DQN Model

Q 함수 심층신경망은 DQN 모형의 반복 강화학습 중 얻는 정보들을 추가하며 오차를 역전파하여 학습시킴으로써 Q 함수의 정확도를 향상시키도록 학습된다.

3.10 DQN 모형 계산 과정

본 모형의 플로우차트는 Fig. 5와 같다. 1개 에피소드의 과정은 우선 환경(베이)과 관측치를 초기화하고, 현재 적재 불가능한 컨테이너가 있는지 확인한다. 그 후 적재해야할 컨테이너와 각각 컨테이너가 현재 적재 가능한 슬롯을 리스트화 한 후 각각의 특성 벡터를 계산한다. 특성 벡터를 신경망에 순전파 시켜 Q 함수 값을 계산하고, 가장 Q 값이 큰 액션(컨테이너와 할당할 슬롯)을 추출한다. 해당 컨테이너를 해당 슬롯에 할당하고, 현재 상태와 Q 함수 오차 역전파를 통해 업데이트한다. 남은 컨테이너가 있는지 확인하고 없다면 에피소드를 종료, 있다면 에피소드를 반복한다.

Fig. 5 Flow Chart of DQN Model

4. 모형의 실험 및 분석

4.1 모형의 실험 설계

4.1.1 DQN 모형 파라미터 설계

DQN 모형의 학습과 관련한 파라미터들의 값은 Table 1과 같이 설정하였다.

Table 1 Set DQN Model Parameters

4.1.2 실험 Case 설계

본 모형의 실험을 위해 예시 컨테이너 리스트를 생성하고, 여러 가지 베이 사이즈에 대해 할당하는 예제를 생성하였다. 컨테이너 리스트의 경우 다양한 실험을 위해 각각 개수를 달리하고, POD와 컨테이너 무게의 분포를 다양하게 설정하였다. 예시 컨테이너 리스트는 Table 2와 같다.

Table 2 Container Type Design

4.2 실험 계산 결과

본 논문에서는 DQN 모형의 성능을 검증하기 위해 기존의 알고리즘과 실험 결과를 비교하였다. SH 알고리즘은 마스터 베이 적하 계획 문제에서 가장 많이 인용된 휴리스틱이며, 베이 단위로 적하 계획을 계산한다.[1] 그리고 Rule-based Greedy 알고리즘은 경우에 따라 계산 방식을 결정하며 SH 알고리즘보다 더 상세한 절차에 따라 계산하여 비효율을 개선하였으며 비교적 최근 발표되었다는 점에서 비교 대상으로 선정하였다.[3]

Fig. 6는 Type3 컨테이너 리스트를 5×5사이즈 베이에 할당하는 예제의 계산 결과를 나타낸다. 슬롯 안의 숫자는 컨테이너 번호를 의미하며, 슬롯의 색깔은 각 컨테이너의 양하항을 의미한다.

Fig. 6 Example of computational result

SH 알고리즘과 Rule-based Greedy 알고리즘의 경우 재취급 발생횟수는 0이지만 각 양하항 별로 컨테이너가 일부 열에 편향되어 있고, 인접한 열의 단적 수 차이가 심해 실제로 해당 적재 상태로 선박을 운항을 하거나 양적하 작업을 하는 것은 고박이 어려울 수 있고, 안정성 측면에서 상당히 위험할 수 있다. 또한 일부 열에 무게가 편향되어 열별 무게 제한 조건을 만족하지 못했으며, 무게 분산 또한 DQN 모형에 비해 높게 계산되었다. 이에 반해 DQN 모형의 해의 경우 1회의 재취급 작업이 발생하였지만, 무게를 고르게 분포하였고, 모든 제약 조건을 만족시키며 적하 계획을 수립하였다.

Table 3은 각 예제에 대한 모형별 실험 결과값들을 나타낸다.

Table 3 computational result table

실험 결과 SH 알고리즘과 Rule-based Greedy 알고리즘의 경우 화물의 POD에 따라 재취급 횟수를 최소화하는 것을 유일한 목적으로 하기 때문에 모든 예제에서 재취급 횟수가 0회인 해를 계산하였다. 그러나 컨테이너의 무게 분배를 고려하지 않는다는 점에서 무게 분산 값은 대체적으로 상당히 높았으며, 한쪽 열에 화물 무게가 쏠리는 등 열별 무게 제약 조건을 만족하지 못하는 해를 보였다. 또한 열별로 할당을 한다는 알고리즘의 특성상 인접 열의 단적 층 수 차가 DQN 모형과 비교하여 상당히 높게 나타났다. DQN 모형의 계산 결과 일부 재취급이 발생한 해가 존재하였으나, 열별 무게 제약 조건과 적재 무게 조건을 모두 만족시켰으며, 인접 열 단적 차와 무게 분산값 또한 타 알고리즘과 비교하여 모든 예제에서 좋은 해를 계산했다. 또한 모든 예제에서 1초 이내로 상당히 빠른 시간 안에 문제를 계산해냈다. 이처럼 DQN 모형은 다양한 제약 조건 및 요인들을 동시에 고려하며 계산해내기에 용이하다는 강점을 보였다.

5. 결론

본 논문은 컨테이너 선박 적하 계획 중 마스터 베이 플랜 문제를 대상으로 다양한 제약조건과 고려요인 하에서 빠른 시간에 적하 계획을 계산해낼 수 있는 심층강화학습 모형을 개발하였다. 실험결과, SH 알고리즘, Rule-based 알고리즘과의 비교하였을 때 재취급을 제외한 무게 분산 및 인접열 단차 등 나머지 요인에서 모두 우세함을 보였으며, 모든 예제에서 계산시간이 0.88초 이내로 상당히 빠른 계산 능력을 보였다. 그러나 강화학습의 특성상 문제의 크기가 커지면 학습시간이 기하급수적으로 증가하여 로컬 PC 환경에서의 연구에 한계가 있었기 때문에 본 논문에서는 이를 고려하여 작은 범위의 문제로 설정하여 모형을 개발하였다. 따라서 추후 현장에 이를 적용하기 위해서는 AI 클라우드 등의 학습 환경을 확보하여 문제 범위를 확장시키고, 현실적인 제약 조건을 추가하여 더 다양하고, 범위가 큰 예제들을 학습시켜 개발하는 보완 연구가 필요하다. 이러한 보완 연구 후 심층강화학습 모형을 활용한다면, 컨테이너 적하계획에 드는 노력과 시간을 절감할 수 있고, 최적의 화물 배열을 계산해 냄으로써 물류 비용을 줄일 수 있으며, 상당히 빠른 시간에 계산해 내기 때문에 컨테이너 운송 업무 중 리스크에 대한 대처를 유연하게 할 수 있을 것으로 보인다.