LSTM-based Business Process Remaining Time Prediction Model Featured in Activity-centric Normalization Techniques

액티비티별 특징 정규화를 적용한 LSTM 기반 비즈니스 프로세스 잔여시간 예측 모델

Abstract

Recently, many companies and organizations are interested in predictive process monitoring for the efficient operation of business process models. Traditional process monitoring focused on the elapsed execution state of a particular process instance. On the other hand, predictive process monitoring focuses on predicting the future execution status of a particular process instance. In this paper, we implement the function of the business process remaining time prediction, which is one of the predictive process monitoring functions. In order to effectively model the remaining time, normalization by activity is proposed and applied to the predictive model by taking into account the difference in the distribution of time feature values according to the properties of each activity. In order to demonstrate the superiority of the predictive performance of the proposed model in this paper, it is compared with previous studies through event log data of actual companies provided by 4TU.Centre for Research Data.

최근에 많은 기업 및 조직들이 비즈니스 프로세스 모델의 효율적 운용을 위해 예측적 프로세스 모니터링에 관심이 높아지고 있다. 기존의 프로세스 모니터링은 특정 프로세스 인스턴스의 경과된 실행상태에 초점을 두었다. 반면, 예측적 프로세스 모니터링은 특정 프로세스 인스턴스의 미래의 실행상태에 대한 예측에 초점을 둔다. 본 논문에서는 예측적 프로세스 모니터링 기능 중 하나인 비즈니스 프로세스 인스턴스 실행 잔여시간 예측기능을 구현한다. 잔여시간을 효과적으로 모델링하기 위해 액티비티별 속성에 따른 시간특징 값 분포 차이를 고려하여 액티비티별 특징 정규화를 제안하고 예측모델에 적용한다. 본 논문에서 제안된 모델의 예측성능 우수성을 입증하기 위해서 4TU.Centre for Research Data에서 제공하는 실제 기업의 이벤트 로그 데이터를 통해 선행연구들과 비교평가 한다.

1. 서론

최근에 많은 조직 및 기업들이 프로세스 기반 정보시스템(Process-aware Information System[1], 이하 PAIS)을 기반으로 비즈니스 프로세스를 관리한다. PAIS는 비즈니스 프로세스 실행을 자동화하고 모니터링 및 분석 기능을 통해 효율적인 프로세스 관리 및 운영을 지원한다. 특히, 모니터링 기능은 프로세스 현황정보를 실시간으로 수집해 요약 및 시각화한다. 이를 기반으로 프로세스 실행을 효과적으로 제어하거나 관련된 의사결정 활동이 가능하다. 비즈니스 프로세스 이벤트 로그(이하 로그)는 프로세스 모니터링의 원천 데이터이다. 로그는 프로세스 인스턴스의 수행과정에서 발생한 모든 실행이력 정보를 포함한다. 최근에는 이러한 로그에 프로세스 마이닝[2,3] 기법들을 적용하여 조직에서 실제 실행되고 있는 비즈니스 프로세스 모델을 발견하는 연구가 수행되었다. 또한 발견한 모델을 기반으로 프로세스 실행의 문제점을 파악하고 개선에 활용하기 위한 연구 및 적용사례들이 증가하고 있다.

한편, 대규모 데이터 수집 및 처리에 대한 컴퓨팅 성능의 발전으로 딥러닝 기반의 지능형 예측 기술이 다양한 비즈니스 문제 해결에 적용되고 있다. 이와 관련하여, 기존의 프로세스 모니터링 기술에서 확장된 예측적 프로세스 모니터링(predictive process monitoring[4])에 대한 연구가 활발히 진행되고 있다. 기존의 프로세스 모니터링 및 프로세스 마이닝 기술이 프로세스 인스턴스들의 과거 수행이력 및 현황 정보를 제공했다면, 예측적 프로세스 모니터링은 수행중인 프로세스 인스턴스들의 미래를 예측하는 것에 초점을 맞춘다. 예측적 프로세스 모니터링의 연구 주제로는 프로세스 인스턴스의 다음 액티비티(업무 태스크) 및 실행경로 예측[4], 인스턴스의 잔여시간 예측[4,5] 설비의 고장 예측[6] 등이 있다. 이를 위해서, 각 예측 문제 별로 예측모델을 개발해야한다. 최근에는 로그를 훈련 데이터로 사용하는 딥러닝 기반의 예측모델들이 연구되고 있다. 본 논문에서는 프로세스 인스턴스 잔여시간 예측을 위한 LSTM(Long Short-Term Memory) 신경망 모델을 개발하고 예측성능평가를 수행한다. 기존의 연구들이 특징설계에 중점을 두고 잔여시간 예측 정확도를 높이고자 했다면, 본 논문에서는 데이터 전처리 부분에 초점을 맞춘다.

논문의 구성은 다음과 같다. 2장에서는 프로세스 인스턴스 잔여시간 예측 관련 선행연구들에 대해 설명하며, 3장에서는 이론적 배경인 잔여시간의 정의와 LSTM 신경망에 대해 설명한다. 4장에서는 특징 설계와 제안하는 액티비티별 특징 정규화를 설명한다. 5장에서는 제안된 방법과 관련연구[4,5]에 대해서 예측성능평가 및 비교하며, 마지막으로 6장에서는 결론을 제시한다.

(그림 1) 예측적 프로세스 모니터링의 개념

(Figure 1) The Predictive Process Monitoring Concept

2. 관련 연구

프로세스 인스턴스 잔여시간(이하 잔여시간) 예측 관련 초기 연구로써, van der Aalst et al.[7]은 잔여시간의 개념을 정형적으로 정의하고 비모수적(nonparametic) 회귀기법을 통해 이를 예측하는 방법을 제안했다. 이후에 잔여시간 예측의 정확도를 높이기 위해 다양한 연구들이 선행되었다. Polato et al.[8]는 오토마타 기반 전이시스템(transition system)을 통해 잔여시간을 예측하고자 하였고, Rogge et al.[9]는 stochastic Petri net을 사용하여 프로세스의 실행경로를 모델링하고 이로부터 잔여시간을 예측하는 기법을 제안하였다. 이와 비슷한 연구로서, Verenich et al.[10]는 BPMN(Business Process Model and Notation[11])으로 표현된 프로세스의 제어흐름 분석을 통해 예측 정확도를 높이고자 하였다. 위의 선행연구들의 경우, 프로세스의 제어흐름을 다양한 수학적 모델로 나타내고, 이를 기반으로 잔여시간 예측을 수행한 연구들이다.

한편, LSTM 신경망 기반의 잔여시간 예측 연구들이 수행되었다. LSTM 신경망은 순환신경망 계열로, 제어흐름에 의해 실행되는 액티비티간의 인과관계를 모델링하는데 효과적이다. Tax et al.[4]은 잔여경로를 예측하고 예측된 경로의 잔여시간을 예측하는 연구를 수행했다. 또한 비업무시간에 의한 잔여시간의 증가를 모델링하기 위해 시간 및 요일 값을 특징으로 사용했다. Navarin et al.[5]은 입력 값을 통해 즉시 잔여경로를 예측했다. 또한, 수행자별 업무숙련도에 따른 업무수행시간을 모델링하기 위해서 액티비티 수행자 정보를 특징으로 사용했다. Verenich et al.[12]는 수학적 모델기반 접근법[7-11]과 LSTM 신경망 모델기반 접근법[4,5]들의 잔여시간 예측 연구를 비교 및 분석하였다. 비교실험 결과로, 대다수의 잔여시간 예측 실험에서 LSTM 신경망 모델기반의 접근 방법들이 우수한 성능을 보였다. 본 논문에서는 기존의 LSTM 신경망 모델기반의 예측 모델[4,5]와 비교하여 개선된 정규화 방법을 통해 예측성능을 높이고자한다.

3. 이론적 배경

3.1 프로세스 인스턴스 및 잔여시간 개념

프로세스 인스턴스(이하 인스턴스)는 개별적인 비즈니스 프로세스 실행 건이다. 그림 2와 같이 각각의 인스턴스는 서로 다른 실행경로와 업무수행자에 의해 수행될 수 있다. 인스턴스의 시작에서 종료까지의 모든 수행 과정들은 순차적으로 로그에 저장된다. 개별 인스턴스에 해당되는 이벤트들의 집합을 트레이스(trace)라고 정의한다.

(그림 2) 프로세스 인스턴스 예제

(Figure 2) Process Instance Examples

트레이스는 액티비티 또는 업무수행자 중심으로 나타낼 수 있다. 액티비티 트레이스의 경우(예: [A-B-C]), 프로세스 모델 발견[13] 및 제어흐름 분석[14-16]의 기본 데이터로 활용된다. 업무수행자 트레이스의 경우(예:[Jeff-Emily-Cynthia]), 인적자원 중심의 비즈니스 프로세스 분석[17-22]에 활용된다. 이와 같이, 트레이스는 프로세스 분석의 기본 데이터 블록이다. 예측적 프로세스 모니터링도 트레이스를 중심으로 특징을 추출하고 이로부터 예측모델을 생성한다.

본 논문의 핵심 개념인 잔여시간의 경우, 인스턴스와 각 액티비티에 해당되는 이벤트들의 타임스탬프로 모델링된다. 그림 3은 액티비티(α_A~α_E)로 표현된 프로세스 인스턴스와 관련 시간속성에 대한 개념을 나타낸다. 인스턴스의 첫 번째 이벤트(α_A)와 마지막 이벤트(α_E)의 타임스탬프는 각각 인스턴스의 시작시간 및 종료시간이며, 예측 대상인 특정 이벤트(α_C)의 잔여시간(RT(α_C))은 α_C와 마지막 이벤트 α_E과의 타임스탬프 차이로 정의 된다. 반면에, 특정 이벤트의 경과시간(ET(α_C))은 α_C와 첫 번째 이벤트 α_A와의 타임스탬프 차이로 정의되며, 이를 잔여시간 예측을 위한 입력특징으로 사용한다.

(그림 3) 프로세스 인스턴스 잔여시간 및 경과시간

(Figure 3) The Remaining Time and the Elapsed Time on a Business Process Instance

3.2 LSTM 신경망

본 논문에서는 프로세스 인스턴스의 잔여시간 예측을 위해 LSTM 신경망[23]을 사용한다. LSTM 신경망은 기존의 RNN(Recurrent Neural Network)의 기울기 소실 문제를 개선한 신경망으로 망각 게이트(forget gate)와 입력 게이트(input gate)를 통해 과거정보와 현재정보의 기억유무를 계산해 효율적으로 다음 셀에 정보를 전달한다. 그림 4는 LSTM 셀의 구조를 나타낸다.

(그림 4) LSTM 셀 구조

(Figure 4) The LSTM Cell Structure

인스턴스를 입력받아 잔여시간을 예측하기 위해서 다대일(many-to-one) 구조의 LSTM 신경망 모델을 사용한다. 인스턴스 내부에 있는 다수의 액티비티를 순차적으로 입력하여 하나의 결과를 얻을 수 있는 해당 구조는 액티비티간의 인과관계를 모델링 하는데 효과적이다. 아래 그림 5는 LSTM 신경망 모델의 다대일 구조를 나타낸다.

(그림 5) LSTM 모델의 다대일 응용아키텍처 구조

(Figure 5) Many-to-One Application Architecture of LSTM Model

4. 예측모델 설계 및 액티비티별 특징 정규화

4.1 특징 설계

이벤트 로그는 인스턴스 아이디, 액티비티 아이디, 타임스탬프, 그리고 수행자 아이디를 기본적인 속성으로 가진다. 입력 특징 벡터를 생성하기 위해서 네 가지의 기본적 속성으로부터 특징을 추출한다.

•액티비티 아이디(Activity ID, 이하 ID): 수행된 이벤트의 액티비티 아이디.

•인스턴스 시작으로부터의 경과시간(Elapsed Time from Instance Start, 이하 ETs): 인스턴스의 첫 이벤트와 현재 이벤트의 타임스탬프간의 시간 차이.

•직전 이벤트로부터의 경과시간(Elapsed Time from Last Event, 이하 ETe ): 현재 이벤트와 직전이벤트 타임스탬프간의 시간차이.

•당일 자정으로부터의 경과시간(Elapsed Time from Midnight, 이하 ETm): 당일 자정과 현재 이벤트 타임스탬프간의 시간 차이. 해당 속성은 현재의 시간을 정량적으로 나타내는 속성이다.

•요일정보(Day of the Week, 이하 DW): 현재 이벤트 타임스탬프의 요일 정보.

•액티비티 수행자(Activity Performer, 이하 AP): 현재 액티비티를 수행한 수행자 정보.

ET_s, ET_e , ET_m, DW는 시간적 특징 값으로 정규화의 대상이다. ET_s, ET_e는 경과시간을 통해 인스턴스의 경과정도를 모델링한다. ET_m와 DW는 현재 인스턴스의 시간정보를 표현하여 이후 비업무시간에 따른 잔여 시간 증가를 모델링한다. ID와 AP는 각 특성에 대한 고유의 아이디이다.

4.2 액티비티별 특징 정규화

정규화는 특징 간 값의 범위를 균일하게 만들어 모델 학습의 안전성을 향상시키는 기법이다. LSTM 신경망 기반의 선행연구인 Tax et al.[4]에서는 각 특징의 평균값 (x_mean)을 이용해 평균 정규화를 수행하였으며 Navarin et al.[5]은 각 특징의 최대값(x_max)과 최소값(x_min)을 이용해 Min-Max 정규화를 수행했다. 아래의 식은 두 정규화 식을 나타낸다.

\(x_{n o r m}=\frac{x}{x_{\text {mean }}}\)       <수식 1>

\(x_{n o r m}=\frac{x-x_{\max }}{x_{\max }-x_{\min }}\)       <수식 2>

선행 연구들은 정규화를 통해서 특징 간 값의 범위를 균일하게 만들었다. 하지만, 일부 특징 내부에서는 액티비티별로 속성에 따라서 값의 분포가 다르다. 액티비티별 속성은 프로세스에서 액티비티의 위치와 액티비티의 업무처리시간 등이 있다. 자세한 사항은 그림 10을 통해 나타낸다. 액티비티 B는 항상 액티비티 C보다 먼저 실행된다. 즉, 액티비티 B의 ET_s는 액티비티 C의 ET_s보다 항상 값이 작다. ET_e의 경우 각 액티비티의 처리시간에 따라서 값의 분포가 결정된다. ET_m과 DW는 액티비티에 상관없이 고정적인 데이터 범위를 가진다.

(그림 6) 액티비티별 속성에 따른 시간특징값 분포 차이

(Figure 6) Difference in Distribution of Time Feature Values Aaccording to Properties by Activity​​​​​​​

이러한 현상이 실제 데이터에도 나타나는지 확인하기 위해 helpdesk 로그에서 ET_s를 추출하고 액티비티별로 분류한다. 이는 그림 11에 boxplot으로 나타낸다.

(그림 7) 액티비티별 경과시간 분포

(Figure 7) Distribution of Elapsed Time by Activity​​​​​​​

본 논문에서는 액티비티별 시간특징 값의 차이를 고려하기 위해 액티비티별 특징 정규화를 제안한다. 적용 되는 특징은 ET_s와 ET_e이다. 그림 12는 ET_s에 대한 특징 추출 및 액티비티별 특징 정규화 알고리즘이다. 이벤트 로그를 입력으로 받아 ET_s를 추출하고 액비티비 별로 특징정규화 하여 반환한다. helpdesk 로그의 인스턴스 #117(α₁ -α₂ -α₃)를 통해 예를 든다. α₃과α₁의 타임스탬프 차이로 ET_s (117,α₃)가 계산된다. 현재 액티비티는 α₃이므로 α₃ ET_s의 최대값과 최소값을 통해 정규화 된다. 해당 알고리즘의 시간 복잡도는 \(O\left(\iota_{i} \times \epsilon_{j}\right.\left.+\alpha_{l} \times T+\iota_{i} \times \epsilon_{j}\right)\)이다. \(\iota_{i} \times \epsilon_{j}\)와 α_l × T는 모든 이벤트에 대한 전수탐색을 의미한다. 따라서 로그의 전체 이벤트 개수가 n일 경우, 시간 복잡도는 O(n)으로 표현된다. 기존의 일반적인 정규화(수식 1,2)의 시간복잡도 또한 O(n)으로 액티비티별 특징 정규화와 동일하다. ET_e의 경우 위 알고리즘의 10번 줄의 코드가 ET_e(l_i ε_j) =ε_j .t-ε_j-1.t.으로 대체된다. ET_m과 DW는 Min-Max 정규화(수식 2)를 적용한다.

(그림 8) 특징 추출 및 액티비티별 특징 정규화 알고리즘

(Figure 8) Algorithm of Normalization by Activity​​​​​​​

5. 실험 및 성능평가

본 장에서는 LSTM 기반의 잔여시간 선행연구들[4,5]과 본 논문에서 제안하는 모델을 이용하여 실험 및 성능평가를 수행한다. 실험 환경은 표 1과 같다.

(표 1 ) 실험 환경

(Table 1) Experimental Setup​​​​​​​

5.1 실험 데이터셋 및 비교 모델

본 실험에서 사용하는 데이터셋은 4TU.Centre for Research Data[24]에서 제공된 실제 이벤트 로그이다. 그 중에서 프로세스 마이닝 관련 대회인 BPIC(Business Process Intelligence Challenge)에서 공개된 BPIC2012, 2017과 연구목적으로 공개된 HelpDesk 데이터셋을 잔여 시간 예측 실험에 사용한다. 각 데이터셋의 세부사항은 다음과 같다.

•HelpDesk 데이터셋: 이탈리아 소프트웨어 기업의 헬프 데스크에서 제공하는 티켓팅 관리 프로세스의 이벤트 로그이다. 2010년부터 2014년까지 약 4년 동안 수집되었다. 해당 로그는 CSV(Comma-Separated Values) 파일 형식으로 저장되어 있다.

•BPIC2012 데이터셋: 글로벌 금융기관 Dutch Financial Institute의 개인 대출 및 당좌대월(overdraft) 신청 프로세스 로그이다. 로그는 2011년 10월부터 2012년 3월까지 수집됐다. 해당 프로세스는 업무수행자가 처리하는 일반 태스크(manual task)와 프로그램이 자동적으로 처리하는 자동 태스크(automatic task)를 포함한다. 본 논문에서는 필터링을 통해 일반 태스크 로그만을 사용하였다. 해당 로그는 XES(eXtensible Event Stream) 포맷[25]으로 저장되어 있다.

•BPIC2017 데이터셋: BPIC2012와 동일하게 Dutch Financial Institute의 대출신청 로그이다. 2016년부터 2017년 2월까지 수집되었다. 프로세스 지원 시스템의 변경으로 BPIC2012와는 다른 모델에서 실행되었다. 해당 로그는 XES 포맷으로 저장되어있다.

표 2는 데이터셋에 대한 통계 정보를 나타낸다. 첫 항목인 ‘패턴 수/인스턴스 수’는 로그가 얼마나 다양한 패턴의 인스턴스를 보이는지 나타낸다. 다음 항목인 ‘액티비티 개수’는 로그에서 발견되는 액티비티의 종류이다. 나머지 항목은 잔여시간, 인스턴스 길이, 반복실행 횟수의 평균이다. 표 2에 따르면 helpdesk 는 액티비티 개수를 제외한 모든 항목에서 가장 낮은 수치를 보인다. BPIC2012는 가장 낮은 액티비티 개수를 가지지만 패턴의 비율과 반복실행 평균 횟수가 가장 높다. BPIC2017은 액티비티의 개수와 잔여시간 및 인스턴스 평균 길이가 가장 길다. 이러한 서로 다른 특성을 가지는 로그들을 사용해 잔여시간 예측 비교성능평가를 진행한다.

(표 2) 프로세스 이벤트 로그 세부 정보

(Table 2) Process Event Log Detail Information​​​​​​​

제안된 모델과 비교성능평가를 수행하는 LSTM 신경망 기반 선행연구들[4,5]의 세부사항 및 차이점은 아래 표에서 자세히 나타낸다. Tax et al.[4]은 다섯 가지 특징들(ID ,ET_s,ET_e ,ET_m,DW)을 사용하였다. 이를 통해 잔여 경로 예측을 수행하고, 예측된 경로에 대해서 잔여시간을 예측했다. 정규화는 네가지 특징(ET_s,ET_e ,ET_m,DW)에 대해서 평균정규화(수식 1)를 적용했다. Navarin et al.[5]은 특징 AP를 추가적으로 사용했다. 정규화는 네가지 특징(ET_s,ET_e,ET_m,DW)에 대해서 Min-Max 정규화(수식 2)를 적용했다. 제안된 논문은 Navarin과 동일한 특징을 사용하였으며 액티비티별로 분포 차이를 보이는 특징(ET_s,ET_e)에 대해서 액티비티별 특징 정규화(그림 12)를 적용하고 고정적인 범위를 보이는 특징(ET_m,DW)에 대해서는 Min-Max 정규화(수식 2)를 적용했다.

(표 3) 예측 모델별 세부사항

(Table 3) Predictive Models-Specific Details​​​​​​​

5.2 예측모델 설정 및 성능지표

본 논문의 LSTM 모델의 매개변수 및 세부사항은 표 4와 같다.

(표 4) LSTM 모델 파라미터 세부사항

(Table 4) The Detailed Manifest of the LSTM Model Parameters​​​​​​​

해당 파라미터는 세 가지 로그에 대해서 가장 높은 성능을 보이는 수치이다. 또한 과적합을 방지하기 위해서 학습조기종료를 사용한다. LSTM 신경망에 입력하기 위해 인스턴스들의 길이를 패딩을 적용해 고정했다. 학습데이터는 훈련 집합 50%, 검증 집합 20%, 그리고 테스트 집합 30%로 구성된다. 또한, 예측 모델의 성능평가기준으로서 평균절대오차(Mean Absolute Error, 이하 MAE) 손실함수를 사용한다. MAE 값은 모든 관측값(yj)과 모델의 예측값\(\left(\hat{y}_{j}\right)\) 간 절대 차이값의 합을 데이터 수(n)로 나눈 값이다. 예측 대상인 잔여시간은 통합 단위로 일(day)를 사용하며 소수점 4번째 자리에서 반올림 한다. 아래의 수식은 평균절대 오차를 나타낸다.

\(M A E=\frac{1}{n} \sum_{j=1}^{n}\left|y_{j}-\hat{y}_{j}\right|\)       <수식 3>

5.3 실험 및 결과

본 실험에서는 잔여시간 예측 선행연구들[4,5]와 제안된 예측모델간의 예측성능평가 및 비교를 수행한다. 세부적으로 두 가지의 실험이 수행된다. 첫 번째는 서로 다른 특성을 가진 로그들(Helpdesk, BPIC2012, BPIC2017)을 통해 프로세스에 따른 각 모델의 예측성능을 평가한다. 두 번째는 전처리를 통해 단순화된 BPIC2012 로그에 대하여 각 모델의 예측성능을 평가한다. 두 번째는 전처리를 통해 단순화된 BPIC2012 로그에 대하여 각 모델의 예측성능을 평가한다. 실험결과로 나오는 MAE 오차는 실제 시간의 차이를 의미한다. MAE 1은 실제 시간 1일을 나타내며 0.5의 경우 12시간을 의미한다.

표 5는 세 로그에 대한 잔여시간 예측 결과를 나타낸다. Prefix는 이전에 실행된 이벤트의 최소 개수를 나타낸다. 모든 데이터셋에서 제안된 모델은 가장 높은 성능을 보였고 Navarin 모델은 두 번째로 높은 성능을 보였다. 두 모델의 예측성능 차이는 Helpdesk에서 1일, BPIC2012에서 3일 7시간, 그리고 BPIC2017에서 5일 12시간이다. 두 모델이 세 로그에 대해서 보이는 예측성능 차이는 이러한 로그의 특성을 통해서 분석된다. 잔여시간 평균과 인스턴스 평균 길이는 프로세스 모델의 규모를 의미한다. 패턴비율은 해당 프로세스 제어흐름의 복잡도를 의미한다. 단, 반복적 제어흐름에서는 다른 제어흐름에 비해 많은 패턴이 발생 할 수 있다. 액티비티 개수가 24개, 잔여시간 평균이 525일, 그리고 인스턴스 평균 길이가 15이다. 이는 나머지 두 로그보다 2배이상 높은 수치이다. BPIC2012는 패턴비율이 24%이며 반복실행 평균횟수가 6.8로 BPIC2017보다 더 높다. 하지만 액티비티의 개수가 6개이며 로그에 포함된 반복실행이 모두 하나의 액티비티가 반복실행 하는 단순반복실행이다. Helpdesk는 가장 적은 패턴수와 인스턴스 길이를 가진다. 따라서 BPIC2017, BPIC2012, 그리고 Helpdesk 순으로 프로세스가 복잡한 것으로 분석된다. 위 결과에 따라서 제안된 모델은 Navarin의 모델보다 예측성능이 높다. 특히, 복잡한 프로세스에서 예측성능의 차이는 더욱 증가한다.

(표 5) 비즈니스 프로세스 인스턴스 잔여시간 실험 결과

(Table 5) Experimental Results on the Remaining Times of Business Process Instances​​​​​​​

두 번째 실험은 첫 번째 실험과는 반대로 단순한 로그에 대한 예측성능 비교이며 결과는 표 6에 나타난다. 가장 적은 액티비티를 가지며 모든 반복제어흐름이 단순반복인 BPIC2012에 전처리를 하여 단순한 로그를 생성한다. 두 가지 전처리를 통해 각각 로그를 생성한다. 먼저 잔여시간 이상치를 가지는 인스턴스들을 제거한 로그를 생성한다. 두 번째로는 폴딩기법으로 반복적 제어흐름을 제거한 로그를 생성한다. 폴딩기법은 동일한 액티비티가 반복실행 되는 경우 하나로 그룹핑 하는 기법이다. 이상치가 제거된 BPIC2012에서는 모든 모델의 예측성능이 향상되었으며 제안된 모델이 가장 높은 성능을 보였다. 반복적 제어흐름을 제거한 BPIC2012에서는 Tax모델이 가장 높은 성능을 보였으며 제안된 모델은 약 43분 차이로 두 번째의 성능을 보였다. 따라서 단순한 프로세스에서도 제안된 모델이 높거나 근사한 성능을 보이는 것을 확인했다.

(표 6) 반복제어흐름 및 이상치 실험 결과

(Table 6) Experimental Results on Repetition Control Flow and Outlier​​​​​​​

6. 결론

본 논문에서는 액티비티별 시간특징 값 분포 차이를 고려하기 위해 액티비티별 특징 정규화를 제안하고 모델에 적용했다. 제안된 모델의 예측 성능 우수성을 입증하기 위해 4TU.Centre for Research Data[26]에서 제공된 실제 기업의 로그를 통해 실험을 수행했다. 첫 번째 실험은 세 가지 로그에 대한 잔여시간 예측이 수행되었으며 제안된 모델은 모든 로그에서 가장 높은 예측성능을 보였다. 프로세스의 복잡도가 증가할수록 제안된 모델이 선행연구들보다 예측성능이 우수함을 확인했다. 두 번째 실험은 이상치가 제거된 BPIC2012와 반복실행이 제거된 BPIC2012에 대해서 수행되었다. 이상치가 제거된 로그에서도 제안된 모델은 가장 높은 성능을 보였으며 반복실행이 제거된 로그에서는 가장 높은 성능의 모델과 근사한 성능을 보였다. 따라서 본 논문에서 제안하는 액티비티별 특징 정규화는 잔여시간 예측의 성능을 개선할 수 있는 전처리 기법임을 입증했다.