1. 서론
무기체계의 가용성 및 안전성 확보, 성능 충족, 유지비용 절감, 정비 요소 식별에 영향을 미치는 RAM(Reliability, Availability, Maintainability)은 무기체계 연구개발 및 구매 시 필수적인 요소이다. 무기체계 RAM 업무는 무기체계가 만족해야 하는 신뢰도, 가용도, 정비도 요구 기준인 RAM 목표값을 기준으로 고장이 적고 적기에 정비할 수 있는 무기체계를 개발하고 생산하기 위해 수행하며 효과적인 RAM 업무를 통해 무기체계 전력화 이후 전투수행능력의 극대화, 운용유지비용 최소화 등을 만족할 수 있다. RAM 업무는 소요제기 및 결정 단계에서 각 군 및 합참이 RAM 잠정 목표값을 제시한 후 선행연구단계에서 RAM 잠정 목표값 적절성 검토 및 RAM 목표값 설정 방안을 검토하게 된다. 이후 결정된 RAM 목표값 설정 방안을 바탕으로 RAM 목표값 설정 후 해당 지표에 맞춰 무기체계 개발을 수행하게 된다. 따라서 RAM 업무의 기초가 되는 RAM 목표값은 개발단계 동안의 무기체계를 정량적으로 평가할 수 있는 중요한 지표이며 개발 무기체계에 적합하고 가용한 자료를 활용한 RAM 목표값 설정 방법을 검토하고 적용하는 것은 필수적이다[1].
무기체계 RAM 목표값 설정 방법은 크게 4가지 방법이 사용된다. OMS/MP(Operational Mode Summary/Mission Profile)를 활용하는 방법, 유사 체계 야전운용제원을 활용하는 방법, 목표값 관련 기준을 활용하는 방법, 시뮬레이션을 활용하는 방법이 있다. 첫째, OMS/MP를 활용하는 방법은 작성된 OMS/MP를 정량화하여 RAM 목표값을 설정하는 방법으로 일반적으로 평시 상황을 의미하는 OMS 정량화 결과와 전시 상황의 작전이 반영된 Switch ON/OFF List를 이용한다[2-3]. 둘째, 유사체계 야전운용제원을 활용하는 방법은 유사체계 야전운용제원 분석 결과를 그대로 활용하거나 무기체계 영향을 미치는 변수에 대해 회귀분석을 수행하는 등 통계적 분석 기법을 이용해 설정할 수 있으며 보정계수 반영 시 AHP(Analytic Hierarchy Process)를 활용하거나 증거이론을 사용하는 연구가 주를 이루고 있다[4-7]. 셋째, 목표값 관련 기준을 활용하는 방법은 장비의 운용 조건, 운용 시간을 근거로 계산을 통해 산출하는 방법으로 분석 기법들이 발전하면서 목표값 관련 기준을 활용하는 연구는 감소하는 추세를 보이고 있다. 넷째, 시뮬레이션을 활용한 방법은 복잡한 구조를 가진 장비의 RAM 잠정 목표값 설정 이후 목표값을 확정하기 위한 검증 방식으로 사용한다[8-9]. 또한 앞서 언급한 4가지 방법 중 두 가지 이상의 방법을 조합하여 RAM 목표값을 설정할 수 있으며 주로 OMS/MP와 유사체계 야전운용제원을 복합적으로 활용하거나, 유사체계 야전운용제원과 시뮬레이션을 동시에 활용하는 등 여러 조합으로 RAM 목표값을 설정한다[10-12].
이 연구에서 다루고자 하는 유사체계 야전운용 제원을 활용하는 방법의 경우, 일반적으로 유사체계의 시간 요소를 RAM 목표값 설정 대상 무기체계의 시간 요소로 변환하기 위해 전문가 설문 결과를 반영한 보정계수를 사용하며 전문가 설문 결과의 평균값을 보정계수로 설정하여 목표값을 설정한다. 그러나 전문가의 설문 결과는 전문가에 따라 그리고 전문가의 전문 분야에 따라 산포가 존재하며 이러한 산포가 비대칭인 경우 설문 결과의 대푯값으로 평균값을 사용하기 어렵다.
따라서, 이 연구에서는 유사체계 야전운용제원을 바탕으로 RAM 목표값 설정 시, 유사체계의 시간 요소를 대상 무기체계의 시간 요소로 변환하는 새로운 보정계수 산출 방법론을 제안하고 이를 반영한 RAM 목표값 설정 프로세스를 제시한다. 이 연구에서 제안한 방법론은 시간 요소 변환 시 대상 무기체계의 운용 및 정비 특성을 고려하여 전문가의 의견의 산포와 전문가의 전문 분야를 고려한 가중치를 반영한 보정계수를 산출하여 활용하는 것을 포함한다. 그리고 이를 바탕으로 무기체계의 RAM 목표값을 설정하는 사례를 다룬다.
2. 최종 보정계수를 이용한 무기체계 RAM 목표값 설정
2.1 보정계수를 이용한 RAM 목표값 설정 프로세스
일반적으로 유사체계 야전운용제원을 활용한 RAM 목표값 설정 방법은 4가지 단계로 대상 무기체계 선정, 야전운용제원 분석을 통한 RAM 값 산출, 설문 및 보정, RAM 목표값 설정으로 이루어진다[1]. 이러한 일반적인 RAM 목표값 설정 프로세스를 바탕으로 개발하고자 하는 무기체계에 따라 적절한 수정 및 보완을 거쳐 최종 RAM 목표값을 설정한다.
이 연구에서 제안한 보정계수를 이용한 RAM 목표값 설정 프로세스는 Fig 1과 같다. 주어진 프로세스 중 <5단계>부터 <7단계>는 기존 RAM 목표값 설정 프로세스와 달리 이 연구에서 제안한 방법론의 일부이며 각 단계별 설명은 아래와 같다.
Fig. 1 Proposed RAM Target Value Setting Process
<1단계> : RAM 목표값 설정을 위한 기초 자료 수집 단계로 개발 대상 체계의 유사 체계로 지정한 무기체계에 대한 운용 및 정비실적을 수집한다.
<2단계> : 수집된 유사체계 야전운용제원을 이용하여 유사체계 시간 요소를 작성한다. 시간 요소는 해당 무기체계의 운용 및 정비와 관련한 시간을 8,760 시간을 기준으로 비율에 따라 작성한다.
<3단계> : 유사체계의 시간 요소를 바탕으로 개발 무기체계에 적합한 시간 요소 도출을 위해 개발 무기체계 개발 개념에 따른 전문가 설문을 설계하고 설문 조사를 진행한다.
<4단계> : 설문 조사 결과를 분석하기 위해 데이터 스크리닝을 수행하고 설문 결과에 대한 통계량을 계산한다.
<5단계> : 설문 문항 결과의 대푯값을 결정하기 위해 적률을 고려한 보정계수를 계산한다.
<6단계> : 설문 조사에 참여한 전문가를 그룹화하여 설문 범주별 가중치를 부여한다.
<7단계> : <5단계>에서 계산된 보정계수에 <6단계>에서 부여한 가중치를 반영하여 최종 보정계수를 도출한다.
<8단계> : <2단계>의 유사체계 시간 요소에 <7단계>에서 도출한 최종 보정계수를 적용하여 개발 대상 무기체계의 시간 요소를 산출한다.
<9단계> : 산출된 개발 대상 무기체계의 시간 요소를 이용하여 RAM 목표값을 설정한다.
2.2 적률을 고려한 보정계수 설정
유사체계 시간 요소를 이용하여 개발 대상 무기체계의 RAM 목표값을 설정하고자 할 때, 유사 체계의 시간 요소 산출 결과에 관련 분야의 전문가들의 의견을 반영하여 설정할 수 있다. 설문은 기존 무기체계 대비 개발 대상 무기체계의 운용 및 정비 관련한 문항에서 항목별로 횟수나 시간의 증가 또는 감소에 대해 수행한다. 그리고 설문 결과를 분석하고 반영하기 위해 기존의 알려진 설문조사 기법을 사용하거나 통계량을 활용한다.
이 연구에서는 설문 문항 결과의 대푯값을 보정계수로 사용하기 위해 데이터로부터 추정한 적률을 기반으로 하여 통계량을 선정한다. 적률은 분포의 다양한 형태 및 특성을 나타내는 측도이며 분포의 중심 위치, 산포의 정도, 대칭, 분포의 꼬리의 두께 정도를 포함한다[13]. 그중 3차 적률인 왜도(Skewness)는 분포의 치우친 정도를 나타내는 통계량으로 샘플 데이터가 주어진 경우 식 (1)과 같이 추정할 수 있다. 여기서 n은 비결측 관측치 수이며, Xi는 i번째 관측치, \(\begin{align}\bar {X}\end{align}\)는 관측치의 평균이고 S는 표본표준편차를 의미한다.
\(\begin{align}Skweness=\frac{n}{(n-1)(n-2)} \sum\left[\frac{X_{i}-\bar{X}}{S}\right]^{3}\end{align}\) (1)
일반적으로 RAM 목표값 설정을 위한 보정계수 산출 시 설문 결과 데이터가 대칭으로 나타나는 경우 평균을 대푯값으로 선정할 수 있지만 한쪽으로 치우친 경우에는 평균을 대푯값으로 선정하기에는 어려움이 있다.
따라서 이 연구에서는 적률 중 3차 적률인 왜도를 고려하여 설문 결과의 대푯값을 보정계수로 설정한다. 왜도를 고려한 보정계수 설정은, 왜도의 절대값이 1보다 큰 경우 분포를 대표하는 값으로 설문 응답 비중이 높은 중앙값을 사용하고, 왜도의 절대값이 1보다 작은 경우 분포의 형태가 대칭에 가까운 것을 의미하므로 대푯값으로 평균값을 사용한다. 데이터가 정규분포에서 벗어나는 기준으로 왜도와 관련된 여러 연구들이 진행되었다. 일반적으로 통계적 추정에 중요한 요소인 신뢰구간, 모수 간의 상관관계와 모형의 적합성을 고려하여 왜도의 절대값이 1을 초과하는 경우 정규분포를 따르지 않는다고 판단하여 평균을 대푯값으로 선정하지 않는다[14-15]. 이 연구에서도 왜도의 절대값을 1과 비교하여 문항별 설문 결과의 대푯값을 선정하였다.
2.3 전문가 그룹별 가중치를 고려한 최종 보정계수 산출
무기체계 RAM 목표값 설정을 위한 시간 요소는 크게 운용 시간 요소와 정비 시간 요소로 구분할 수 있다. 운용 시간 요소는 OT(Operating Time), AT(Alert Time), ST(Standby Time)로 구분 가능하며 이 시간 요소를 합한 것이 TUT(Total Up Time)이다. 정비 시간 요소는 TCM(Total Corrective Maintenance Time), TPM(Total Preventive Maintenance Time), TALDT(Total Administrative and Logistic Delay Time)로 구분되며, 이 세 가지의 시간 요소를 합한 시간이 TDT(Total Down Time)이다. 그리고 TUT와 TDT를 합한 시간이 TT(Total Time)가 된다.
무기체계 RAM 목표값 설정을 위한 전문가 설문 시, 앞서 언급한 각 시간 요소에 대해 기존 운용 중인 유사체계 대비 개발 대상 무기체계의 운용 및 정비 요소의 증감 수준을 확인하게 된다. 이때, 설문의 일관성을 위해 모든 분야의 전문가에게 동일한 설문을 수행하나 각 전문가 그룹별 담당 업무 및 환경의 차이에 따른 전문성의 차이가 존재한다. 이는 문항에 따라, 전문가 그룹별 응답 편차 발생의 원인이 되며 최종적으로는 개발 무기체계에 적합하지 않은 RAM 목표값이 설정될 가능성이 있다. 따라서, 전문가 그룹을 운용 분야와 정비 분야로 나누어 그룹별 응답에 대해 가중치를 부여하는 것이 필요하다.
평균값 또는 중앙값을 이용하여 산출한 보정계수에 그룹별 가중치를 부여한 최종 보정계수인 CFWeighted,ij는 식 (2)를 통해 산출할 수 있다.
\(\begin{align}C F_{\text {Weighted }, i j}=\sum_{k=1}^{l}\left[w_{i k} \times C F_{j k}\right]\end{align}\) (2)
범주 i(i = 1, 2, ⋯, m)는 해당 설문이 포함된 분야의 구분을 의미하며, j(j = 1, 2, ⋯, ni)는 각 설문 분야별 설문 번호를 의미한다. 또한 k(k = 1, 2, ⋯, l)는 각 전문가 그룹을 의미한다. wik는 범주 i의 설문 결과에 대한 전문가 그룹 k의 가중치를 의미하며, CFjk는 j번째 설문 문항에 대한 k번째 전문가 그룹의 보정계수 대푯값을 의미한다. 전문가 그룹별 가중치를 고려한 보정계수 산출 과정은 Table 1과 같다.
Table 1. Calculation of Weighted Conversion Factors
Table 1에서 각 문항별로 계산된 가중치인 CFWeighted,ij를 무기체계 RAM 목표값 설정을 위한 항목별 최종 보정계수로 활용할 수 있다. 최종 보정계수를 유사체계 시간 요소에 적용하여 개발 대상 무기체계의 시간 요소로 변환하고, 이를 8,760시간으로 스케일링하여 최종 개발 대상 체계의 시간 요소를 도출한다. 그리고 도출된 시간 요소를 이용하여 개발 대상 체계의 RAM 목표값을 설정한다.
3. 최종 보정계수를 이용한 무기체계 RAM 목표값 설정 사례
앞서 제시한 무기체계 RAM 목표값 설정 프로세스에 따라 무기체계의 RAM 목표값을 설정한 사례이다. 대상 체계는 해상 무기체계 내 탑재된 체계로 독립적인 4개의 부체계로 이루어지며 탐지·추적·식별을 위한 체계이다. 해당 무기체계의 RAM 목표값을 설정하기 위해 유사체계 야전운용 제원을 수집 및 분석하였으며, 이 연구에서는 4개의 부체계 중 부체계 A에 대한 RAM 목표값을 설정한 사례를 다루었다. 유사체계 시간 요소를 RAM 목표값 설정 대상 무기체계의 시간 요소로 변환하기 위하여 전문가 설문을 실시하였다. 총 68명의 관련 분야 전문가를 대상으로 기존 유사 체계 대비 RAM 목표값 설정 대상 무기체계의 운용 및 정비의 횟수/시간의 증감 정도에 대하여 –50%에서 100%까지의 구간을 16등분 하여 질문하였다. 설문 문항 중 부체계 A에 해당하는 설문 문항은 Table 2와 같다. 해당 설문을 바탕으로 보정계수를 산출하기 위해 먼저 데이터 스크리닝을 수행하였다. 데이터 스크리닝은 설문 결과의 IQR(InterQuartile Range)을 구한 뒤 IQR을 벗어나는 값을 제거하는 방식으로 진행하였다.
Table 2. Questions for Conversion Factor over Subsystem A
데이터 스크리닝 이후 적률을 고려한 보정계수 산출을 위해 전문가 그룹별, 설문 문항별 왜도를 계산하였으며, -1<왜도<1인 경우 설문 결과의 평균값을 사용하고, 왜도<1 또는 왜도>1인 경우 중앙값을 사용하였다. 전문가 그룹 2에 대해 설문 문항별 보정계수를 산출한 결과는 Table 3과 같다. Table 3의 통계량 중 왜도를 기준으로 중앙값을 사용하는 경우 *로 표기하였다.
Table 3. Conversion Factors Calculated Using Expert Group 2’s Responses
* Median
10번 문항의 경우 왜도 추정값이 –1.29임에 따라 10번 문항의 설문 응답값의 평균 35.71과 중앙값 35.00 중 중앙값을 해당 문항의 대푯값으로 설정한다. 이는 10번 문항의 전문가 설문 결과, 해당 부체계 A의 정비 횟수가 유사체계의 정비 횟수보다 35% 증가한다는 것을 의미하므로 보정 계수는 1.35가 된다.
10번 문항의 경우와 같이 문항별로 산출된 보정계수에 전문가 그룹별 가중치를 고려하여 최종 보정계수를 계산하였다. 설문을 수행한 전문가 그룹을 각 전문 분야별로 구분하여 가중치를 부여할 수 있는데 분석하고자 하는 대상 체계는 무기체계로 크게 운용과 정비로 나누어 총 5개의 전문가 그룹을 전문가 그룹 1~3, 그룹 4, 그룹 5로 재그룹화한 후 운용과 정비 분야로 나누어 가중치를 각각 부여하였다. 그룹별 가중치는 운용 분야의 경우 각 0.5, 0.3, 0.2를, 정비 분야의 경우 각 0.3, 0.2, 0.5를 부여하였다. 전문가 그룹 1~3은 실제 무기체계 운용 및 훈련을 수행한 전문가이므로 운용 분야에 높은 가중치를 부여하였으며 전문가 그룹 5는 무기체계 정비 관련 전문가이므로 정비 분야에 높은 가중치를 부여하였다. 전문가 그룹 4의 경우 운용 및 체계 관점에 대한 이해도가 높으므로 운용 분야에서는 전문가 그룹 5보다 높은 가중치를 부여하였다.
식 (2)를 이용하여 구한 가중치를 앞서 산출한 보정계수에 적용하여 가중평균을 구하면 Table 4와 같이 최종 보정계수를 계산할 수 있다.
Table 4. Conversion Factors and Weighted Conversion Factors Calculated for Subsystem A of Weapon System under Development
Table 5는 부체계 A에 대해 전문가 그룹별 가중치를 부여하여 구한 보정계수를 반영하여 대상 체계의 시간 요소로 변환한 결과이다.
Table 5. Operating and Maintenance Times Scaled with Weighted Conversion Factors for Subsystem A
OT의 보정계수는 1번 문항과 2번 문항의 Weighted Conversion Factor의 평균으로 계산되어 1.51로 산출하였다. 이를 이용하여 체계의 OT는 유사체계 시간 요소에 보정계수인 1.51을 곱하여 계산할 수 있다. 계산된 최종 보정계수인 CFWeighted,ij를 유사체계 시간 요소에 반영하고 TT가 8,760시간이 되도록 스케일링함으로 대상 체계의 시간 요소를 Table 5와 같이 산출할 수 있다. 이때, ST를 ST1과 ST2로 나눈 것은 탑재 체계에 적용 가능한 개념으로 ST1은 대상 체계가 가동을 위해 대기하고 있는 시간을 의미하며 ST2는 부여된 정비시간 중 실제 대상 장비에 소요된 시간을 제외한 대기 시간을 의미한다.
부체계 A의 시간 요소를 바탕으로 MTBF(Mean Time Between Failure), AO(Operational Availability), MTTR(Mean Time To Repair)을 다음과 같이 추정할 수 있다.
\(\begin{align}M T B F=\frac{O T}{\text { Number of CM }}=\frac{4,899.26}{10.14}=483.02 \mathrm{hr}\end{align}\)
\(\begin{align}A_{o}=\frac{T U T}{T U T+T D T} \times 100=\frac{7,241.28}{8,760.00} \times 100=82.66 \%\end{align}\)
\(\begin{align}M T T R=\frac{T C M}{\text { Number of CMM }}=\frac{258.54}{10.14}=25.49 \mathrm{hr}\end{align}\)
따라서, 유사체계 야전운용제원을 기반으로 왜도와 전문가별 가중치를 고려한 최종 보정계수를 반영한 결과, 부체계 A의 RAM 목표값은 MTBF = 483.02시간, AO = 82.66%, MTTR = 25.49시간이 된다.
해당 사례에 대해 기존 보정계수 산출 방법인 평균값만을 이용하여 RAM 목표값 설정한 결과는, MTBF = 2,900.99시간, AO = 97.06%, MTTR = 29.85시간으로 도출되는 것을 확인할 수 있다. 기존 방법으로 산출한 결과의 경우, 무기체계가 첨단화 및 현대화됨에 따라 가용도와 신뢰도가 낮아질 것이라는 여러 분야의 전문가 의견을 고려해 볼 때 비현실적인 RAM 목표값임을 알 수 있다. 무기체계의 RAM 목표값 설정은 무기체계 개발에 따른 비용, 개발 기간 등을 고려해야 하며, 이 연구에서 제안한 방법을 이용한 RAM 목표값 설정이 더 현실적이라고 판단된다.
4. 결론
이 연구에서는 유사체계 야전운용제원을 활용하여 유사체계의 시간 요소를 바탕으로 대상 무기체계의 RAM 목표값을 설정하는 개선된 프로세스를 제시하였다.
제시한 프로세스에서 RAM 목표값 설정을 위한 보정계수 산출 시, 적률을 고려하여 전문가 설문 결과를 반영한 보정계수를 설정하였다. 적률 중에서도 분포의 비대칭성을 나타내는 왜도를 기준으로 설문 결과를 대표할 수 있는 평균값 또는 중앙값을 보정계수로 선정하였다. 또한 보정계수로 선정한 설문 결과의 대푯값을 유사체계 시간 요소에 적용하기에 앞서 설문을 수행한 전문가 그룹의 전문성을 반영하기 위해 전문가 그룹별 가중치를 부여한 가중평균값으로 최종 보정계수를 사용하고, 이를 활용해 무기체계 RAM 목표값을 산출하였다.
이 연구에서 제안한 방법론을 해상 무기체계에 탑재된 부체계 A에 적용한 결과, 기존 방법론을 이용하여 설정한 RAM 목표값보다 현실적인 RAM 목표값을 얻을 수 있었다. 이 연구에서 제안한 무기체계 RAM 목표값 설정 방법론이 우리나라 무기체계 RAM 목표값 설정에 현실적인 기여를 할 수 있으리라 기대된다.
감사의 글
이 논문은 2022년 정부(방위사업청)의 재원으로 국방 과학연구소의 지원을 받아 수행된 연구임(UI220036DD)
References
- Defense Acquisition Program Administration.: Weapons System RAM Guidebook, (2018).
- N. Ahn and S. Jo, "A study on improvement of setting methodology of RAM target value in new ground weapon system," Korean Journal of Military Art and Science, vol. 77, no. 2, pp. 416-433, (2021). https://doi.org/10.31066/KJMAS.2021.77.2.017
- K. Lee, S. Lim and K. Oh, "A Scheme for Establishing the OMS/MP Based RAM Goal Value," Korea Association of Defense Industry Studies, vol. 23, no. 2, pp. 1-24, (2016).
- Y. Park, Y. Choi, S. Hong, M. Han, J. Jeong, Y. Han, K. Lee and S. Lee, "A Study of Setting t he RAM G oals f or CIWS Using Field Operations Data," Journal of the KNST, vol. 6, no. 4, pp. 409-413, (2023). https://doi.org/10.31818/JKNST.2023.12.6.4.409
- E. Jo, "A Study on the Model of Setting the Warship Weapon System Target Reliability through Statistical Analysis." Journal of the Korea Academia Industrial Cooperation Society, vol. 24, no. 6, pp. 294-301, (2023). https://doi.org/10.5762/KAIS.2023.24.6.294
- S. Han and S. Paik, "RAM goal-setting using the AHP and field data of similar weapon systems," Journal of Applied Reliability, vol. 20, no. 2, pp. 154-162, (2020). https://doi.org/10.33162/JAR.2020.6.20.2.154
- I. Na, "A study on the data quantification of weapon system RAM objective setting using evidence theory," Journal of the Korea Institute of Military Science and Technology, vol. 25, no. 1, pp. 96-107, (2022). https://doi.org/10.9766/KIMST.2022.25.1.096
- W. Yun, G . Park a nd Y . Han, " An O ptimal Reliability and Maintainability Design of a Searching System," Communications in Statistics- Simulation and Computation, vol. 48, no. 8, pp. 1959-1978, (2014). https://doi.org/10.1080/03610918.2013.815771
- Y. Han, Y. Choi, S. Hong, M. Han, J. Jeong, Y. Park, K. Lee and S. Lee, "A Study of Verifying RAM Target Value for Close-in Weapon System (CIWS) Using Simulation," Journal of the KNST, vol. 6, no. 4, pp. 488-493, (2023). https://doi.org/10.31818/JKNST.2023.12.6.4.488
- C. Han, K. Shin and M. Oh, "Establishing target RAM values of small tactical vehicles based on OMS/MP and the repair record analysis of similar equipments," Korean Journal of Military Art and Science, vol. 71, no. 1, pp. 149-170, (2015). https://doi.org/10.31066/kjmas.2015.71.1.007
- S. Kim, W. Park, J. You and J. Lee, "An Improved Method of Setting the RAM Goals for Surveillance System A Using OMS/MP and Field Operations Data of Similar Systems," Journal of the Korea Society of System Engineering, vol. 15, no. 1, pp. 16-24, (2019). https://doi.org/10.14248/JKOSSE.2019.15.1.016
- I. Bae, S. Kim, J. You, W. Park, E. You, M. Lee and K. Song, "RAM Target Value Setting for a Defense System Using Subsystems' Mission Profiles and Utilization Rates: Case Study of System A," Journal of The Korean Society of Industry Convergence, vol. 26, no. 5, pp. 885-894, (2023).
- W. Kim, J. Kim, B. Park, S. Park, M. Song, Y. Lee, J. Jeon and S. Cho, Modern Statistic 4th edition, Youngji, Seoul, (2013).
- B. Muthen and D. Kaplan, "A Comparison of Some Methodologies for the Factor Analysis of Non-Normal Likert Variables," British Journal of Mathematical and Statistical Psychology, vol. 38, no. 2, pp. 171-189, (1985). https://doi.org/10.1111/j.2044-8317.1985.tb00832.x
- A. Sorgente and M. Lanz, "The Multi dimensional Subjective Financial Well-Being Scale for Emerging Adults: Development and Validation Studies," International Journal of Behavioral Development, vol. 43, no. 5, pp. 466-478, (2019).