DOI QR코드

DOI QR Code

AHP 기반의 생활안전지수 모델 및 서비스 활용방안 연구

A Study of Life Safety Index Model based on AHP and Utilization of Service

  • Oh, Hye-Su (Telecommunications Technology Association, Seongnam) ;
  • Lee, Dong-Hoon (Telecommunications Technology Association, Seongnam) ;
  • Jeong, Jong-Woon (Telecommunications Technology Association, Seongnam) ;
  • Jang, Jae-Min (Telecommunications Technology Association, Seongnam) ;
  • Yang, Sang-Woon (Telecommunications Technology Association, Seongnam)
  • 투고 : 2021.11.18
  • 심사 : 2021.12.20
  • 발행 : 2021.12.30

초록

연구목적: 본 연구는 빅데이터와 인공지능 기술을 기반으로 다양한 위험 특성과 개개인의 상황을 고려한 맞춤형 예방 솔루션을 제공하는 생활안전 예방서비스 연구개발의 일환으로, 일상 생활안전과 관련하여 개인의 현재 안전수준을 정량적 수치로 나타내는 생활안전지수를 산출하는 방안을 제시하여, 안전사고를 예방하고 대응하기 위한 맞춤형 종합지수 서비스를 제공하는 데 목적이 있다. 연구방법: 본 연구의 핵심이 되는 모델은 AHP(Analysis Hierarchy Process)와 리커트 척도(Likert Scale)를 혼용하는 방법으로, 전문가 그룹의 합의형성 모델을 기반으로 산출된다. 생활안전 예방서비스를 평가할 수 있는 평가항목을 위험지표, 취약지표, 예방지표 등으로 구분하고, 이를 AHP 의사결정 방법론에 따라 AHP 계층구조로 정의하여 각 레벨 항목의 쌍대비교를 통해 평가항목 간 상대적 가중치를 산출하는 방법을 제안한다. 또한 평가항목을 적용한 개별 예방서비스에 대한 평가는 향후 생활안전 예방서비스의 확대를 고려하여 AHP 쌍대비교를 대신하여 리커트 척도 기반으로 절대평가하고 그 결과를 상대비교하는 방법으로 개별서비스 간 가중치를 산출하는 방안도 함께 제시한다. 연구결과: 생활안전 예방서비스에 대한 서비스 가중치를 도출하고, 이를 생활안전 예방서비스의 인공지능 예측모델을 통해 산출된 개별위험지수에 반영하여 종합지수를 산출하였다. 결론: 구현한 모델의 적용을 위하여 생활안전 예방서비스 앱과 플랫폼으로 구성된 테스트 환경을 구축하고, 사용자 시나리오를 바탕으로 기능에 대한 효능을 평가하였다. 이를 통해 본 연구에서 제시된 생활안전지수는 사용자에게 현재 자신의 안전수준을 종합하여 나타냄으로써 안전 위험에 진단과 대응 및 예방 골든타임을 지원하는 것으로 기대된다.

Purpose: This study aims is to provide a total care solution preventing disaster based on Big Data and AI technology and to service safety considered by individual situations and various risk characteristics. The purpose is to suggest a method that customized comprehensive index services to prevent and respond to safety accidents for calculating the living safety index that quantitatively represent individual safety levels in relation to daily life safety. Method: In this study, we use method of mixing AHP(Analysis Hierarchy Process) and Likert Scale that extracted from consensus formation model of the expert group. We organize evaluation items that can evaluate life safety prevention services into risk indicators, vulnerability indicators, and prevention indicators. And We made up AHP hierarchical structure according to the AHP decision methodology and proposed a method to calculate relative weights between evaluation criteria through pairwise comparison of each level item. In addition, in consideration of the expansion of life safety prevention services in the future, the Likert scale is used instead of the AHP pair comparison and the weights between individual services are calculated. Result: We obtain result that is weights for life safety prevention services and reflected them in the individual risk index calculated through the artificial intelligence prediction model of life safety prevention services, so the comprehensive index was calculated. Conclusion: In order to apply the implemented model, a test environment consisting of a life safety prevention service app and platform was built, and the efficacy of the function was evaluated based on the user scenario. Through this, the life safety index presented in this study was confirmed to support the golden time for diagnosis, response and prevention of safety risks by comprehensively indication the user's current safety level.

키워드

서론

사람들은 자연적, 사회적 재난·재해뿐만 아니라 일상생활 속에서 접할 수 있는 환경, 치안, 보행 등 다양한 위험에 노출되어 있다. 2016년 경주지진, 2019년 속초·고성 산불화재, 2020년 역대 최대 강수량의 장마와 코로나 사태 등 대규모 재난 및 재해 상황뿐만 아니라 보행위험, 빙판길 미끄러짐 위험 등 일상생활의 소소한 위험까지 우리 주변에서 일어나게 될 위험에 대한 전반적인 정보를 우리 인간이 미리 파악할 수 있다면 안전한 일상을 지킬 수 있을 것이다.

한편, ICT 기술은 인간의 삶에 도움이 되는 통신, 빅데이터 등으로 발전해왔으며, 특히 AI 기술로 사회 현상과 인간의 행동패턴을 통해 미래를 예측할 수 있게 되었다. 이러한 기술이 인간의 일상생활과 전반적인 위험 요소를 예측해준다면, 개인이 맞이할 안전 위험 상황과 심각성을 사전에 파악할 수 있게 되어 인간 삶에 큰 도움이 될 것이다. 이와 관련하여 기존에도 ICT 기술을 기반으로 안전신문고, 생활안전지도 등과 같이 국민의 일상생활 속에서 발생하는 위험 사고를 예방할 수 있는 국민안전 보살핌 서비스가 제공되고 있다. 하지만 기존의 서비스는 국민이 신고하는 민원 대응 중심과 지역 범위의 기 발생된 통계 정보를 기준으로 불특정 다수에게 알림이 제공되거나, 특정 위험 사고의 예방에 제한되어 전반적인 위험 상황의 예측과 실시간 안전 서비스 확보에 한계가 있다. 또한 안전 약자(어린이, 고령자, 임산부, 장애인, 외국인 등) 유형별로 취약특성이 다르기 때문에, 대상별 맞춤형 안전 서비스에 대한 개선과 보완의 필요성이 대두되었다.

이에, 행정안전부에서는 ‘국민 맞춤형 안전 복지 구현’의 일환으로 대국민 안전사고 예방 및 대응 맞춤형 서비스를 제공하기 위해 인공지능 기반의 지능형 플랫폼을 기반으로 맞춤형·참여형 안전사고 예방 및 대응 서비스를 제공하기 위한 ‘생활안전 예방서비스 기술개발 사업’을 수행하고 있다.

이 사업은 2019년부터 시작되었으며 2023년까지 관련 연구개발을 완료하는 계획으로, ‘기술기준 및 표준화 실증연구’, ‘지능형 플랫폼 기술개발’, ‘체험 교육을 위한 실감형 콘텐츠 기술개발’ 등의 주요 핵심 기술에 대한 연구가 진행 중이다. 본 논문은 이 사업의 일환으로, 생활안전 예방서비스에서 수행되는 연구와 관련한 내용을 설명한다. 이어 생활안전 예방서비스에서 제공하는 생활안전지수를 소개하고 연구 내용을 설명한다. 생활안전지수는 개인이 처한 일상생활 차원의 다양한 안전위험요인들을 종합적으로 고려하여, 이러한 위험 수준을 하나의 정량화된 수치로 산출한 값을 의미한다. 생활안전 예방서비스는 이를 활용하여 서비스 사용자에게 전반적인 위험을 파악하고 안전사고를 사전에 예방할 수 있는 직관적인 값을 제시함으로써 맞춤형 서비스를 제공할 수 있다.

본 연구의 구성은 다음과 같다. 첫째, 생활안전 예방서비스 연구개발에 대한 개요를 살펴보고 생활안전 예방서비스의 구성을 제시한다. 둘째, 생활안전지수에 대한 정의와 AHP와 리커트 척도를 혼용한 방법론의 이론적 배경 및 관련 참조 연구를 소개한다. 셋째, 모델 설계를 살펴보고 생활안전지수 산출방안이 적용되는 과정을 설명한다. 넷째, 전문가 그룹을 대상으로 설문을 실시함으로써 산출된 결과를 바탕으로 중요도를 제시한다. 다섯째, 생활안전 예방서비스에 실제 구현되는 사례와 적용을 통해 사용자 시나리오 및 활용에 대한 검증 결과를 제시하며, 마지막으로, 향후 연구 방안과 계획을 소개하고자 한다.

생활안전 예방서비스의 주요 내용

생활안전 예방서비스란 각종 공공데이터, 지역/공간 정보, 국민 참여 데이터 등을 통합 수집 관리하고, 인공지능 기술을 바탕으로 위험을 분류하고 예측하며, 다양한 맞춤형 서비스 기능을 제공하는 통합 시스템을 의미한다. 이를 통해 국민의 일상생활 속 안전 문제에 대해 사용자별 선호도를 바탕으로 최적의 안전 보살핌 기술을 제공함을 목적으로 한다. 생활안전 예방서비스의 기술개발 대상은 긴급성 · 위험 수준 · 인명피해 위험 수준 · 위험 알림 시점 등을 고려한 국민참여 선호도 여론조사를 통해 총 8가지의 개별 예방서비스가 선정되었다(Table 1). 구성되는 개별 예방서비스는 연구과제 확장에 따라 향후 확대적용될 가능성을 내포하고 있다.

Table 1. Life safety prevention services

JNJBBH_2021_v17n4_864_t0001.png 이미지

이와 같이 선정된 생활안전 8가지 서비스의 안전 문제에 대해 사용자 프로파일, 맞춤형·접근성 데이터 및 실시간 위치 정보 데이터를 바탕으로 국민 안전 보살핌 서비스를 제공할 수 있는 생활안전 예방서비스 플랫폼은 크게 사용자 앱 서비스와 플랫폼 기술로 구분되며, 플랫폼 기술은 Fig. 1과 같이 4개의 주요 서비스 서브 플랫폼으로 구성된다.

JNJBBH_2021_v17n4_864_f0001.png 이미지

Fig. 1. Structure of App service and platform for Life safety prevention services

사용자 앱 서비스

사용자 앱 서비스는 사용자가 생활안전 예방서비스를 이용할 수 있는 소프트웨어로, 위험 신고정보 수집, 예상되는 위험에 대한 정보를 안전 등급, 알림 메시지 등의 형태로 표출, 사용자 위치 정보 취득, 사용자 프로파일 설정 등의 기능을 제공하는 앱이다. 사용자 위치를 중심으로 공간정보의 활용 목적에 따라 지도 기반의 위험정보가 표시되며, 사용자 맞춤형 지능형 예방서비스 제공을 위해 사용자의 성별, 연령대, 장애, 선호도 등과 같은 프로파일 정보를 설정할 수 있고, 가족이나 지인 등의 정보를 등록함으로써 서로의 안전 상태를 공유하도록 설정할 수 있다.

플랫폼 기술

생활안전 예방 서비스 플랫폼은 서비스 제공을 위해 각종 필요한 공간정보, 공공데이터, 국민 참여 데이터 등을 통합 수집 및 관리하고, 인공지능 기술을 바탕으로 위험을 분류하고 예측하며, 다양한 맞춤형 서비스 기능을 제공하는 통합 시스템을 의미한다. 플랫폼을 사용하는 사용자의 전반적인 안전 현황과 위험 상황을 분석하면서, 다양한 분야의 서비스 요구사항에 대응하여 지능형 맞춤 서비스를 제공하는 역할을 수행한다. 플랫폼 구성은 Fig. 1과 같이 4개의 주요 서브 플랫폼으로 구성되며, 이 중 생활안전지수로 통합되는 개별위험지수의 산출과 관련이 있는 주요 서브 플랫폼에 대한 설명은 다음과 같다.

데이터 수집 서브플랫폼

데이터 수집 서브 플랫폼은 생활안전과 관련된 직·간접적인 정보와 다양한 위험정보를 수집하는 플랫폼이다. 인공지능 기술을 기반으로 위험 사항을 분석하고 예측하기 위하여 빅데이터 분류학습 모듈에서는 수집된 데이터를 소스별로 구분하여 관리하고, 데이터 수집 주기, 데이터 현황(버전, 생성날짜 등), 연결 등을 관리한다. 또한 대국민 참여를 통한 안전한 생활환경 조성을 위해 크라우드 소싱 플랫폼을 구축하고, 경찰청, 기상청 등의 공공기관 데이터와 재난정보 및 안전 서비스 관련 정보도 함께 수집하여 활용한다.

위험 분석 서브플랫폼

위험 분석 서브플랫폼은 수집 서브 플랫폼을 통해 수집된 데이터를 인공지능, 위험예측 모델링 등 다양한 방법을 통해 분석 및 예측을 수행한 후, 생활안전 예방서비스 알림에 활용이 가능한 신뢰성 있는 위험정보를 생성하는 플랫폼이다. 각 생활안전 예방서비스 분야별로 최적의 학습 모델을 적용하여, 서비스의 종류별, 사용자 프로파일 기반 및 접근성 기반으로 위험도 분석과 피해 정도를 예측하고, 위험 발생 위치를 기반으로 피해 반경과 파급 피해 및 피해 정도, 결과 등을 예측한다. 같은 상황이라고 해도 안전 약자 타입별, 프로파일별, 서비스 특성별 등 같은 위험도를 가지고 있지 않기 때문에, 분석된 예측은 사용자의 나이·성별·지역·선호도·장애 여부·특정 욕구·접근성 등 분류에 따라 정도가 구분되어지고 서비스 종류에 따라서 맞춤형 등급을 정한다.

이 등급은 개별위험지수로 나타내어지며, 앞서 언급한 생활안전 서비스로 지정된 개별서비스마다 각각 산출된다. 개별위험지수는 본 논문에서 제시하는 생활안전지수에서 통합하여 표현하고자 하는 개별 대상이 되며, 이와 이어지는 자세한 사항은 ‘생활안전지수의 개념 ’단락에서 설명한다.

생활안전지수의 개념

생활안전지수의 정의

생활안전지수의 소개에 앞서, 생활안전 예방서비스의 플랫폼 기술은 ‘생활안전 예방서비스의 주요 내용’ 단락에서 소개한 주요 플랫폼 기술을 통해 실시간 오픈 공공데이터, 사용자 제보 데이터, 프로파일 정보, 위치 정보 등 다양한 데이터를 분석하고 인공지능을 활용하여 피해 및 파급 영향을 예측한다. 이는 서비스 특성 및 개인 특성에 따라 위험 수준을 나타내는 개별위험지수로 나타내어진다. 이러한 개별위험지수와 함께 생활안전 예방서비스에서 제공하는 주요 서비스 중 하나인 생활안전지수가 있다. 개별위험지수는 앞서 언급한 8가지 개별 예방서비스 중, 아동 실종 알림 서비스를 제외한 7가지의 개별 예방서비스 분야에서 각각 나타난다. 이러한 개별위험지수와 함께 생활안전 예방서비스에서 제공하는 또 다른 주요 서비스 중 하나인 생활안전지수가 있다.

생활안전지수란, 7가지 개별 예방서비스의 개별위험지수를 통합하여 전체 서비스를 고려한 현재 안전수준을 전반적으로 평가한 종합지수이다. 생활안전 예방서비스를 이용하는 사용자들이 현재의 안전수준을 직관적으로 인식할 수 있도록, 7가지 분야의 위험 수준을 하나의 수치값으로 표현하여 종합 안전 등급에 적용할 필요가 있다. 즉, 개별위험지수는 7가지 서비스 유형별 각각의 분야 속 안전수준을 나타낸 반면에, 생활안전지수는 모든 서비스를 아우르는 포괄적 안전수준을 나타내기 위해 전체 시나리오와 7가지 서비스를 종합하여 거시적인 안전수준을 측정하는 것을 목적으로 한다. 이러한 생활안전지수를 통해 서비스 사용자가 본인의 상태를 수시로 파악하고 자율적인 사전 대처에 활용할 수 있도록 하여 안전 위험에 대한 주의를 경고할 수 있다.

생활안전지수의 이론적 배경

따라서 본 연구에서는 생활안전지수 개발을 위해 개별위험지수를 통합하고자, 인공지능을 활용한 위험예측 모델을 통해 산출되는 개별위험지수와 달리, 체계적인 전문가 분석을 통해 중요도를 산출하는 기법인 AHP기법과 리커트 척도를 혼합하여 활용하였다. 전문가 그룹의 합리적 의사결정 모델 적용을 통해 생활안전 예방서비스 별 상대적 중요도를 도출하고 이를 각 서비스별 개별 위험지수에 반영하여 생활안전 예방지수를 산출하는 방식을 적용하고자 한다. 이러한 방법론을 적용하는 이유는 다음과 같다.

생활안전지수는 위험 분석플랫폼에서 각 서비스별로 산출한 여러 개별위험지수를 하나의 종합 지수개념으로 표현하기 위함이다. 개별위험지수는 각 위험 상황에 대하여 인공지능과 빅데이터를 활용하여 위험 상황을 예측하고 그 수준을 알려주지만, 그 개별지수들은 서비스 사용자의 전체적인 위험 수준을 대표해서 나타내지는 않는다. 따라서 개별위험지수들을 활용하기에 앞서, 서비스 이용자들의 특성과 상황을 고려하여 하나의 대표지수로 표현해야 할 필요성이 대두되었으며, 이를 위해 각 개별위험지수를 통합하는 생활안전지수를 산출하게 되었다. 각 개별위험지수를 통합하는 방법론 측면에서, 개별 예방서비스와 관련 위험요인들이 사용자에게 미칠 수 있는 영향이 모두 동일한 것이 아니므로, 예상되는 인적/물적 피해의 정도뿐만 아니라 취약 계층, 예방요인 등을 복합적으로 고려하여 그 중대함의 정도를 판단할 필요가 있다.

따라서 본 연구에서는 생활안전지수 개발을 위해 개별위험지수를 통합하고자, 전문가 그룹의 합리적 의사결정 모델 적용을 통해 생활안전 예방서비스 별 상대적 중요도를 도출하고 이를 각 서비스별 개별위험지수에 반영하여 생활안전 예방지수를 산출하는 방식을 적용하였다.

AHP(Analysis Hierarchy Process)

AHP는 관련분야 산학연 전문가 의견수렴을 통해 문제 해결을 위한 합의형성 모델을 도출하는 기법이다. 다수의 속성들을 계층적으로 분류하여 각 속성의 중요도를 파악하여 최적의 대안을 선정한다. 1970년대 Pennsylvania University Wharton School의 Thomas L. Satty 교수가 미 국무부의 무기통제 및 군비축소에 관한 의사결정의 비능률을 개선하기 위해 개발하여, 이후 정부 예산의 정책적‧경제적 타당성 검토를 위한 예비 타당성 조사 등 다양한 분야에서 합리적 의사결정 방법론으로 활용되고 있다. 인간의 사고 체계와 유사한 접근 방법으로써 문제를 분석하고 분해해 구조화할 수 있다는 점에서 공공부문 투자사업의 의사 결정 과정에 적극적으로 활용된다. 특히 정량적인 분석이 곤란한 의사결정 분야에 전문가들의 정성적인 지식을 이용하여 경쟁되는 요소의 가중치 또는 중요도를 구하는데 유용하게 응용된다. 이 기법이 자주 사용되는 이유는 쌍대비교를 통해서 의사결정을 위해 개별 항목의 가치 체계를 쉽게 추출할 수 있고, 그 중요도 또는 가중치를 산출할 수 있기 때문이다(Song et al.,2013). 먼저 의사결정을 위한 여러 가지 기준과 선택해야 할 대안들로 구성된 계층을 분류한다. 가장 기본적인 AHP 계층(Hierarchy)은 맨 윗부분에 목적(Goal)을 두며, 그 밑에 판단기준이 되는 기준(Criteria)을 두고 가장 아래 계층에 대안(Alternatives)을 두는 구조로, 각 기준에 관련된 대안들에 대한 기여도 관점에서의 각 기준들의 상대적 중요도에 관한 의사결정자의 판단에 기초하여 쌍대비교(1:1비교)를 실시한다. 평가의 논리적인 일관성 유지는 비교행렬의 주 고유벡터를 활용한 1:1비교 결과의 통합과정에서 비일관성지수(Inconsistency Index)를 도출하게 되며 이를 이용하여 의사결정자의 논리적 일관성 유지 여부를 확인한다. 이때 일반적으로 비일관성지수(Inconsistency Index)를 Random Index로 나눈 비일관성비율(Inconsistency Ratio)이 0.1~0.2를 넘게 되면 의사결정자가 논리적 일관성을 잃고 있는 것으로 판단한다.

Likert Scale

리커트 척도(Likert Scale)는 측정 대상과 관련된 문항에 대해 응답자의 태도, 감정, 신념 등을 평가하는 방법론으로 5점, 7점, 9점 등 다양한 방식으로 구성될 수 있는 방법론으로(Song et al.,2013), 응답값의 측정은 전체 문항에 대한 총합을 통하여 수행한다. 리커트 척도는 많은 사람을 대상으로 비교적 쉽게 사용할 수 있고, 일관성을 확보하여 높은 신뢰도를 보이는 장점이 있다. 응답자의 응답값을 직접 활용하므로 평정자에 의한 오류를 최소화할 수 있고, 다양한 문항을 활용하기 때문에 타당도가 높게 된다. 하지만, 서열적 측정치로서 단일 차원적이고 각 문항들이 해당 개념에 대하여 모두 동일한 수준의 기여도를 가진다고 가정하므로 문항별 가중치, 상대적 중요도에 대해서는 측정 불가능하다는 점이 존재한다.

참조연구

지역안전지수

지역안전지수는 행정안전부가 안전에 관한 국가 주요 통계를 이용하여 7개 분야별로 계량화한 수치로, 2015년부터 재난 및 안전관리 기본법에 근거하는 국가의 행정 조치의 일환으로서 전국 시도, 시군구 등 지자체를 연 1회 평가하고 1~5등급의 결과를 부여하고 있다(Sin et al, 2018). 지역안전지수를 산출하는 방법은 국가의 주요 통계를 수집하고 이를 다중회귀분석을 통해 분석하여 핵심 지표와 전체지표를 산출하는 방식을 활용한다. 분야별 핵심 지표는 크게 ‘위해지표’, ‘취약지표’, ‘경감지표’로 구분된다. 지표는 위해지표(사망자 및 발생건수)와 인과관계(회귀분석)가 있는 지표만 취약/경감지표로 선정하며 위해지표와 양(+)의 인과관계는 취약지표, 음(-)의 인과관계는 경감지표로 구성된다(Sin et al, 2018)(Fig. 2 참조). 지표의 구성은 Table 2와 같다. 산식은 Fig. 2와 같이 ‘지역안전지수 = 100 - (위해지표 + 취약지표 - 경감지표)’로 구성되며, 통계적 유의성에 따라 ‘위해:취약:경감=50%:25%:25%’ 구조로 가중치를 조정하여 지표 영향력의 형평성을 제고한다.

JNJBBH_2021_v17n4_864_f0002.png 이미지

Fig. 2. Method of calculate for local safety level index

Table 2. Core factor and weights of local safety level index

JNJBBH_2021_v17n4_864_t0002.png 이미지

사회재난 유형별 재난 발생 요인 가중치 분석

재난안전연구원에서 수행한 연구로, 사회재난 유형별 재난 발생 요인의 가중치 분석을 통해 사회재난 유형별 재난 발생 위험요인의 가중치를 산정하고 사회재난 발생에 대한 위험요인 평가 체계를 구축하였다(Jang et al., 2018). 재난 발생 및 피해현황 자료를 수집하여 사회재난 유형을 분석하고, 피해 규모 및 재난 발생 요인 간 분석을 통해 재난 발생 특성, 건축물 특성, 산업 특성에 대한 사회재난 위험요인을 도출하였다. 이러한 위험요인에 대한 가중치 분석을 Entropy-AHP 결합한 혼합 가중치 방법을 적용하여 수행하였으며 계층구조는 Fig. 3과 같다. 최종 평가 요소인 재난 발생 특성, 건축물 특성, 산업 특성의 8개 평가항목에 대한 혼합 가중치를 지자체별, 도시유형별로 산정하고, 이를 지자체 및 도시유형별 적용을 통해 위험요인을 평가하였다. 엔트로피를 이용한 가중치는 이론적으로 주어진 효과척도가 각 대안의 평가를 위하여 사용될 때, 각 대안 간 효과척도의 변별력을 나타내는 것으로 변별력이 큰 효과척도에 더 큰 가중치를 부여하는 방법이며, 이러한 엔트로피 가중치와 AHP기법이 혼용될 경우 효과척도가 고려된 혼합 가중치를 산정할 수 있다(Jee et al., 2000; Joo et al., 2014).

JNJBBH_2021_v17n4_864_f0003.png 이미지

Fig. 3. A hierarchy structure of the disaster risk factors by type of social disaster

기존 연구와 차별성

본 논문에서 설명하는 생활안전지수는 앞서 언급한 지역안전지수와 사회재난 유형별 재난 발생 요인 가중치 분석과 차별되는 특장점은 다음과 같다.

이들은 전국 지자체를 대상으로 시도 및 시·군·구 등 지자체의 안전수준을 나타내는 지수인 반면에, 생활안전지수는 생활안전 예방서비스를 사용하는 서비스 사용자, 즉 개인의 안전수준을 나타내는 지수로 그 목적과 대상에서 차이가 명확히 구분된다. 지역안전지수는 정부 행정 조치의 일환으로 지자체의 안전수준을 점검하고 행정적 개선을 유도하기 위해 연 1회 국가통계 데이터 수집 및 다중회귀 분석 등을 통해 수행된다. 또한 사회재난 유형별 재난 발생 요인의 가중치 분석연구는 중앙행정기관 혹은 지방 자치 단체가 재난 발생에 대한 위험성 평가를 시행함으로써, 위험도가 높은 건물에 대하여 사전에 예방 또는 재난 발생 시 피해를 최소화할 수 있는 대응 방안 제시하는 것에 목적이 있다. 이들은 모두 국가 행정적인 조치와 재난 관련 사업추진을 위해 활용됨을 위함이다. 하지만 생활안전지수는 생활안전 예방서비스에서 제공하는 앱 서비스를 이용하는 사용자 개인 단위로, 위험 서비스별 사용자에게 미칠 수 있는 요소들에 대한 영향을 복합적으로 고려한 평가 결과를 언제 어디서든 안전수준을 수시로 조회할 수 있다.

생활안전지수 모델 설계

기준 산정

생활안전지수 산출을 위한 AHP 구조 모델 설계는 생활안전 개별 예방서비스간의 상대적 중요도를 평가하여 그 가중치를 구하고 이를 기반으로 하나의 정량적인 결과값을 지수로 산출하는 것을 목적으로 한다. 먼저, AHP 계층구조에 따라 기준(Criteria)은 생활안전 예방서비스의 중요도를 평가하기 위한 평가항목으로 정의하였다. 평가항목은 개별 예방서비스들의 위험도를 평가하는 기준인 위험성 및 위험요인으로 국내외 재난 위험성 평가 및 재난 위험 가중치 분석 기술을 검토하여 ‘위험’, ‘취약’, ‘예방’ 측면에서 살펴보았다. 위험요인에 대한 다양한 평가 정의가 존재한다. 위험성 평가는 재해에 의해 발생한 위험의 강도를 정량적으로 평가하는 것으로 d'Albe (1979)는 위험성을 잠재적 재해(hazard), 피해 가능성(damage potential), 대처 능력(coping capacity)에 의해 산정된다고 정의하였다(Jang et al., 2018). 미국 연방재난관리청(FEMA, 2001)에서는 위험도 평가란 재해에 의한 인명피해와 건물, 사회기반시설 등에 대한 피해 정도를 산정하는 것으로서 지역사회의 위험과 취약성을 총체적으로 이해함으로써 재해가 발생할 경우 그 잠재적인 결과를 추정하는 것으로 정의하였다. UN에서는 국제재해경감전략사업(International Strategy for Disaster Reduction, ISDR)을 통해 위험도 평가란 인명과 재산, 지역사회, 환경에 대한 위협 또는 위해를 입힐 수 있는 잠재적인 위험을 분석하고 현재의 취약성과 재난수용 능력 수준을 평가하는 과정이라고 정의하였다(Lee et al, 2006; Yoo, 2014). 이에 따라 첫 번째 평가항목으로 선정된 ‘위험지표’는 생활안전 예방서비스와 관련한 안전사고의 발생과 피해의 정도를 고려할 때 ‘발생 건수’, ‘인명피해 규모’, ‘재산피해 규모’의 관점에서 개별 예방서비스 중요도를 평가하기 위한 항목들의 그룹을 의미한다. 다음으로 선정된 ‘취약지표’는 안전사고가 발생 시 상대적으로 그 위험이나 피해의 정도가 클 수 있는 ‘취약 계층’ 및 ‘취약지역(시설)의 대상이나 규모(범위)’ 관점에서 개별 예방서비스 중요도를 평가하기 위한 기준들의 그룹을 의미한다. 마지막 평가항목인 ‘예방지표’는 안전사고를 미연에 방지하기 위한 예방적 조치와 인식의 정도를 ‘안전관리 대책’, ‘정책 및 제도’, ‘국민 안전의식’의 관점에서 개별 예방서비스의 중요도를 평가하기 위한 항목들의 그룹을 의미한다.

계층 구조 설계

평가항목 선정이 완료되고 나면, AHP 계층 설계를 위해 AHP의 여러 계층 구조 형태 중 ‘의사결정자가 복수인 경우의 다계층 구조’로 생활안전지수 모델 설계를 시작하였다(Fig. 4 참조).

JNJBBH_2021_v17n4_864_f0004.png 이미지

Fig. 4. Early model of structure for AHP

Level-2 계층은 생활안전 예방서비스에 대한 중요도(위험도)를 평가할 수 있는 기준으로 크게 ‘위험지표’, ‘취약지표’, ‘예방지표’로 요인을 구성하였다. Level-3 계층은 생활안전 개별 예방서비스 8개 분야 중 ‘아동 실종 알림 서비스’를 제외한 7개 분야를 전체적으로 평가할 수 있는 공통지표로써, ‘발생 건수’, ‘인명피해 규모’, ‘재산피해 규모’,‘취약계층’, ‘취약지역(시설)’, ‘안전관리 대책’, ‘정책 및 제도’, ‘국민 안전의식’으로 구성하였다. 아동 실종 알림 서비스의 개별위험지수는 생활안전 서비스를 이용하는 사용자 본인의 안전에 직접적인 영향을 주는 요소가 아닌 것으로 간주하여 종합지수인 생활안전지수에는 반영하지 않았다.

계층 구조 고도화

AHP 평가 이론에 따르면 평가자는 Level-3의 8가지 항목을 바탕으로 Level-4의 서비스 항목에 대해 nC2회의 쌍대비교를 수행하며 상대적 우선순위를 정하게 되는데, 이는 향후 대안에 해당하는 7가지 생활안전 서비스 분야가 확장하여 대안이 추가되었을 경우 쌍대비교를 재수행하여야 하는 가능성으로 이어진다. 또한 대안이 추가되어 재설문 진행시, 기존 대안 사이의 순위가 역전되는 부작용이 초래되는 가능성이 존재한다. 이러한 상황과 평가의 일관성을 도모할 수 있는 방안을 고려한 결과로 리커트 척도(Likert Scale)평가 방법을 도입하였다. 본 연구의 각 서비스별 중요도를 평가하는 모델인 Level-4 계층인 대안(Alternatives)은 상대적 중요도가 아닌절대적 중요도 분석인 리커트 척도를 선정하여 모델 설계를 고도화하였다(Fig. 5참조). 이로써 대안에 속하는 7가지 생활안전 서비스가 향후 확장될 가능성과 AHP 계층 구조의 복잡성으로 인한 기존 방식의 부작용을 해소할 수 있다.

JNJBBH_2021_v17n4_864_f0005.png 이미지

Fig. 5. Advanced model of structure for AHP-likert scale

모델 적용

AHP 모델을 통해 먼저 전문가 그룹의 평가자들은 Level-2와 Level-3 계층에 대해 평가항목 간 1:1 쌍대비교를 실시하여 평가항목에 대한 가중치가 산출한다. 이후 Level-4 계층에서는 각 개별 예방서비스에 대해 평가항목별 리커트 9점 척도 평가를 수행한다. 평가자들은 각 평가항목별 현재 평가대상인 생활안전 예방서비스가 중요한지 혹은 아닌지를 9점 척도로 평가하게 된다. 전문가 그룹이 각 평가항목별로 개별서비스에 대한 점수를 부여하면, 전체 평가 결과를 평균하여 평가항목별 점수의 값을 계산하고 여기에 앞서 산출된 AHP 가중치를 적용하여 상대비교 하는 방법으로 각 서비스별 중요도를 도출한다.

위 모델 적용은 앱 서비스에서 이루어진다. 사용자 앱 서비스에서는 먼저OPEN API를 통해 플랫폼의 예측모델에 서비스별 개별위험지수를 요청한다. 개별위험지수는 사용자 개인 프로파일 정보와, 위치, 상황정보를 종합하여 개인 맞춤형으로 제공된다. 다음으로 본 논문에서 제시한 AHP-Likert Scale 모델 적용을 통해 도출하는 생활안전 예방서비스별 중요도(가중치)를 조회한다. 이러한 값에 앞서 호출한 7가지 분야의 개별위험지수를 곱하여 서비스별 상대적 중요도를 반영하면, 가중치가 적용된 위험지수가 산출된다. 이때 가중치가 적용된 개별위험지수의 합산 수치는 현재 사용자의 위험도 수치로 간주된다. 따라서 생활안전지수는 ‘(1-위험도)x10’으로 최종 종합지수를 산출하게 된다(Fig. 6).

JNJBBH_2021_v17n4_864_f0006.png 이미지

Fig. 6. Method of calculate for life safety index​​​​​​​

설문평가 및 중요도 산출

앞서 설명한 생활안전지수의 모델(Fig. 5)에 기반하여 전문가 쌍대비교 결과를 수집하기 위해 구성한 AHP 설문지와 리커트 척도 설문지는 다음과 같다(Fig. 7, Fig. 8 참조). 설문의 형식은 코로나 시국을 고려하여 가능한 대면 접촉을 줄이고자 온라인의 형식으로 제작되었다. 설문의 플랫폼은 구글 설문지를 활용하였으며, 설문의 참여자가 AHP/리커트척도 방법론과 연구의 내용을 쉽게 이해하고 참여할 수 있도록, 전형적인 AHP 쌍대비교 항목 이외에 시각 자료, 참조 통계자료 등을 적극 활용하여 제작되었다.

JNJBBH_2021_v17n4_864_f0007.png 이미지

Fig. 7. Assessment for AHP

JNJBBH_2021_v17n4_864_f0008.png 이미지

Fig. 8. Assessment for Likert Scale

또한, 상기 제작된 설문을 활용하여 전문가 의견수렴을 진행하고자 정부, 지자체, 산업계, 학계, 시민단체 등의 전문가로 구성된 설문 대상 그룹을 조직하였다. 설문 대상자는 국민 생활안전 포럼의 회원을 대상으로 하였는데, 국민 생활안전 포럼은 국민의 편안하고 안전한 일생 생활 영위에 기여하는 것을 목적으로 조직된 민간 전문가 포럼이다. 설문의 대상으로 설문 참여를 요청한 전체 전문가 그룹은 55명이며, 이 가운데 28명이 설문에 참여하여 그 결과를 연구에 활용하였다. 설문 데이터의 수집 방법은 사전에 구두를 통해 연구 내용과 평가항목을 설명하고, 온라인 설문의 URL을 배포하였다. 또한, 설문 결과에 대하여 CR값을 확인한 후 일관성 비율이 기준치 이상인 응답자에 한하여, 유선을 통한 2차 설문을 통해 이를 보완하였다. 설문에 참여한 28인의 전문가들에 대한 응답 표본 구성은 다음은 Fig. 9과 같으며, 응답자의 연령대별 비율은 50대 55.2%, 40대 24.1%, 60대 이상 17.2%로 나타났고, 응답자들의 소속은 연구기관 24.1%, 학계 24.1%, 산업계 20.7%, 정부 및 유관 기관 10.3%, 기타 20.7%로 구성됨을 알 수 있었다.

JNJBBH_2021_v17n4_864_f0009.png 이미지

Fig. 9. Analysis for respondent group in cases by age and job​​​​​​​

다음으로, 전체 전문가 그룹의 AHP 분석 결과를 통합 분석하여 생활안전 예방서비스의 평가 기준의 가중치를 도출하기 위하여, 이를 위한 사전 작업으로 설문에 응한 전문가 28인의 답변의 개별 일관성 비율(CR, Consistency Ratio) 값을 산술하여 그 값이 0.1 이하가 됨을 확인하였다. AHP 연구 방법론에서 일관성 비율의 허용 정도는 CR이 0.1 이내이면 평가자가 항목들에 내린 판단에 일관성이 있는 것으로 판단하고(Reasonable), CR이 0.2 이상일 경우에는 일관성이 부족한 것으로 판단한다(Saaty, 1980; Lim, 1995; Lee, 1999). 일관성 지수의 검증을 통해 유효한 데이터로 확인된 개별 설문 응답 결과는 생활안전 예방서비스의 평가항목에 대한 가중치를 산출하기 위해 AHP 분석에 다시 활용되었으며, 이때 통합 CR의 값은 0.051로 확인되었다, AHP 분석을 통해 산출된 평가항목의 가중치는 다음과 같다. (Table 3, Fig. 10 참조)

Table 3. Evaluation criteria weights of life safety index​​​​​​​

JNJBBH_2021_v17n4_864_t0003.png 이미지

JNJBBH_2021_v17n4_864_f0010.png 이미지

Fig. 10. Graph of evaluation criteria weights for life safety index​​​​​​​

Table 3에서 나타낸 바와 같이, 위험지표에서 상대적으로 중요도가 높게 나타난 항목은 ‘인명피해’(0.229)로 분석되었고, ‘발생 건수’(0.153), ‘재산피해’(0.061) 순으로 나타났다. 취약지표에서는 ‘취약 계층’(0.149)이 ‘취약지역’(0.136)보다 상대적으로 높았으며, 예방지표에서는 ‘국민 의식’(0.120), ‘안전대책’(0.085), ‘정책 제도’(0.068) 순으로 나타남을 확인할 수 있다.

상기 분석 결과에서 유추해볼 수 있는 주요 시사점은 다음과 같다. 먼저, 생활안전 예방서비스는 이를 활용하는 개인의 일상생활 속 안전이 중요하고, 이에 개인 인명사고를 예방하는 것이 가장 직접적인 서비스의 목적이 될 수 있으므로, 서비스의 활용 측면에서 인명피해 항목이 가장 높게 평가된 것으로 보인다. 또한, 생활안전 예방서비스가 개인 맞춤형 서비스를 제공하는 것을 지향한다는 측면에서, 그 범주에는 사회적 약자가 포함되므로, 이를 고려하여 취약 계층의 중요도가 높게 평가된 것으로 생각되며, 또한 이용자의 현재 위치의 상대적 위험성을 고려한 안전 예방서비스가 요구되므로 취약 지역(시설) 항목도 높게 평가된 것으로 판단된다. 뿐만 아니라, 예방지표의 항목들이 상대적으로 의미 있는 값으로 산출되었으며, 특히 국민 개개인의 안전의식이 생활안전 예방서비스의 가중치를 판단하는데 중요한 요소가 됨을 추론할 수 있다. 하지만, 상기 결과에서 위험지표 중 재산피해의 항목이 일반적인 예상보다 낮게 산출된 결과에 대해서는 그 원인에 대한 추가 분석이 요구되며, 이에 추후 전문가 FGI 등을 통해 확인 및 검증할 계획이다.

마지막으로, AHP 설문 평가를 통해서 도출된 생활안전 예방서비스의 평가항목을 적용하여, 개별 생활안전 예방서비스에 대해 리커트 척도로 그 중요성을 평가하였을 때 산출되는 결과는 다음과 같다(Table 4, Fig. 11 참조). 리커트 척도 평가의 대상이 되는 생활안전 예방서비스는 국민 안전에 직접적으로 영향을 주게 되는 서비스를 대상으로 하는 만큼 각 서비스별 편차가 크게 나타나지는 않았으나, 최근 코로나바이러스-19 시국의 영향이 반영된 듯 ‘전염병 확산 예측 서비스’에 대한 가중치가 가장 높게 산출되었으며, ‘유해 물질 유출 알림 서비스’나 ‘범죄 통계 기반 예측 서비스’ 등 상대적으로 안전사고 발생 시 그 피해가 크게 인식되는 서비스의 가중치가 높게 나타남을 확인할 수 있다. 반면, ‘일상생활 위험 알림서비스’의 경우에는 안전사고에 대한 피해의 정도는 높다고 할 수 없지만, 생활안전 예방 서비스의 목적을 고려했을 때 일반 국민이 가장 보편적으로 활용할 수 있는 서비스로 인식되는 바, 그 활용도 측면에서 중요성이 높게 판단되는 것으로 사료된다. 이렇게 산출된 개별 생활안전 예방서비스는 개별위험지수에 상대적 중요도로 적용되어 생활안전지수를 산출하는 데 활용할 수 있다.

Table 4. Weights of Life safety index by services​​​​​​​

JNJBBH_2021_v17n4_864_t0004.png 이미지

JNJBBH_2021_v17n4_864_f0011.png 이미지

Fig. 11. Graph of service weights for life safety index​​​​​​​

생활안전지수 구현 및 검증

생활안전지수의 목적은 생활안전 예방서비스에서 개인 현재 안전 현황을 나타내고자 하는 서비스로써, 서비스 이용자가 본인이나 가족의 안전 상태를 수시로 파악하고 자율적 예방조치에 활용할 수 있도록 한다. 이를 위해 위험 생성 시뮬레이션을 위한 테스트 환경을 구축하고자 App과 테스트 진행을 위한 시나리오를 생성하였다. 사용자가 앱 서비스를 실행하면 Fig. 12과 Fig. 13와 같이 생활안전지수와 8가지 서비스 분야의 각 개별위험지수가 나타내어진다. 지수 값과 각 값에 대응하는 생활안전 등급(안전/보통/주의/경고/위험)이 서비스 화면에 동시에 표시된다. 사용자는 표시된 지수를 통해 자신의 현재 안전상태를 한눈에 파악할 수 있고, 기 등록된 가족의 안전 상태 또한 지수를 통해 확인할 수 있다. 생활안전 예방서비스 분야별 상세화면을 선택하면 개별위험지수와 해당세부 내용이 화면에 표시되어, 서비스별 안전에 대한 현황을 알 수 있다. 위험 시뮬레이션을 통해 특정 분야의 서비스에서 위험을 발생시켰을 때, 그 분야의 개별위험지수와 생활안전지수 수치값이 변경된 것을 발견할 수 있었다. 이러한 생활안전지수 등급이 ‘보통’에서 ‘위험’으로 하향되어 앱 서비스로부터 알람이 수신될 경우, 사용자는 이러한 생활안전지수와 등급을 확인하고 자세한 상황과 정보를 확인하기 위해 개별 예방서비스별 상세현황과 개별위험지수를 확인하게 될 것이다. 본 논문에서는 시범서비스 구축단계에서의 효용성을 확인하였으며, 향후 시범서비스 실증과 협의체 및 국민생활안전 포럼운영을 통한 모델 및 서비스 고도화 등을 통해 전 국민을 대상으로 서비스를 배포할 예정이다.

JNJBBH_2021_v17n4_864_f0012.png 이미지

Fig. 12. Life safety index at the K-Guard App service

JNJBBH_2021_v17n4_864_f0013.png 이미지

Fig. 13. Life safety index at the K-Guard App service

결론 및 향후 연구 방향

본 논문은 대국민 일상생활 속 안전사고 예방 및 대응을 위한 맞춤형 서비스를 제공하는 생활안전예방서비스 연구개발의 일환으로, 서비스를 이용하는 사람의 전체적인 위험 수준을 제공하는 종합지수 개념인 생활안전지수에 대한 연구를 소개하였다. 생활안전 예방서비스는 빅데이터와 인공지능 기술을 기반으로 다중이용시설, 범죄, 유해물질, 생활안전 등 다양한 위험요인에 대해 국민 개개인의 특성과 상황을 고려한 최적의 안전사고 예방 솔루션을 제공하며, 이때 개인별 위험 수준은 정량적인 지표를 나타내는 생활안전지수를 통해 직관적으로 표현되어지고 사고 예방에 적극적으로 활용할 수 있다.

생활안전지수는 인공지능 예측모델을 통해 산출되는 7가지의 분야별 개별위험지수를 하나의 정량 수치로 통합하는 종합지수의 성격을 가지며, 통합을 위해 전문가 집단의 평가 방법이 필요함을 규정하고, 이를 구현하기 위해 AHP기법과 리커트 척도방법 혼용하여 산출된 서비스별 중요도를 개별 위험지수에 적용하고 가중평균하는 방법론을 적용하였다. 이를 위해 생활안전 예방서비스를 평가하기 위한 기준 항목을 정의하고, AHP 계층구조에 리커드 척도를 혼용한 방법을 모델링하였다. 이에 따라 생활안전 분야 산학연 전문가로 구성된 그룹을 대상으로 설문평가를 실시함으로써 결과를 수집 및 분석하여 생활안전 예방서비스에 대한 최종 가중치를 도출하였다. 또한 이를 활용하여 구현되어지는 생활안전 예방서비스의 앱서비스를 통해, 다양한 형태의 서비스 분야에 대응하여 지능형 서비스를 제공하는 역할을 수행하는 서비스 플랫폼과 상호작용하여 사용자에게 맞춤형 서비스를 제공할 수 있음을 제시하였다. 실제 생활안전지수에 대한 유효성을 검증하기 위하여 앱 서비스와 플랫폼으로 구성된 테스트 환경을 구축하고 다양한 위험 상황을 가정한 사용자 시나리오를 기반으로 생활안전지수에 대한 기능과 생활안전예방서비스 내에서의 효용성을 확인하였다.

향후 본 연구는 방법론과 가중치에 대한 신뢰성을 제고하고 실증을 통한 대국민 서비스 준비에 주안점을 둘 예정이다. 앞으로의 과업에서 현 연구 성과에 대한 FGI를 진행하고 개선사항을 도출하여 분석 모델을 고도화하고, 보다 많은 전문가의 의견이 반영되어 가중치가 산출될 수 있도록 전문가 그룹 확대와 추가 설문 분석을 진행하고자 한다. 또한 지자체 등과의 협업을 통해 시범서비스를 선보이고, 일반 시민을 대상으로 서비스를 배포하고 그 유효성을 검증함으로써 서비스의 안정성 및 품질개선을 추진하며 향후 확대 및 확산 전략 로드맵을 수립할 예정이다. 이상으로 생활안전지수를 포함한 생활안전 예방서비스의 구현과 보급을 통해 안전한 대한민국 조성에 일조할 수 있기를 기대한다.

Acknowledgement

본 연구는 행정안전부 “생활안전 예방서비스 기술개발” 사업의 연구비 지원(2019-MOIS34-001)에 의해 수행되었습니다.

참고문헌

  1. d'Albe, F. (1979). "Objectives of volcanic monitoring and prediction." Journal of the Geological Society, Vol. 136, No. 3, pp. 321-326. https://doi.org/10.1144/gsjgs.136.3.0321
  2. Federal Emergency Management Agency(FEMA) (2001). Understanding Your Risk: Identifying Hazards and Estimating Losses, CreateSpace Independent Publishing Platform, USA.
  3. Jang, D.W., Kim, D.K., Kim, Y.S. (2018). A Study on Weighting Analysis of Disaster Risk Factors by Type of Social Disaster, National Disaster management Research Institute, 11-1741056-000108-01, South of Korea.
  4. Jee, D.H., Kang, K.J. (2000). "A method for optimal material selection aided with decision making theory." Materials & Design, Vol. 21, No. 3, pp. 199-206. https://doi.org/10.1016/S0261-3069(99)00066-7
  5. Joo, S.H., Oh, C., Hong, S.M. (2014). "Development of comprehensive evaluation index for in-vehicle warning information systems." The journal of the Korea Institue of Intelligent Transportation Systems, Vol. 13, No. 6, pp. 10-24.
  6. Kim, H.J., Kim, Y.C., Kim, M.S. (2013). Development of Evaluation and Diagnosis Methods of Safer City. National Disaster Management Research Institute, South of Korea.
  7. Lee, B.G., Ko, G.H. (2017). Analysis and Improvement of Sejong City's Regional Safety Index in 2017. Korea Research Institute for Local Administration.
  8. Lee, C. (1999). "An application of the analytic hierarchy process in selecting strategic industry in Pusan." Korean Management Science Review, Vol. 16, No. 1, pp. 11-23.
  9. Lee, C.H., Lee, S.M., Yeo, C.K. (2006). Develpment of the Regional Safety Assessment Model in Seoul: Focusing on Flood. Report of the Seoul Institue, pp. 1-149.
  10. Lim, C. (1995). An Extension of AHP for Group Decision Making. Master Thesis, Pohang University of Science and Technology.
  11. Saaty, T. L. (1980). "A scaling method for priorities in hierarchical structure." Journal of Mathematical Psychology, Vol. 15, pp. 234-281. https://doi.org/10.1016/0022-2496(77)90033-5
  12. Sin, J.D., Park, S.Y., Wone, J.Y., Goo, C. M., Yoo, S.M., Umm, M.R. (2018). Development of Analysis Methods for Characteristics of Safety Accidents based on Statictical Data, National Disaster Management Research Institute, 11-1741056-000140-01, South of Korea
  13. Sin, J.D., Park, S.Y., Wone, J.Y., Umm, M.R. (2018). Development on Method of National Safety Level Measurement, National Disaster management Research Institute, 11-1741056-000138-01, South of Korea.
  14. Song, C.Y. (2020). "A study on the improvement method of the local safety level index in basic local governments." Journal of the Korean Society of Disaster Information, Vol. 16, No. 2, pp. 211-222. (in Korean with English abstract)
  15. Song, K., Lee, Y. (2013). "Re-scaling for improving the consistency of the AHP Method." Social Science Research, Vol. 9, No. 2, pp. 271-288.
  16. Yoo, J.U. (2014). "A study on disaster risk assessment in the urban open spaces." Journal of the Korean Institute of Landscape Architecture, Vol. 43, No. 5, pp. 13-57. https://doi.org/10.9715/KILA.2015.43.5.013