Development of Novel Disaster Pictogram Emergency Alert Technology for Hearing Impaired

청각장애인을 위한 재난안전 픽토그램 긴급알림 전달 기술 개발

Abstract

Purpose: In emergency situations such as earthquakes, heavy rains, typhoons, or fires, when quick delivery of emergency alerts is crucial, the hearing impaired are the ones who are the most disadvantaged and vulnerable when alerts are only delivered through auditory or text alerts. They can't perceive auditory information, and many have difficulties in fast understanding text-based alerts. Method: An alert system that can deliver pictograms for specific disaster situations has been devised. Then, a novel approach based on artificial intelligence has been studied so that the pictograms for specific disaster situations can be chosen instantly once a disaster alert is issued in text. Result: A disaster alert system that delivers pictograms for specific disaster situations was developed and a novel method has been suggested for automatic delivery. Conclusion: A system to instantaneously deliver disaster alert information in pictograms has been developed to improve alert delivery to the populations vulnerable to disaster due to hearing impairment by the instantaneous understanding of disaster situations through visual information.

연구목적: 지진, 호우, 태풍, 화재 등 긴급한 재난 알림 전달이 필요한 상황에서 청각장애인은 소리를 통한 알림을 인지할 수 없으며 문자를 통한 알림의 인지율도 비장애인에 비하여 상대적으로 낮은 편으로서 일반적인 수단의 재난알림을 신속하게 인지하기 어려운 경우가 많다. 이와 같은 청각장애인의 재난안전 긴급알림 인지의 취약성 문제를 해결하고자 픽토그램을 통한 재난안전 긴급알림 시스템이 개발되었다. 연구방법: 본 연구에서는 재난문자 통보문의 문구를 기반으로 청각장애인이 인지하기 보다 용 이한 일련의 픽토그램을 전달하는 시스템을 개발하고 자동 변환하는 방법을 탐색하고자 하였다. 연구결과: 이를 위해 재난안전 관련 긴급 통보문과 관련되는 픽토그램 기반의 알림을 전달하는 시스템이 개발되었고 자동변환에 적합한 인공신경망 구조와 훈련방법을 구성하여 재난문자에 대응되는 픽토그램 기반의 청각장애인 재난안전 긴급알림 시스템 구성이 제안되었다. 결론:본 연구를 통해 청각장애인 뿐만아니라 일반인 또는 한국어를 모르는 외국인도 쉽게 이해할 수 있는 픽토그램이 신속하게 표출될 수 있도록 하여 재난 취약계층의 취약성을 줄이는데 기여할 수 있을 것으로 기대된다.

서론

지진, 호우, 태풍, 화재 등 긴급한 상황에서 재난 알림은 소리 또는 텍스트 형태로 주로 전달되지만 청각장애인은 소리를 통한 알림을 인지할 수 없으며 문자를 통한 알림의 인지율도 비장애인에 비하여 상대적으로 낮은 편으로서 일반적인 재난알림 수단을 통한 정보수신이 원활하지 않은 경우가 많다(Son et al., 2018; Kim et al., 2017; Son et al., 2021). 이와 같은 이유로 일본의 대규모 지진 발생 시의 피해 사례(Takayama, 2017)를 보면 청각장애인은 재난 발생 사실을 이틀 동안 전혀 인지하지 못한 경우도 있었으며 1995년의 고베 지진의 경우 청각장애인의 사망률은 비장애인에 비하여 4.5배로 높았다. 또한 청각장애인은 사회경제적 특성상 주된 언어가 수화이다 보니 이준우와 김연신(Lee et al., 2011)의 조사에 의하면 241명의 조사대상자 중 문해능력이 없는 경우가 68명으로 28.2%에 달했다. 따라서, 상당한 수의 청각장애인에게는 문자가 재난안전 긴급정보 전달에 효율적이지 못할 수 있는 것으로 볼 수 있다. 아울러서 재난 대응 인력의 경우에 청각장애인에 대처하는 방법을 훈련받지 못한 경우가 많아(Engelman et al., 2013; Skøta et al., 2017) 재난 구조 상황에서도 청각장애인과 구조 등 재난 대응인력 사이에 효율적인 의사 소통 방안이 필요한 것을 알 수 있다. 이에 따라 청각장애인이 재난에 상당히 취약한 계층임을 알 수 있으며 청각장애인의 인지 특성을 고려한 재난안전과 관련된 긴급정보 전달과 소통 수단이 필요한 것을 파악할 수 있다.

다른 한편으로 최근의 지구 평균 온도 상승에 따른 기후변화로 인하여 태풍과 호우 등의 극한 기상에 의한 재난 발생이 급격하게 증가하고 있어 신속하고 안정적이며 효율적인 재난정보 전달에 대한 국민적 관심이 증가하고 있고 효과적인 재난 대응을 위한 현장 맞춤형 정보 전달의 요구가 증대되고 있다. 최근 2022년 8월의 서울 지역의 집중호우 재난 사례에서 기후불평등이 존재하며(Park et al., 2022) 호우 경보가 사전에 발령되었음에도 홍수에 의하여 심각한 인명과 재산피해가 발생한 것을 보면 이와 같은 정보 전달의 신속성과 정보에 대한 이해도의 중요성이 계속적으로 높아지는 것을 확인할 수 있다.

이에 재난안전과 관련된 긴급상황을 보다 신속하고 명확하게 전달할 수 있는 수단으로 청각장애인이 바로 인지하여 행동에 옮길 수 있게 하는 단순화된 그림문자 형태인 픽토그램이 재난알림에 보다 효율적일 수 있는 것으로 연구되었다(Son et al., 2018; Fujimori et al., 2007; Hosono et al., 2014). 특히 Fujimori et al. (2007)은 재난알림과 와 관련된 일련의 재난 대응 요령을 Fig. 1과 같이 일련의 픽토그램으로 형상화 하는 것을 연구하였다. Hosono et al. (2014)의 사례에서는 청각장애인 뿐만 아니라 언어장애자, 외국인과의 소통에의 효율성도 연구되었다. 미국의 사례(Clawson et al., 2012)에서는 해외에 구호를 위해 파견된 야전병원에서 다른 언어를 사용하는 지역 주민과의 소통을 위해 픽토그램을 사용하는 방안을 구현하고 이 방안이 효과가 있는 것을 검증하였다.

Fig. 1. Example of arrangement of pictograms for earthquake warning and response instructions (Fujimori et al., 2007)

다른 한편으로 인공신경망을 이용한 인공지능 기반의 대규모 시스템은 일반 텍스트 자유어를 기반으로 이에 해당하는 형상화된 새로운 그림을 생성할 수 있는 정도로 발달하였다(Ramesh et al., 2022). 여러 분야에 적용되고 있는 텍스트 분석에 효율적인 방법으로는 Bag of Words 모델과 워드 임베딩(Word2vec, Word embedding to vector) 등이 있다(Eo et al., 2019). Bag of Words는 주어진 세트의 텍스트에서 특정 단어의 빈도를 분석하고 이를 시각화할 수 있다. 워드 임베딩은 딥러닝 방법을 적용하여 단어를 벡터로 나타내는 프로세스이다.

본 논문에서는 픽토그램을 활용하여 재난안전과 관련된 알림을 중앙 및 지방 방재관계기관에서 청각장애인에게 전달하는 시스템을 개발하고 여기에 인공신경망을 이용하여 텍스트 형태의 재난문자를 분석하여 중요 텍스트를 추출하고 이를 기반으로 픽토그램과의 연관을 훈련시켜 재난알림을 픽토그램으로 자동적으로 변환하여 표출하는 방안을 제시하고자 한다.

본론

연구의 목적

본 연구에서는 청각장애인과 같이 재난안전 알림을 청각적인 방법이나 문자를 통해서 인지에 어려움을 겪는 재난안전취약계층에게 재난안전 관련 긴급알림을 그림 형태의 픽토그램 형식으로 제공하여 보다 신속하고 정확하게 재난 발생 사실과 재난 유형을 식별하고 이에 대응할 수 있도록 하는 픽토그램 기반의 재난안전 긴급알림 전달 시스템을 개발하고자 하였다. 이를 위해 먼저 개발 중인 청각장애인 재난안전 긴급알림 전달시스템의 구성을 제시하고 여기에 인공지능 기반의 텍스트 분석 및 재난문자의 픽토그램과의 매칭 훈련을 통해 재난문자 발령시 자동적으로 이에 맞는 픽토그램이 표출될 수 있는 시스템을 제시하고자 하였다.

연구의 방법

본 연구에서는 개발 중인 픽토그램 기반의 재난안전 긴급알림 시스템을 위한 요구조건과 기능 및 구성을 분석하고 인공지능을 활용하여 재난문자를 픽토그램을 자동으로 변환하는 모듈이 추가될 수 있는 프로세스를 식별하고자 하였다. 그리고 특정 기간 동안의 재난 문자를 분석하여 중요 토픽을 추출하여 토픽 위주로 필요한 픽토그램을 식별할 수 있도록 하였다. 또한 트레이닝과 테스팅을 조합하여 단계적으로 재난문자 기반의 픽토그램 자동 추출이 점진적으로 이루어질 수 있는 방안을 도출하고자 하였다.

청각장애인 재난안전 긴급알림 시스템

본 연구에서 다루는 청각장애인 재난안전 긴급알림 시스템은 청각장애인을 대상으로 서비스를 제공하고자 하는 지방자치단체 등에서 사용이 가능할 수 있도록 하는 시스템을 개발하는 것이었다. 이에 따라 시스템의 요구조건을 Table 1과 같이 수행 계획에서 기상청의 요구사항을 기반으로 정리한 재난정보에 대한 취득과 전달에 관련된 세부 항목 기반으로 식별하고 이에 대응하는 시스템의 기능을 도출하여 Table 2와 같이 식별하였다.

Table 1. Requirement analysis for hearing impaired emergency alert system

Table 2. Functional definition for hearing impaired emergency alert system

개발되는 시스템에서는 청각장애인에게 먼저 스마트폰앱 또는 스마트워치 앱을 통해서 픽토그램이 표출될 수 있도록 하였으며 재난안전 긴급정보를 행정안전부의 재난문자, 기상청의 기상특보, 환경부의 미세먼지 정보 등을 가져와서 이를 분석하여 1차적으로는 수동적으로 재난 정보에 해당되는 픽토그램을 선택하여 표준프로토콜로 청각장애인의 모바일 디바이스와 댁내에 본 연구의 메인 과제에서 같이 개발되는 청각장애인의 가정에 설치되어 스마트 LCD와 스마트 배게 등을 통해 재난안전 긴급정보를 전달할 수 있는 댁내시스템을 통해 청각장애인에게 픽토그램을 통하여 신속하고 정확하게 재난안전과 관련된 긴급정보가 전달될 수 있도록 시스템의 구성이 Fig. 2와 같이 도출 되었다. 시스템의 중간 과정에서는 픽토그램을 포함하는 표준프로토굴(CAP)이 구축되어 원활한 정보 전달이 이루어질 수 있도록 하였다.

Fig. 2. Disaster-safety emergency alert system for hearing impaired

인공지능 기반의 청각장애인 재난안전 긴급알림 시스템

픽토그램 정보 수집

재난과 관련된 픽토그램을 표출하기 위해서 먼저 다양한 재난유형과 관련된 픽토그램과 재난 대응 요령과 관련된 픽토그램이 Fig. 3와 같이 수집되어 데이터베이스화 될 수 있도록 하였다. 구축되는 픽토그램 데이터베이스는 재난문자 기반의 픽토그램 자동표출을 위한 트레이닝과 테스팅에 사용될 수 있도록 구분되어 구축되었다. 또한 구축되는 픽토그램 데이터베이스는 재난유형 및 대응요령과 1:1 매칭이 될 수 있도록 1차적인 구축이 이루어 졌다.

Fig. 3. Examples of pictograms for disaster types and disaster responses

재난문자 텍스트 분석

인공지능 기반의 청각장애인을 위한 재난안전 긴급알림 시스템 개발을 위해 입력으로 사용하게 될 재난문자에 대한 텍스트 분석을 수행하였다. 텍스트 분석에 사용된 재난 문자는 공공데이터포털(https://www.data.go.kr)에서 추출한 2020년 1월 26일부터 2021년 1월 31일까지 1년 동안 서울시의 각 구청에서 발송한 6,474건의 재난문자이다. 수집된 재난문자는 재난안전 긴급알림과 관련된 텍스트 분석에 앞서 먼저 키워드 분석을 통해 코로나바이러스와 같이 긴급성이 상대적으로 떨어지는 재난문자는 제외되었다. 따라서, 코로나, 확진자 등의 코로나 바이러스 관련 재난문자를 키워드 필터링을 통해 모두 제외한 결과 6,474건의 재난문자는 243개로 축소되었다.

필터링된 재난문자는 토큰닝을 통해 정보화 되고 딥러닝 기반의 Bag of Words 분석을 통해 반복되는 중요 키워드를 식별할 수 있었다. Fig. 4는 상위 9개 토픽에 대한 텍스트 분석 결과의 Bag of Words를 보여준다. 여기에서 하천, 집중호우, 금지사항, 산사태, 화재 관련 주의보, 태풍 등 중요 재난 토픽과 연관되는 키워드를 추출할 수 있었다.

Fig. 4. Bag of words for disaster alert text messages for 8 major topics in the city of Seoul

인공지능 기반 청각장애인 재난안전 긴급알림 시스템 개발

텍스트 형태의 재난문자를 일련의 픽토그램 형태의 정보로 변환하기 위해 재난문자를 벡터화하여 상응되는 픽토그램에 인공신경망을 훈련시키고 이를 기반으로 재난 발생 시 재난문자 기반으로 신속하게 픽토그램이 자동으로 생성되어 전달될 수 있는 시스템을 Fig. 5 및 Fig. 6과 같은 구성과 프로세스가 도출되었다.

Fig. 5. Structural diagram for AI based pictogram emergency alert system

Fig. 6. The stages of the AI based emergency alert system for hearing impaired

시스템은 3단계로 운용된다. 초기에는 재난문자에 대응하는 픽토그램의 조합을 수동으로 생성하는 동시에 인공신경망의 훈련에 사용하고, 일정 수준으로 인공신경망이 훈련되면 시스템이 반자동으로 운용되어 인공신경망이 픽토그램의 조합을 생성하여 제시하고 이를 시스템 사용자가 확인하여 전달하는 동시에 인공신경망에 훈련하고, 인공신경망 제시 픽토그램 조합의 오류율이 일정 수준 이하로 줄어들 경우 자동모드로 운영하여 재난문자가 수신 즉시 픽토그램의 조합이 생성될 수 있도록 하였다. 생성된 픽토그램 조합은 정보통신망을 통해 휴대폰, 스마트워치, 댁내 IT 장비로 전달하여 청각장애인 재난피해를 최소화할 수 있도록 하였다.

결론

본 시스템은 재난정보를 수집하여 재난정보에 대응하는 픽토그램을 전달하는 시스템으로 재난알림 취약계층인 청각장애인이 직관적으로 재난에 대처하는데 도움을 줄 수 있다. 이와 같은 시스템 개발의 첫번째 단계로 재난문자를 기반으로 픽토그램을 수동으로 선택하여 재난정보를 전달하는 시스템이 먼저 개발되었고 여기에 훈련과 검증을 조합하여 재난문자를 기반으로 인공지능을 통해 자동적으로 픽토그램으로 변환할 수 있는 시스템의 개선안이 도출 되었다. 본 연구에서는 제시되는 픽토그램에 대한 청각장애인 개개인에 따라 이해와 평가가 다를 수 있어 혼란을 유발할 수 있는 위험요소에 대한 분석 및 대응 방안은 도출되지 못하여 실제 적용을 위해서는 리빙랩 등을 통한 후속 연구를 통한 보완이 필요하다. 본 시스템이 완성된 후에는 지방자치단체 등에서 청각장애인을 위한 맞춤형 서비스로 운영될 수 있으며 청각장애인 뿐만 아니라 언어장애인과 외국인에게도 재난 정보를 신속하고 정확하게 전달될 수 있도록 서비스가 가능할 것으로 기대된다.