공공 데이터 기반 빅데이터 분석 시스템

Big Data Analytic System based on Public Data

Abstract

최근 4차 산업혁명 시대로 인한 기술 발전이 도래하게 되었으며, 이러한 변화로 인해 데이터가 광범위하게 사용되기 시작했다. 빅데이터는 국가의 행정, 치안, 보안 등 시민의 안위를 위해서도 자주 사용되고 있다. 이러한 치안 유지의 효율성을 높이기 위해서는 CCTV의 설치 현황을 파악하고, 구역별 인구수와 비교하여 CCTV의 설치 비율, 그리고 구역별 범죄율 등을 분석하여 개선할 필요가 있다. 따라서 본 논문에서는 CCTV, 여성 인구, 유흥업소 등과 같이 범죄 발생률과 관련된 데이터를 수집하고, 이를 활용하여 CCTV의 효율적인 관리와 설치를 통해 범죄율을 줄이기 위한 공공 데이터 기반 빅데이터 분석 시스템을 개발한다.

Recently, after the 4th industrial revolution era has arrived, technological advances started to develop and these changes have led to widespread use of data. Big data is often used for the safety of citizens, including the administration, safety and security of the country. In order to enhance the efficiency of maintaining such security, it is necessary to understand the installation status of CCTVs. By comparing the installation rate of CCTVs and crime rate in the area, we should analyze and improve the status of CCTV installation status, and crime rate in each area in order to increase the efficiency of security. Therefore, in this paper, big data analytic system based on public data is developed to collect data related to crime rate such as CCTV, female population, entertainment center, etc. and to reduce crime rate through efficient management and installation of CCTV.

Ⅰ. 서론

최근 4차 산업혁명 시대로 인한 기술 발전이 도래하게 되었는데, 이러한 변화로 인해 데이터가 광범위하게 사용되어, 정형화된 데이터뿐만 아니라 비정형화된 데이터까지 다룰 수 있게 되었다. 하지만 매일같이 생성되는 디지털 자원은 원유처럼 자원 그대로 사용할 수는 없다. 즉, 다양한 분야에서 얻은 데이터를 용도에 맞게 분석과 처리를 해야 더욱 의미 있는 결과를 도출할 수 있게 된다. 공공 데이터를 개방할 경우, 시민의 활발한 공공정책 참여를 촉진할 뿐만 아니라 빅데이터를 통해 가치를 창출할 수 있기 때문에 실제로 한국을 포함한 여러 국가에서도 빅데이터의 중요성을 인식하여 공공기관과 정부에서 보유한 데이터를 개방하는 데 높은 관심을 보이고 있다. 이처럼 빅데이터는 데이터 기반 사회의 핵심이 되는 요인이다^{[1, 2, 3]}.

빅데이터는 국가의 행정, 치안, 보안 등 시민의 안위를 위해서도 자주 사용되고 있다. 공공을 위협하는 범죄는 언제 어디에서나 발생할 수 있으므로 안전한 사회를 만들기 위해서는 치안 정책을 강화하는 것도 중요하지만, CCTV와 관련된 데이터를 제공함으로써 범죄 분석에 관한 연구의 질을 향상시키는 것 또한 좋은 방법이다. CCTV의 효율성을 높이기 위해서는 CCTV의 설치 현황을 파악하고, 구역별 인구수와 비교하여 CCTV의 설치 비율, 그리고 구역별 범죄율 등을 분석하는 기술이 필요 하다. 그러나 공공 데이터는 기관마다 사용하는 형식이 상이하여 표준화된 형태의 데이터를 제공하지 않으므로 이용자의 개별적인 처리 과정을 요구한다. 따라서 본 논문에서는 서울시의 구별 CCTV와 인구수 현황과 5대 범죄 검거 현황에 대한 공공 데이터를 활용하여 CCTV의 효율적인 관리와 설치를 통해 범죄율을 줄일 수 있도록 공공 데이터 기반 빅데이터 분석 시스템을 개발하고자 한다^[4,5].

본 논문은 다음과 같이 구성된다. 2장에서는 관련 연구, 3장에서는 시스템 설계 및 구현에 관해 설명한다. 4장에서는 결론을 맺고 본 연구를 통한 기대 효과를 설명 한다.

Ⅱ. 관련 연구

1. 빅데이터

빅데이터란 대용량의 데이터를 저장, 수집, 분석, 비즈니스화하는 과정을 말한다. 빅데이터의 핵심적인 개념은 데이터의 규모, 데이터의 다양성, 데이터의 처리 속도이며, 이를 효과적으로 대처하는 것이 매우 중요하다^[6,7].

2. 공공 데이터

공공 데이터는 공공기관이 만들어내는 모든 자료나 정보로서, 국민 모두의 소통과 협력을 이끌어 내는 공적인 정보를 뜻한다. 여러 나라가 공공 데이터의 중요성을 적극적으로 지지하고 있는데, 우리나라 또한 공공 데이터 촉진을 위해 ‘공공 데이터의 제공 및 이용 활성화에 관한 법률’이 제정되어 2013년에 법률이 시행되었다^[8].

3. 웹 인포그래픽

웹 인포그래이란 웹 환경에 기반하여 정보, 자료 또는 지식을 시각적으로 표현하는 것을 의미한다. 일반적인 그림이나 사진보다 훨씬 더 정보를 구체적으로 전달할 수 있다는 이점이 있어 복잡한 정보를 빠르게 전달할 때 용이하다. 인포그래픽의 예로 텔레비전 프로그램 편성표, 차트, 다이어그램, 흐름도 등이 있다. 웹 페이지에서의 인포그래픽은 다양한 멀티미디어 정보 요소들을 웹에서 구현한다는 점에서 웹 정보 디자인과 유사한 의미로 수용되기도 한다. 또한 '연결성'과 '공유'라는 웹의 본질적 측면을 이용해 정보 인터페이스를 구현하는 데 효과적으로 활용될 수 있다^[9,10].

Ⅲ. 시스템 설계 및 구현

본 시스템을 구현하기 위해 파이썬(본 연구에서는 파이썬 버전 3.6.5)을 사용하고, IDE는 Jupyter Notebook을 활용했다.

본 연구의 시스템 구성도는 그림1과 같다.

그림 1. 공공 데이터 기반 빅데이터 분석 시스템 구조도

Fig. 1. Big Data Analytics System Diagrams Based on Public Data

그림1에서 보는 바와 같이 본 논문의 시스템은 ‘빅데이터 처리 프로세스’, ‘빅데이터 분석 프로세스’, ‘웹 인포 그래픽 프로세스’ 3가지로 구성된다.

1. 빅데이터 처리 프로세스

처리 프로세스는 분석 프로세스에서 활용하기 위해 데이터를 전처리하는 과정이다. ‘포맷 변환 모듈 및 데이터 정제 모듈’은 공공 데이터의 포맷을 통일하고 분석 프로세스에 활용할 컬럼을 추출 및 필터링하는 과정을 거친다.

그림 2는 필요한 모듈을 모두 호출하고 공공 데이터가 저장된 디렉토리의 경로를 변수에 저장하는 과정이다.

그림 2. 모듈 호출 및 디렉토리 불러오기

Fig. 2. Call Modules and Assigned Directories

1) 파이썬의 내장모듈이 아닌 라이브러리들은 명령 프롬프트에서 pip 명령, 또는 conda 명령을 이용한 별도의 설치가 필요하다. warnings 모듈에 있는 simplefilter 함수는 앞으로의 릴리스에서 변경될 예정인 특정 기능에 대한 경고(FutureWarning)를 무시하게 한다. 2) glob 함수는 해당 경로에서 ‘서울시’로 시작하는 모든 xls 파일을 가져오는 역할을 한다.

그림 3은 서울시 CCTV 데이터를 전처리하는 과정이다. 우선 해당 엑셀 파일을 열어 헤더를 지정하고 불필요한 부분을 제거한다. 그리고, 원본 파일의 자치구 이름에 공백이 포함되어 있으므로 이를 제거하는 작업을 한다. 마지막으로 데이터프레임의 &lquo;자치구’ 열에 정리된 자치구 이름을 저장하면 CCTV 데터 전처리 과정은 완료된다.

그림 3. CCTV 데이터 전처리 코드

Fig. 3. CCTV Data Preprocessing Code

CCTV 데이터 전처리 이후 서울시 범죄 데이터 역시 이전 과정과 마찬가지로 서울시 5대 범죄 데이터 엑셀 파일을 읽어 사용할 컬럼만 추출한다. 본 연구에서 사용하지 않는 데이터의 ‘합계’ 행을 삭제한 후, 자치구 이름을 기준으로 하여 오름차순으로 정렬한다.

그림 4. CCTV 데이터 전처리 결과

Fig. 4. CCTV Data Preprocessing Output

그림 5. 범죄 데이터 전처리 코드

Fig. 5. Crime Data Preprocessing Code

그림 6. 범죄 데이터 전처리 결과

Fig. 6. Crime Data Preprocessing Output

그림 7. 여성 인구 데이터 전처리 코드

Fig. 7. Female Population Data Preprocessing Code

다음 서울시 자치구의 여성 인구 데이터 전처리 과정을 수행한다. 서울시의 인구 통계 데이터를 가지고 있는 엑셀 파일을 열어 여성 인구 데이터만 추출한다. 그림 6과 같은 방법으로 사용하지 않는 행을 제거하고 자치구 이름을 오름차순으로 정렬하면 여성 인구 데이터 전처리 결과는 그림 8과 같다.

그림 8. 여성 인구 데이터 전처리 결과

Fig. 8. Female Population Data Preprocessing Output

범죄율에 영향을 끼치는 또 다른 요소로는 공공기관도 존재하므로 안전과 관련된 공공기관 데이터를 전처리하도록 한다. 안전 관련 공공기관에는 경찰청, 경찰서, 지구대, 파출소, 치안센터, 소방본부, 소방서, 그리고 119 안전센터가 포함되어 있다.

그림 9. 안전 관련 공공기관 데이터 전처리 코드

Fig. 9. Safety-Related Public Agencies Data Preprocessing Code

해당 전처리 과정에서도 이전에 했던 것처럼 엑셀 파일을 열고 사용할 컬럼만 추출하고 사용하지 않을 행을 제거한다. 이후 자치구를 기준으로 정렬을 하고 데이터프레임을 출력하면 그림10과 같이 전처리된 것을 확인할 수 있다.

그림 10. 안전 관련 공공기관 데이터 전처리 결과

Fig. 10 Safety-Related Public Agencies Data Preprocessing Output

마지막으로 유흥업소 데이터에서 불필요한 부분 및 중복 데이터를 제거하는 전처리 과정을 수행한다.

그림 11. 유흥업소 데이터 전처리 코드(1)

Fig. 11. Entertainment Business Data Preprocessing Code(1)

데이터 처리 프로세스에서 glob 함수를 이용하여 서울시 구별 유흥업소 데이터를 불렀는데, 이를 모두 합쳐 다른 엑셀 파일을 생성해야 한다. 하지만 원본 데이터를 그대로 사용하기에는 몇 가지 문제점이 존재한다. 모두 합친 유흥업소 데이터에서 자치구만 추출하기 위해서는 해당 업소의 주소가 필요한데, 본 데이터는 ‘소재지도로명’이나 ‘소재지지번’이 비어있는 항목들이 존재한다. 이를 해결하기 위해 각 구 데이터에서 첫 번째 업소의 구 이름만 추출하고 다른 업소에도 그 이름을 적용한다. 그리고 ‘자치구’ 열에 추출한 구 이름을 저장한다. 또 다른 문제점은 중복되는 업소명이 있다는 것인데, drop_duplicates라는 함수를 사용하여 중복된 데이터 중 먼저 노출되는 것을 제외하고 모두 삭제한다. 반복문 수행과 구마다 해당 작업이 끝나면 모든 데이터를 합쳐 새로운 엑셀 파일을 생성한다.

그림 12. 유흥업소 데이터 전처리 코드(2)

Fig. 12. Entertainment Business Data Preprocessing Code(2)

본 연구에서 사용되는 데이터는 2017년을 기준으로 하고 있다. 따라서, 2017년 이전에 폐업한 업소 데이터가 포함된다면 정확성이 떨어지게 되므로 2017년 이전에 폐업한 업소 데이터를 모두 제거해야 한다. 부등호를 사용하여 이를 처리하고 구마다 유흥업소의 개수를 세어서 데이터프레임에 저장한다. 이러한 방법으로 그림 13을 통해 전처리된 것을 확인할 수 있다.

그림 13. 유흥업소 데이터 전처리 결과

Fig. 13. Entertainment Business Data Preprocessing Output

2. 빅데이터 분석 프로세스

처리 프로세스를 마치면 전처리한 공공 데이터를 지도에 표시하기 위해 ‘좌표 추출 모듈’의 과정과 통계를 계산하기 위한 ‘통계 계산 모듈’, 공공 데이터의 상관관계 분석을 위한 ‘분석 모듈’을 시행한다.

가. 좌 추출 모듈

다음은 CCTV 개수에 따라 서울시의 자치구를 표시하는 작업을 한다. 지도에 대한 정보에 접근하기 위해서는 해당 사이트의 API 키를 받아야 한다. 본 연구에서는 Bing Maps를 사용하였다.

그림 14. 서울시 지도의 CCTV 개수에 대한 정보 시각화

Fig. 14. Visualization of Information on the Number of CCTVs in the Map of Seoul

1) Bing의 API 키를 사용하여 지도에 접근한 뒤, 자치구의 이름을 모아놓은 리스트에서 구의 좌표를 얻는다. 다른 시의 구와 혼동할 수 있으니 앞에 ‘서울시(공백)’을 추가하여 정확한 위치를 찾는다. 결과적으로 각 구의 위도와 경도가 각각의 리스트에 저장된다. 2) 다음 서울시 지도의 JSON 파일을 열어 서울시의 위치와 지도의 스타일을 설정한다. CCTV에 대한 데이터프레임을 호출하여 서울시를 구별로 구분한 뒤에 CCTV의 개수에 해당하는 색을 띄우게 한다. 마지막으로 각 구의 위도와 경도에 따라 위치를 표시하는 팝업을 추가하고, 마우스를 가져다 대면 구의 이름이 보이도록 설정한다. 결과는 그림 15와 같다.

그림 15. 서울시 지도의 CCTV 개수에 대한 정보 시각화 결과

Fig. 15. Result of Visualizing Information on the Number of CCTVs in the Map of Seoul

나. 통계 계산 모듈

다음으로 통계 산출 작업을 위해 이전에 만들었던 데이터를 모두 병합한다.

그림 16. 데이터 병합 코드

Fig. 16. Data Merging Code

자치구를 기준으로 데이터를 누적시켜 첫 번째 데이터 프레임에 두 번째 데이터프레임을 병합하는 방식으로 모든 데이터프레임을 합쳐 새로운 데이터프레임을 생성한다.

그림 17. 데이터 병합 결과

Fig. 17. Result of Data Merging Code

그림 18. 상관계수 계산

Fig. 18. Correlation Coefficient Calculation

두 변수 사이의 상관계수를 계산해주는 함수를 통해 범죄 발생건수와 CCTV 개수, 유흥업소 개수, 여성인구, 안전관련 공공기관 개수의 상관계수를 계산한다.

주 대각선이 아닌 값이 상관계수이며, 결괏값이 0에서 0.4 사이에 있으면 약한 상관관계, 0.4에서 0.7 사이에 있으면 뚜렷한 상관관계, 0.7 이상이면 한 상관관계를 의미한. 그림 19를 보면 범죄 발생건수와 각 요소가 0.4에서 0.7 사이로 뚜렷한 상관관계를 보이고 있다.

그림 19. 상관계수 계산 결과

Fig. 19. Result of Correlation Coefficient Calculation

그림 20. 상관계수를 나타낸 히트맵 생성

Fig. 20. Generating Heatmap that Shows Correlation Coefficient

다. 분석 모듈

통계 계산을 한 것을 토대로 분석을 한다. 히트맵을 이용하여 요소들의 상관관계를 시각화하고, 막대그래프를 통해 구별 범죄 발생건수를 비교하며, 마지막으로 산점도로 범죄 발생건수와 이에 영향을 미치는 요소들의 상관관계가 정확히 어떤 식으로 연관이 있는지 확인한다.

1) 히트맵 생성에 필요한 폰트의 경로와 설정 등 폰트와 관련된 것들을 모두 지정한다. 2) 그리고 그래프에서의 숫자 표시 여부, 그래프 색, y축 라벨 등과 같이 히트 맵에 필요한 요소들을 설정한다.

그림 21. 상관계수를 나타낸 히트맵

Fig. 21. Heatmap that Shows Correlation Coefficient

히트맵은 데이터의 값을 색으로 변환시켜 시각적인 분석을 가능하게 하며 결괏값을 그래프 하나로 다 볼 수 있다는 장점이 있다. 변수 간의 상관계수가 클수록 색이 더 진하게 나타난다.

그림 22. 구별 범죄 발생건수 그래프 생성

Fig. 22. Generating a Graph of the Number of Crimes Committed by Seoul District

범죄 발생건수를 기준으로 내림차순 정렬해 막대그래프로 나타낸다.

그림 23. 구별 범죄 발생건수 그래프

Fig. 23. Graph of the Number of Crimes Committed by Seoul District

그림 24. 범죄 발생건수와 CCTV 개수의 상관관계 산점도 & 최적선 생성

Fig. 24. Correlation between the Number of Crimes and the Number of CCTVs & Generating Optimal Lines

1) 범죄 발생건수와 CCTV 개수를 이용해 최적선을 만들 수 있도록 기울기와 y절편을 반환하여 line1 변수에 저장한다. 2) 저장한 line1 변수를 대입하여 방정을 산출하고, x축의 시작점과 끝 지점, 칸의 간격을 정해 준다. 3) 그래프 크기 지정 후, 두 개의 실수 데이터 집합의 연관관계를 살펴볼 수 있는 산점도 그래프를 생성하고 x 축과 y축의 이름도 지정해 준다.

그림 25. 범죄 발생건수와 CCTV 개수의 상관관계 산도 & 최적선 생성

Fig. 25. Correlation and Optimal Lines between the Number of Crimes and the Number of CCTVs

상관관계 산점도와 최적선을 만든 결과, 최적선은 범죄 발생건수가 늘어날수록 CCTV 개수가 늘어나는 비례 관계를 보였다. 산점도를 통해 각 자치구의 CCTV 개수와 범죄 발생건수 현황을 한눈에 알아볼 수 있었으며, 최적선과 부합하는 자치구는 두 개이고 다른 구들은 범죄 발생건수에 비해 CCTV가 부족하거나 많았다.

그림 26의 최적선은 여성인구가 늘어날수록 범죄 발생건수가 늘어나는 비례관계를 보였다. 산점도를 통해 알아본 결과, 최적선과 부합하는 자치구는 네 개이다. 최적선과 비슷한 추세를 보이는 자치구도 있었지만 다른 구들은 최적선에 비해 여성인구 수가 부족하거나 많았다.

그림 26. 범죄 발생건수와 여성인구의 상관관계 산점도 & 최적선 생성

Fig. 26. Correlation and Optimal Lines between the Number of Crimes and Female Population

그림 27의 최적선은 범죄 발생건수가 늘어날수록 안전관련 공공기관 개수가 늘어나는 비례관계를 보였다. 최적선과 부합하는 자치구는 다섯 개이다. 최적선과 비슷한 추세를 보이는 자치구도 있었지만 다른 구들은 범죄 발생건수에 비해 안전관련 공공기관 개수가 부족하거나 많았다.

그림 27. 범죄 발생건수와 안전관련 공공기관의 상관관계 산점도 & 최적선 생성

Fig. 27. Correlation and Optimal Lines between the Number of Crimes and Safety-Related Public Agencies

그림 28의 최적선은 유흥업소가 늘어날수록 범죄 발생건수가 늘어나는 비례관계를 보였다. 산점도를 통해 알아본 결과, 최적선과 부합하는 자치구는 다섯 개이다. 최적선과 비슷한 추세를 보이는 자치구도 있었지만 다른 구들은 최적선에 비해 유흥업소 개수가 부족하거나 많았다.

그림 28. 범죄 발생건수와 유흥업소 개수의 상관관계 산점도 & 최적선 생성

Fig. 28. Correlation and Optimal Lines between the Number ofCrimes and Entertainment Business

3. 웹 인포그래픽 프로세스

웹 인포그래픽 프로세스에서는 분석된 결과를 통해 다양한 형태로 시각화하는 과정이다. ‘전송 모듈’로 시각화된 데이터를 임베디드 기반의 웹서버를 통해 웹 애플리케이션을 전송하고,웹 시각화 모듈’로 수신된 시각화 데이터를 웹 애플리케이션에 출력한다.

가. 전송 모듈

그림 29. 소스코드 파일을 html 파일로 변환

Fig. 29. Converting Source Code File to HTML File

1) os 모듈을 호출하여 운영 체제와 상호 작용한다. 2) 파이썬 코드 파일을 HTML 파일로 전환하기 위한 함수를 정의한다. 3) 함수를 실행시켜 파일을 변환한다.

1) 클라이언트 및 서버 기능을 사용하기 위해 paramiko 모듈을 호출한다. 2) 서버 간의 데이터 전송을 암호화하는 SFTP를 사용하여 파일을 웹 서버로 전송하기 위한 함수를 정의한다. 3) 다운로드할 파일의 경로와 자신의 로컬 컴퓨터의 경로를 입력한 뒤, 파일을 복사하는 과정을 실행한다. 4) 파일을 웹 서버로 전송한다.

그림 30. 파일을 웹 서버로 전송

Fig. 30. Transferring File to Web Server

그림 31. 웹 시각화 구현 결과

Fig. 31. Result of Web Visualization

Ⅳ. 결론

본 논문에서는 공공 데이터를 사용하여 범죄 건수와 그에 영향을 미치는 여러 요소들의 데이터를 처리하는 과정을 거쳐 상관관계를 분석하고 시각화하는 연구를 수행하였다. 본 연구를 통해 다양한 분야의 미래 전략 수립과 민간에게 제공하는 서비스의 질 향상을 기대할 수 있다. 또한, CCTV 및 범죄 현황에 대한 공공 빅데이터 분석을 통해 범죄 예방 효과를 극대화할 수 있을 것이다.