• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.13 no.4
• /
• pp.306-311
• /
• 2020

This paper deals with how to improve the performance of Python language with various libraries when developing a model using big data. The Python language uses the Pandas library for processing spreadsheet-format data such as Excel. In processing data, Python operates on an in-memory basis. There is no performance issue when processing small scale of data. However, performance issues occur when processing large scale of data. Therefore, this paper introduces a method for distributed processing of execution tasks in a single cluster and multiple clusters by using a Dask library that can be used with Pandas when processing data. The experiment compares the speed of processing a simple exponential model using only Pandas on the same specification hardware and the speed of processing using a dask together. This paper presents a method to develop a model by distributing a large scale of data by CPU cores in terms of performance while maintaining that python's advantage of using various libraries is easy.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.329-329
• /
• 2021

우리나라의 농촌유역은 일반적으로 상류의 농업용저수지와 하류의 배수장을 통해 홍수조절이 이루어지며, 각 농업수리구조물의 운영이 유역의 홍수 및 침수 발생에 큰 영향을 끼친다. 농촌유역의 홍수 대응 능력을 향상시키기 위해서는 농업수리구조물의 통합적 운영이 필요하나 현실에서 이를 시험 운영하기 위해서는 시간적·경제적으로 한계가 있다. 따라서 농촌유역 내 농업수리구조물을 연계한 통합 해석 시스템을 활용하여 다양한 구조물 운영 시나리오에 따른 홍수 위험을 예측하고 효율적인 대응 방안을 마련할 필요가 있다. 본 연구에서는 농업수리구조물을 연계한 홍수·침수 모의 시스템을 구축하기 위하여, 농촌유역에서 홍수·침수 모의를 위한 요소별 모듈을 구성하고, 각 모듈의 연계 기술을 개발하였다. 홍수·침수 해석 모듈은 농업용저수지 상류 유역에서부터 하류 하천 및 농경지까지 통합적으로 분석할 수 있도록 강우 분석 모듈, 강우-유출 모듈, 저수지 운영 모듈, 하천 수위 모듈, 농경지 배수 모듈의 5가지로 구성하였으며, 데이터베이스 모듈을 통해 기초자료를 저장하고 모듈 간의 입출력 과정을 처리하였다. 강우 분석, 강우-유출, 농경지 배수 모듈은 python 코드를 기반으로 자체적으로 구축하였으며, 기존의 모형 (FARD, HEC-HMS, GATE2018)들과 비교한 결과 거의 동일한 모의 결과를 나타냈다. 저수지 운영 모듈과 하천 수위 모듈은 각각 미 공병단의 HEC-5, HEC-RAS 모형을 CLI (Command Line Interface) 방식으로 외부 구동하도록 구성하였다. 전체 모듈 간의 연계에는 python 라이브러리인 Dask를 적용하여 대량의 데이터에 대한 병렬 처리 구조를 갖춤으로써 다양한 기상자료와 운영 시나리오에 따른 반복 작업을 효율적으로 수행하도록 구성하였다. 본 연구에서 개발한 홍수·침수 모의 요소별 모듈과 연계 기술을 기반으로, 농업수리구조물의 연계 운영을 통합적으로 모의함으로써 홍수 대비를 위한 효율적인 구조물 운영안을 도출할 수 있을 것으로 기대된다.