• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.17 no.5
• /
• pp.1396-1412
• /
• 2023

Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.198-198
• /
• 2021

최근 자연적, 사회적, 정책적 관점에서 하천관리의 중요성이 증대되면서 국가하천 정비를 통한 하천시설 관리의 책임이 증대되고 있다. 국가하천 5대강 본류의 친수지구 이용도 변화를 살펴보면 2015년에 비해 2019년에 면적당 이용객 수가 630,813(명/km²)이 증가하였음을 알 수 있었고(국토교통부, 2020) 본 연구에서는 이용자 수 증가율이 높은 편인 한강 내 하천이용시설을 대상으로 선정하여 해당 지역을 기계학습 기반의 수위예측 알고리즘에 적용하였다. 하천이용시설은 하천이용자가 편리하게 하천을 이용하기 위하여 설치한 시설로 공원시설(강서, 난지, 양화, 망원, 여의도, 이촌, 반포, 잠원, 뚝섬, 잠실, 광나루, 구리)을 위주로 분석하였다. 해당 시설의 침수피해를 고려하기 위해 시계열 자료에 특화된 LSTM(Long Short-term Memory)기법을 활용하여 수위예측 알고리즘을 개발하였고 이를 통해 도출된 홍수 예보로 재난을 대비하고 시설물을 체계적으로 관리하는 유지관리의 효과를 분석하고자 하였다. 입력 자료(input data)는 수위 (EL.m), 팔당댐 방류량 (m³/s), 강화대교의 조위(EL.m)를 사용하였으며 수위예측 알고리즘을 통해 6시간 후 예측 수위값을 도출하여 기존 2단계(주의보, 경보)였던 홍수 예보 단계에서 4단계(관심, 보행자통제, 차량통제, 경계)로 구축하였다. 기존과 세분화된 홍수예보를 적용했을 경우의 유지관리 비용과 편익을 산정하여 하천이용시설의 경제성을 비교·분석한 결과, 유지관리 비용이 기존 대비 약 5% 이상 절감되었고 편익은 약 1.5배 이상 증가하였으며 관리등급은 평균 C등급(보통) 이상 달성하였다. 이는 수위예측 알고리즘의 적용으로 하천이용 활성화 및 투자의 효율성에 목적을 두었으며 향후 분석결과를 토대로 경제성모델을 개발하여 국가하천 내 관리그룹에 적용하면 효율적인 유지관리체계를 제시할 수 있을 것으로 기대된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.332-332
• /
• 2021

도시화가 상당히 이뤄지고 기습적인 폭우의 발생이 불확실하게 나타나는 시점에서 재산 및 인명피해를 야기할 수 있는 내수침수에 대한 위험도가 증가하고 있다. 내수침수에 대한 예측을 위하여 실측강우 또는 확률강우량 시나리오를 참조하고 연구대상 지역에 대한 1차원 그리고 2차원 수리학적 해석을 실시하는 연구가 오랫동안 진행되어 왔으나, 수치해석 모형의 경우 다양한 수문-지형학적 자료 및 계측 자료를 요구하고 집약적인 계산과정을 통한 단기간 예측에 어려움이 있음이 언급되어 왔다. 본 연구에서는 위와 같은 문제점을 해결하기 위하여 단일 도시 배수분구를 대상으로 관측 강우 자료, 1, 2차원 수치해석 모형, 기계학습 및 딥러닝 기법을 적용한 실시간 홍수위험지도 예측 모형을 개발하였다. 강우자료에 대하여 실시간으로 홍수량을 예측할 수 있도록 LSTM(Long-Short Term Memory) 기법을 적용하였으며, 전국단위 강우에 대한 다양한 1차원 도시유출해석 결과를 학습시킴으로써 예측을 수행하였다. 침수심의 공간적 분포의 경우 로지스틱 회귀를 이용하여, 기준 침수심에 대한 예측을 각각 수행하였다. 홍수위험 등급의 경우 침수심, 유속 그리고 잔해인자를 고려한 홍수위험등급 공식을 적용하여 산정하였으며, 이 결과를 랜덤포레스트(Random Forest)에 학습함으로써 실시간 예측을 수행할 수 있도록 개발하였다. 침수범위 및 홍수위험등급에 대한 예측은 격자 단위로 이뤄졌으며, 검증 자료의 부족으로 침수 흔적도를 통하여 검증된 2차원 침수해석 결과와 비교함으로써 예측력을 평가하였다. 본 기법은 특정 관측강우 또는 예측강우 자료가 입력되었을 때에, 도시 유역 단위로 접근이 불가하여 통제해야 할 구간을 실시간으로 예측하여 관리할 수 있을 것으로 판단된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.333-333
• /
• 2021

최근 전 지구적인 기후변화 및 온난화의 영향으로 태풍 및 집중호우가 빈번하게 일어나고 있으며, 이로 인한 한천범람 등 홍수재해로 인명 및 재산 피해가 크게 증가하고 있다. 우리나라에서도 태풍 및 집중호우로 인한 호수피해는 매년 발생하고 있으며, 피해 빈도와 강도가 증가하고 있는 실정이다. 이러한 현실을 고려하였을 때에 하천 인근 주민의 생명과 재산을 보호하기 위하여 실시간으로 홍수위 예측을 수행하는 것은 매우 중요하다 할 수 있다. 국내에서 수위예측을 위하여 대표적으로 저류함수모형(Storage Function Model, SFM)을 채택하고 있지만, 유역면적이 작아 홍수 도달시간이 짧은 중소하천에서는 충분한 선행시간과 정확도를 확보하기 어려운 문제점이 있다. 이는 유역면적이 작은 중소하천에서는 유역 및 기상 특성과 관련된 여러 인자 사이의 비선형성이 대하천 유역에 비해 커지는 문제점이 있기 때문이다. 본 연구에서는 위와같은 문제를 해결할 수 있도록, 수문자료와 딥러닝 기법을 적용하여 실시간으로 홍수위를 예측할 수 있는 방법론을 제시하였다. 지난 태풍 및 집중호우로 인하여 급격한 수위상승이 있던 낙동강 지류하천에 대하여 LSTM(Long-Short Term Memory) 모형 기반 실시간 수위예측 모형을 개발하였으며, 선행시간 30~180분 별로 홍수위를 예측하고 관측 수위와 비교함으로써 모형의 적용성을 검증하였다. 선행시간 180분 기준으로 영강 유역 수위예측 결과와 실제 관측치의 평균제곱근 오차는 0.29m, 상관계수는 0.92로 나타났으며, 밀양강 유역의 경우 각각 0.30m, 0.94로 나타났다. 본 연구에서 제시된 딥러닝 기반모형에 10분 단위 실시간 수문자료가 입력된다면, 다음 관측자료가 입력되기 전 홍수예측 결과가 산출되므로 실질적인 홍수예경보체계에 유용하게 사용될 수 있을 것이라 보인다. 모형에 적용할 수 있는 더욱 다양한 수문자료와 매개변수 조정을 통하여 예측결과에 대한 신뢰성을 더욱 높일 수 있다면, 기존의 저류함수모형과 연계하여 홍수대응 능력을 향상시키는데 도움이 될 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.63-63
• /
• 2020

최근 머신러닝 기술의 발전에 따라 비선형 시계열자료에 대한 예측이 가능해졌으며, 기존의 과정기반모형을 대체하여 지하수, 하천수 예측 등 다양한 수문분야에 활용되고 있다. 본 연구에서는 기존의 연구들과 달리 과정기반모형을 이용한 하천수 모의결과를 개선하기 위해 과정기반모형과 결합하는 방식으로 머신러닝 기술을 활용하였다. 머신러닝 기술을 통해 관측값과 모의값 간의 차이를 예측하고 과정기반모형의 모의결과에 반영함으로써 관측값을 정확히 재현할 수 있도록 하는 시스템을 구축하고 평가하였다. 과정기반모형으로는 Weather Research and Forecasting model-Hydrological modeling system (WRF-Hydro)을 소양강 유역을 대상으로 구축하였다. 머신러닝 모형으로는 순환 신경망 중 하나인 Long Short-Term Memory (LSTM) 신경망을 이용하여 장기시계열예측이 가능하게 하였다(WRF-Hydro-LSTM). 머신러닝 모형은 2013년부터 2017년까지의 기상자료 및 유입량 잔차를 이용하여 학습시키고, 2018년 기상자료를 이용하여 예상되는 유입량 잔차를 모의하였다. 모의된 잔차를 WRF-Hydro 모의결과에 반영시켜 최종 유입량 모의값을 보정하였다. 또한, 연구에서 제안된 새로운 방법론의 성능을 비교평가하기 위해 머신러닝 단독 모형으로 유입량을 학습 후 모의하였다(LSTM-only). 상관계수와 Nash-Sutcliffe 효율계수(NSE)를 사용해 평가한 결과, LSTM을 이용한 두 방법(WRF-Hydro-LSTM과 LSTM-only) 모두 기존의 과정기반모형(WRF-Hydro-only)에 비해 높은 정확도의 하천수 모의가 가능했으며, PBIAS 지수를 사용하여 평가한 결과, LSTM을 단독으로 사용하였을 때보다 WRF-Hydro와 결합했을 때 더 관측값과 가까운 모의가 가능함을 확인할 수 있었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.128-128
• /
• 2020

최근 농업환경의 변화와 기후변화에 대응하기 위해 농업용수 관리 정보화 및 과학화의 필요성이 증대되어 실시간으로 저수지 저수량과 농업용수 공급량을 파악하기 위해 자동 수위계측시설이 도입되었다. 농림축산식품부의 저수지 자동수위측정기 설치 및 운영지침에 따라 현재 농어촌공사 관리 저수지 1,734개소 및 수로부 1,880개소에 자동수위계가 설치되어 있으며, 저수지와 수로에서 10분 간격으로 수위자료가 생성되고 있다. 농업용 저수지 수문자료의 공인지점은 2016년 6개소에서 2019년 49개소로 증대되고 있으며, 데이터 품질 저하의 최소화 및 신뢰성 있는 수문자료 생성의 필요성이 증가함에 따라 농업용 저수지의 특성을 반영한 저수지 수위 오결측 데이터 보정 방안 및 수문 자료 품질관리 방안이 요구된다. 농업용 저수지의 수위 변화 및 강우-유출 현상은 물리적 모형을 구축하여 기상, 지형 등 영향 인자와 수위(또는 유출)와의 상관관계를 분석하는 것은 무적으로 불가능하였지만, 최근 인공신경망 (Artificial Neural Network, ANN) 등과 같이 black-box 형태의 모형을 이용하여 비선형적인 수문해석이 가능해졌다. 본 연구에서는 빅데이터와 인공신경망을 결합시킨 알고리즘인 딥러닝 (Deep Learning) 기반의 LSTM (Long Short-Term Memory) 모형을 활용하여 농업용 저수지 수위자료를 검토하여 자동계측기에서 발생하는 오류 보정을 위해 품질관리 방안을 제시하고자 한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.86-86
• /
• 2021

온천천은 부산광역시 금정구, 동래구, 연제구를 흐르는 도심 하천으로 부산 시민들의 도심 속 산책길, 자전거 길 등으로 활용되는 도시하천이다. 그러나 온천천 양안의 동래 곡저 평야가 시가지화 되고 온천천 발원지인 금정산 주변에서 무허가 상수도를 사용하고 각종 쓰레기와 하수의 유입으로 인해 하천 전체가 하수관으로 변해왔다. 이에 따라 부산광역시는 온천천 정비 계획을 시행하여 하천 정비와 함께 자동측정망을 설치하여 하천의 DO (dissolved oxygen), 탁도, TDS농도 등 자료를 수집하고 있다. 그러나 자동측정망으로 쌓여가는 데이터를 활용하여 DO농도 예측은 거의 이뤄지지 않고 있다. DO는 하천의 수질 오염 정도를 판단하는 수질인자로 역사적으로 하천 연구의 주요 연구 대상이 되어 왔다. 본 연구에서는 일 자료 뿐만 아니라 시 자료를 기반으로 RNN-LSTM 알고리즘을 활용한 DO예측을 시도하였다. RNN-LSTM은 시계열 학습에 뛰어난 알고리즘으로 인공신경망의 발전된 형태인 순환신경망이다. 연구에 앞서 부산광역시 보건환경정보 공개시스템으로부터 받은 자료 중에서 교정, 보수 중, 비사용, 장비전원단절 등으로 인해 누락데이터를 2014년 1월 1일부터 2018년 12월 31일의 데이터 전수조사 후 이상데이터를 확인하여 선형 보간하여 데이터를 사용하였다. 연구에서는 Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하여 부산광역시 금정구 부곡동에 위치한 부곡교 관측소의 DO농도를 시간 또는 일 예측을 하였다. 일 예측 학습에는 2014년~ 2018년의 기상자료(기온, 상대습도, 풍속, 강수량), DO농도 자료를 사용하였고, 시 예측 학습에는 연속된 자료가 가장 많은 2015년 3월 ~ 12월까지의 데이터를 활용하여 연구를 진행하였다. 모형의 검증을 위해 결정계수(R square)를 이용하여 통계분석을 실시하였다.

• Structural Engineering and Mechanics
• /
• v.85 no.4
• /
• pp.469-484
• /
• 2023

A deep recursive bidirectional Cuda Deep Neural Network Long Short Term Memory (Bi-CuDNNLSTM) layer is recruited in this paper to predict the entire force time histories, and the corresponding hysteresis and backbone curves of reinforced concrete (RC) bridge piers using experimental fast and slow cyclic tests. The proposed stacked Bi-CuDNNLSTM layers involve multiple uncertain input variables, including horizontal actuator displacements, vertical actuators axial loads, the effective height of the bridge pier, the moment of inertia, and mass. The functional application programming interface in the Keras Python library is utilized to develop a deep learning model considering all the above various input attributes. To have a robust and reliable prediction, the dataset for both the fast and slow cyclic tests is split into three mutually exclusive subsets of training, validation, and testing (unseen). The whole datasets include 17 RC bridge piers tested experimentally ten for fast and seven for slow cyclic tests. The results bring to light that the mean absolute error, as a loss function, is monotonically decreased to zero for both the training and validation datasets after 5000 epochs, and a high level of correlation is observed between the predicted and the experimentally measured values of the force time histories for all the datasets, more than 90%. It can be concluded that the maximum mean of the normalized error, obtained through Box-Whisker plot and Gaussian distribution of normalized error, associated with unseen data is about 10% and 3% for the fast and slow cyclic tests, respectively. In recapitulation, it brings to an end that the stacked Bi-CuDNNLSTM layer implemented in this study has a myriad of benefits in reducing the time and experimental costs for conducting new fast and slow cyclic tests in the future and results in a fast and accurate insight into hysteretic behavior of bridge piers.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.62-62
• /
• 2022

홍수 예보를 위한 강우-유출 분석에서 정확한 예측 강우량 정보는 매우 중요한 인자이다. 이에 따라 강우 예측을 위하여 다양한 연구들이 수행되고 있지만 시·공간적으로 비균일한 특성 또는 변동성을 가진 강우를 정확하게 예측하는 것은 여전히 난제이다. 본 연구에서는 딥러닝 기반 ConvLSTM (Convolutinal Long Short-Term Memory) 모형을 사용하여 위성 강수 자료의 단기 예측을 수행하고 그 정확성을 분석하고자 한다. 대상유역은 메콩강 유역이며, 유역 면적이 넓고 강우 관측소의 밀도가 낮아 시·공간적 강우량 추정에 한계가 있으므로 정확한 강우-유출 분석을 위하여 위성 강수 자료의 활용이 요구된다. 현재 TRMM, GSMaP, PERSIANN 등 많은 위성 강수 자료들이 제공되고 있으며, 우선적으로 ConvLSTM 모형의 강수 예측 활용가능성 평가를 위한 입력자료로 가장 보편적으로 활용되는 TRMM_3B42 자료를 선정하였다. 해당 자료의 특성으로 공간해상도는 0.25°, 시간해상도는 일자료이며, 2001년부터 2015년의 자료를 수집하였다. 모형의 평가를 위하여 2001년부터 2013년 자료는 학습, 2014년 자료는 검증, 2015년 자료는 예측에 사용하였다. 또한 민감도 분석을 통하여 ConvLSTM 모형의 최적 매개변수를 추정하고 이를 기반으로 선행시간(lead time) 1일, 2일, 3일의 위성 강수 예측을 수행하였다. 그 결과 선행시간이 길어질수록 그 오차는 증가하지만, 전반적으로 3가지 선행시간 모두 자료의 강수량뿐만 아니라 공간적 분포까지 우수하게 예측되었다. 따라서 2차원 시계열 자료의 특성을 기억하고 이를 예측에 반영할 수 있는 ConvLSTM 모형은 메콩강과 같은 미계측 대유역에서의 안정적인 예측 강수량 정보를 제공할 수 있으며 홍수 예보를 위한 강우-유출 분석에 활용이 가능할 것으로 판단된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2022.05a
• /
• pp.117-117
• /
• 2022

범지구적인 기후변화로 인하여 도시유역의 국지성 집중호우가 빈번히 발생하고 기상이변 현상이 빈번하게 발생하고 있다. 이로 인해 도시지역의 침수 등의 자연재해 증가로 인명 및 재산피해가 발생하고 있다. 이에 따라 하수도의 제 기능을 수행하고 있다면 문제가 없지만 이상기후로 인한 기록적인 폭우에 의해 침수가 발생하고 있다. 홍수 및 집중호우와 같은 극치사상의 발생빈도가 증가됨에 따라 강우사상의 변동에 따른 하수관로의 수위를 예측하고 침수에 대해 대처하기 위해 과거 수위에 따른 수위 예측은 중요할 것으로 판단된다. 본 연구에서는 서울 열린데이터 광장에서 제공하는 서울시 하수관로 수위 현황 자료를 활용하여 하수관로 수위 예측을 확인해 보았다. 대상자료는 서울특별시 강동구에 위치한 하수관로 수위 자료로, 서울 열린데이터 광장에서 제공하고 있는 2012년 ~ 2020년 25개 구 데이터 중 가장 누락데이터가 적은 자료를 활용하여 연구를 진행하였다. 하수관로 수위 예측에는 딥러닝 알고리즘RNN-LSTM 알고리즘을 활용하였으며, RNN-LSTM 알고리즘은 하천의 수위 예측에 우수한 성능을 보여준 바 있다. 하수관로 수위 예측에 앞서 1분 단위로 수집된 수위 데이터를 5분 평균, 5분 스킵자료, 10분 평균, 10분 스킵 등 비교를 위해 데이터를 구분하여 학습에 활용하였으며, 데이터 분석을 위해 하수관로 수위값 변동이 심한 1주일을 선정하여 분석을 실시하였다. 연구에는Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하였으며, 하수관로 수위 고유번호 25-0001을 대상으로 예측을 하였다. 학습에는 2012년 ~ 2018년의 하수관로 수위 자료를 활용하였으며, 모형의 검증을 위해 결정계수(R square)를 이용하여 통계분석을 실시하였다.