• 제목/요약/키워드: 하이퍼 매개변수

검색결과 18건 처리시간 0.028초

정확한 댐유입량 예측을 위한 SWLSTM 개발 (Accurate dam inflow predictions using SWLSTM)

  • 김종호;쩐득충
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.292-292
    • /
    • 2021
  • 최근 데이터 과학의 획기적인 발전으로 딥러닝(Deep Learning) 알고리즘이 개발되어 다양한 분야에 널리 적용되고 있다. 본 연구에서는 인공신경망 중 하나인 LSTM(Long-Short Term Memory) 네트워크를 기반으로 정확한 댐유입량 예측을 수행하는 SWLSTM 모델을 제안하였다. SWLSM은 모델의 정확도를 개선하기 위해 세 가지 주요 아이디어를 채택하였다. (1) 통계적 속성 (PACF) 및 교차 상관 함수(CCF)를 사용하여 적절한 입력 변수와 시퀀스 길이를 결정하였다. (2) 선택된 입력 예측 변수 시계열을 웨이블릿 변환(WT)을 사용하여 하위 시계열로 분해한다. (3) k-folds cross validation 및 random search 기법을 사용하여 LSTM의 하이퍼 매개변수들을 효율적으로 최적화하고 검증한다. 제안된 SWLSTM의 효과는 한강 유역 5개 댐의 시단위/일단위/월단위 유입량을 예측하고 과거 자료와 비교함으로써 검증하였다. 모델의 정확도는 다양한 평가 메트릭(R2, NSE, MAE, PE)이 사용하였으며, SWLSTM은 모든 경우에서 LSTM 모델을 능가하였다. (평가 지표는 약 30 ~ 80 % 더 나은 성능을 보여줌). 본 연구의 결과로부터, 올바른 입력 변수와 시퀀스 길이의 선택이 모델 학습의 효율성을 높이고 노이즈를 줄이는 데 효과적임을 확인하였다. WT는 홍수 첨두와 같은 극단적인 값을 예측하는 데 도움이 된다. k-folds cross validation 및 random search 기법을 사용하면 모델의 하이퍼 매개변수를 효율적으로 설정할 수 있다. 본 연구로부터 댐 유입량을 정확하게 예측한다면 정책 입안자와 운영자가 저수지 운영, 계획 및 관리에 도움이 될 것이다.

  • PDF

LSTM을 이용한 한강유역 댐유입량 예측 (Predictions of dam inflow on Han-river basin using LSTM)

  • 김종호;쩐득충
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.319-319
    • /
    • 2020
  • 최근 데이터 과학의 획기적인 발전 덕분에 딥러닝 (Deep Learning) 알고리즘이 개발되어 다양한 분야에 널리 적용되고 있다. 본 연구에서는 인공신경망 중 하나인 LSTM(Long-Short Term Memory) 네트워크를 사용하여 댐 유입량을 예측하였다. 구체적인 내용으로, (1) LSTM에 필요한 입력 데이터를 효율적으로 사전 처리하는 방법, (2) LSTM의 하이퍼 매개변수를 결정하는 방법 및 (3) 다양한 손실 함수(Loss function)를 선택하고 그 영향을 평가하는 방법 등을 다루었다. 제안된 LSTM 모델은 강우량(R), 댐유입량(Q) 기온(T), 기저유량(BF) 등을 포함한 다양한 입력 변수들의 함수로 가정하였으며, CCF(Cross Correlations), ACF(Autocorrelations) 및 PACF(Partial Autocorrelations) 등의 기법을 사용하여 입력 변수를 결정하였다. 다양한 sequence length를 갖는 (즉 t, t-1, … t-n의 시간 지연을 갖는) 입력 변수를 적용하여 데이터 학습에 최적의 시퀀스 길이를 결정하였다. LSTM 네트워크 모델을 적용하여 2014년부터 2020년까지 한강 유역 9개의 댐 유입량을 추정하였다. 본 연구로부터 댐 유입량을 예측하는 것은 홍수 및 가뭄 통제를 위한 필수 요건들 중 하나이며 수자원 계획 및 관리에 도움이 될 것이다.

  • PDF

집중형 수문모형에 대한 앙상블 칼만필터와 파티클 필터의 수문자료동화 특성 비교 (Comparative assessment of ensemble kalman filtering and particle filtering for lumped hydrologic modeling)

  • 이가림;김보미;이송희;노성진
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.233-233
    • /
    • 2023
  • 효율적인 수자원 관리에 필수적인 요소 중 하나는 유역 유출의 정확한 예측이다. 동일한 유역이라 할지라도 과거 기후조건에 대해 매개변수나 모형구조가 최적화된 수문모형은 현재나 미래 기후에 대해 최적이라 할수 없으며, 이에 따라 유역 유출 해석의 불확실성 또한 증가하고 있다. 수문자료동화는 모형의 입력 자료에 따른 불확실성을 줄이고 예측정확도를 향상 시킬 수 있는 방법으로, 수문모형의 상태량이나 매개변수를 업데이트하여 모형 초기 조건의 가능성 높은 추정치를 생성하는 기법이다. 본 연구에서는 국내 댐 상류 유역에 대해 집중형 수문모형과 순차자료동화 기법의 연계 패키지인 airGRdatassim 모형을 적용하여, 앙상블 칼만 필터와 파티클 필터 기법의 수문자료동화 특성을 비교 분석하고, 자료동화와 관련된 하이퍼-매개변수의 불확실성이 수문모의 성능에 미치는 영향을 분석하였다. 자료동화 적용 결과, 두 자료동화 기법 중 파티클 필터에 의한 모의성능이 높았으며 기상강제력 노이즈의 범위, 갱신 대상 상태량 설정, 앙상블 설정 등 수문자료동화의 설정과 관련된 하이퍼 매개변수의 불확실성은 두 기법별 뚜렷한 차이를 보였다. 또한, 본 연구에서는 일단위에서 시단위로 확장한 유량 예측 자료동화의 시험 모의결과 및 앙상블 수문동화기법의 도전과제에 대해서도 논의한다.

  • PDF

페널티 적용 최대 우도 평가를 통한 기저 스크리닝 기반 크리깅 모델 개선 (Improvement of Basis-Screening-Based Dynamic Kriging Model Using Penalized Maximum Likelihood Estimation)

  • 김민근;김재승;한정우;이근호
    • 한국전산구조공학회논문집
    • /
    • 제36권6호
    • /
    • pp.391-398
    • /
    • 2023
  • 본 논문에서는 기저 스크리닝 기반 크리깅 모델(BSKM: Basis Screening based Kriging Model) 생성의 정확도를 높이기 위해 페널티를 적용한 최대 우도 평가 방법(PMLE : Penalized Maximum Likelihood Estimation)에 대해서 소개한다. BSKM에서 사용하는 기저함수의 최대 차수와 종류는 그 중요도에 따라서 결정하게 되며, 이때 중요도의 지표는 기저함수에 대한 교차 검증 오차(CVE : Cross Validation Error)로 택한다. 크리깅 모델(KM : Kriging Model) 구성시 최적의 기저함수 조합은 우선 최대 기저함수 차수를 선택하고 개별 기저함수의 중요도를 평가를 하게 된다. 최적 기저함수 조합은 크리깅 모델의 CVE가 최소가 될 때까지 개별 기저함수의 중요도가 높은 순으로 기저함수를 하나씩 추가하며 찾는다. 이 과정에서 KM은 반복적으로 생성해야 하며, 동시에 데이터 사이의 상관관계를 나타내는 하이퍼 매개변수(Hyper-parameters)도 최대 우도 평가방법을 통해 계산하여야 한다. 하이퍼 매개변수의 값에 따라 선택되는 최적의 기저함수 조합이 달라지기 때문에 KM의 정확도에 막대한 영향을 미치게 된다. 정확한 하이퍼 매개변수를 계산하기 위해서 PMLE 방법을 적용하였으며, Branin-Hoo 함수 문제에 적용하여 BSKM 의 정확성이 개선될 수 있음을 확인하였다.

대체모형을 이용한 자료동화기법 개발 (Development of data assimilation technique using a surrogate model)

  • 김종호;쩐옥빈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.381-381
    • /
    • 2020
  • 자료동화(Data Assimilation) 기법은 실시간 수문학적 예측에 있어 정확도 향상을 위해 필수적인 과정이다. 가장 대중적으로 사용되는 기법들 중 하나가 모델 상태변수와 매개변수를 동시에 업데이트할 수 있는 이중 앙상블 칼만 필터(Dual Ensemble Kalman Filter)이다. 이 방법은 정확도 개선 및 적용의 용이성 때문에 많은 연구 분야에서 사용되어져 왔지만, 앙상블을 생성하는 과정에서 상당시간이 소요되는 단점이 존재한다. 본 연구에서는 상태변수와 매개변수를 동시에 업데이트 하면서 홍수 예측의 정확성을 보장할 뿐만 아니라, 앙상블 생성에 있어 계산 효율을 크게 향상시킬 수 있는 기법을 제안한다. Polynomial Chaos Expansion(PCE) 기법을 사용하여 앙상블 칼만 필터를 모방(mimic)할 수 있는 새로운 대체필터(Surrogate Filter)를 개발하는 것을 목표로 한다. 구체적으로 대체필터를 구성하기 위한 다양한 필터를 설계하였다. 첫째 시간에 대해서 PCE가 변화하지 않는 '불변 필터'(즉, 전체 예측기간에 대해 하나의 필터를 사용하여 자료동화할 수 있는 대체필터)와, 매 시간마다 PCE가 변화하는 '시변 필터'(즉, 예측하는 매 시간마다 새로운 필터를 생성해야 하는 대체필터)를 설계하여 적용성, 정확성, 예측성 등을 비교하였다. 또한, PCE의 하이퍼 매개변수를 최적화하기 위한 최적의 프레임 워크가 제안되어, 대체필터를 구축하는 데 효율을 높이고 PCE의 과적합(overfitting) 현상을 피할 수 있도록 하였다. 본 연구에서 제안된 기법은 기존 단일 및 이중 앙상블 칼만 필터(EnKF)의 결과와 비교 검증하였으며, 그 결과는 다음과 같다. (1) 대체필터의 대부분은 원래 EnKF와 비슷한 정도의 불확실성을 설명할 수 있음; (2) 모든 대체 필터는 선행시간이 짧은 경우의 예측에 있어 우수한 결과를 제공하며, 시변 필터가 불변 필터보다 더 정확한 예측 결과를 제공함; (3) 대체필터는 원래 앙상블 칼만필터보다 최대 500배 빠른 속도로 성능을 향상시킬 수 있음. 제안된 대체필터는 자료동화를 수행하는 기존필터와 비슷한 정도의 정확성, 매우 향상된 효율성을 보장함을 확인할 수 있었다.

  • PDF

산림지역의 항공기 탑재 하이퍼스펙트럴 영상에 대한 식생-Endmember와 식생지수의 상관 분석 (Correlation Analysis with Vegetation Indices and Vegetation-Endmembers From Airborne Hyperspectral Data in Forest Area)

  • 김태우;위광재;서용철
    • 한국지리정보학회지
    • /
    • 제15권3호
    • /
    • pp.52-65
    • /
    • 2012
  • 작물과 산림을 포함한 식생에 대한 순1차 생산(net primary production, NPP)와 총1차 생산(gross primary production, GPP)은 바이오매스와 식생의 탄소저장과 밀접한 관련이 있으며, 원격탐사를 이용해 바이오매스를 추정하는 많은 노력이 이루어지고 있다. 바이오매스는 광합성에 매우 중요한 요소인 클로로필(엽록소)의 총 함유량으로 추정할 수 있는데, 클로로필을 추정하기 위해서 다양한 식생지수들이 개발되었다. 식생지수들은 개발에 사용된 식생의 종류와 원격탐사 데이터에 따라 조금씩 차이를 가지고 있다. 하이퍼스펙트럴 영상은 다중분광 영상에 비하여 세분화된 각 파장대마다 물질에 따른 반사 및 흡수 특성이 다르기 때문에, 기존의 식생지수를 그대로 사용하기에 무리가 따른다. 본 연구는 항공기 탑재 하이퍼스펙트럴 영상을 이용하여 산림에 대한 바이오매스 추정을 위한 매개변수로 활용되는 적합한 식생지수는 무엇인지 평가하는 것을 목적으로 한다. 이를 위해 하이퍼스펙트럴 영상의 밴드 특성을 고려하여 다수의 식생지수 산출식 중 9개를 선정하고, SMA(spectral mixture analysis)를 통하여 대상지역의 산림을 대표하는 3개의 endmember를 추출하였다. 9개의 식생지수와 추출된 endmembers의 상관관계를 분석하였다. 상관분석 결과는 산림이 분포된 지역에서 Pearson 상관계수는 MTVI1과 TVI가 0.877의 상관계수를 가졌으며, 식생이 적고 토양의 분포가 확연한 지역에서는 MCARI가 0.9061로 매우 높은 상관계수를 보였다. 전반적으로 MTVI1과 TVI이 0.757의 동일한 상관계수를 가지며 식생에 대한 3개의 endmember를 가장 잘 설명하는 것으로 나타났다.

와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발 (Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning)

  • 지홍근;이태기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.763-766
    • /
    • 2019
  • 최근 사람들의 삶의 질이 향상됨에 따라 기호품인 와인의 수요가 늘어나고 있다. 그러나 와인은 생산하는데 길게는 수십 년이 걸리는 고가의 제품이므로 소비자가 와인과 잘못 구매했을 때의 기회비용이 크다. 본 논문에서는 전문 와인 테이스터 들의 후기 빅 데이터를 활용하여 딥러닝 기반 추천시스템을 개발을 다룬다. 테이스터 들의 후기 빅 데이터에 대해 Apache Pig와 자연어 처리를 통한 전 처리 과정을 수행해 리뷰 별로 특징 벡터를 구성하고, 하이퍼 매개변수 최적화와 조기 종료 기법을 사용해 데이터에 대하여 최적의 딥러닝 분류기를 구성하였다. 마지막으로, 구성된 시스템의 신뢰도를 검증하기 위해서 딥러닝의 정확도와 오차율을 확인하였고 시스템이 추천한 와인을 시각화 이미지와 비교하여 성능을 검증하였다.

기후변화 및 기후변동성을 고려한 LSTM 모형 기반 유입량 예측 (LSTM model predictions of inflow considering climate change and climate variability)

  • 권지환;김종호
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.348-348
    • /
    • 2022
  • 미래에 대한 기후는 과거와 비교하여 변동성이 더 크고 불확실성 또한 더 크기 때문에 미래의 기후변화를 예측하기 위해서는 기후변화의 절대적인 크기뿐 아니라 불확실한 정도도 함께 고려되어야 한다. 본 연구에서는 CMIP6(Coupled Model Intercomparison Project Phase 6) DB에서 제공된 일 단위 18개의 GCMs(General Circulation Models)의 결과를 분석하였으며 또한 3개의SSP(Shared Socioeconomic Pathway)시나리오와 3개의 미래 구간에 대하여 100개의 앙상블을 각각 생성하였다. 불확실성을 초래하는 원인을 3가지로 구분하고, 각각의 원인에 대한 불확실성의 정도를 앙상블 시나리오에 반영하고자 한다. 현재 기간 및 미래 기간에 대해 100개의 20년 시계열 날씨변수 앙상블을 생성하여 LSTM(Long short-term memory)의 입력자료로 사용하여 댐유입량, 저수위, 방류량을 산정하였다. 댐 유입량 및 방류량의 예측성능을 향상시키기 위해 Input predictor의 종류를 선정하는 방법과 그 변수들의 lag time을 결정하는 방법, 입력자료들을 재구성하는 방법, 하이퍼 매개변수를 효율적으로 최적화하는 방법, 목적함수 설정 방법들을 제시하여 댐 유입량 및 방류량의 예측을 크게 향상시키고자 하였다. 본 연구에서 예측된 미래의 댐유입량 및 방류량 정보는 홍수 또는 가뭄 등 다양한 수자원 관련 문제의 전략을 수립하는 데 있어서 적절한 도움이 될 것이다.

  • PDF

머신러닝 기반 I형 곡선 거더 단경간 교량 지진 취약도 분석 (Seismic Fragility of I-Shape Curved Steel Girder Bridge using Machine Learning Method)

  • 전준태;주부석;손호영
    • 한국재난정보학회 논문집
    • /
    • 제18권4호
    • /
    • pp.899-907
    • /
    • 2022
  • 연구목적: 기계학습법을 이용하여 일반적인 직선 교량의 지진 취약도 분석 연구는 다수 수행되었으나 곡선 교량 구조물에 대한 연구 사례는 미미하다. 따라서 본 연구의 목적은 기계학습법 기반 I형 곡선 거더를 갖는 교량의 재료 특성 및 기하학적 불확실성을 고려한 지진 취약도 분석하는 것이다. 연구방법: 강재 및 콘크리트의 재료 특성과 교각의 높이를 불확실성 매개변수로 고려하였다. 라틴하이퍼큐브 기법을 이용하여 매개변수를 샘플링하였으며 지진파의 불확실성을 고려하여 시간이력해석을 수행하였다. 해석결과를 원본데이터로 인공신경망, 반응표면분석법을 적용하여 학습 데이터를 생성하였다. 최종적으로 원본 데이터 및 학습데이터를 이용하여 지진 취약도 분석을 수행하였다. 연구결과: 라틴하이퍼큐브 기법을 이용하여 매개변수를 샘플링하였으며 지진파의 불확실성을 고려하여 총 160회의 시간 이력해석을 수행하였다. 해석결과와 기계학습을 통해 얻어진 예측 값을 비교하였으며 두 값의 유사도를 비교하기 위해 결정계수를 비교하였다. 반응표변분석법의 결정계수가 0.737로 비교적 관측 값과 유사한 것으로 나타났다. 지진 취약도 곡선도 반응표면 분석법을 통해 예측된 값이 관측 값과 유사한 것으로 나타났다. 결론: 본 연구에서 유한요소 해석을 통해 관측된 값과 기계학습법을 통해 예측된 값을 비교하였을 때 반응표면 분석법이 관측값과 유사한 결과를 예측하는 것으로 나타났다. 하지만 두 가지 기계학습법 모두 관측 값에 비해 과소평가되는 것으로 나타났다.

지진하중을 받는 RC 박스터널의 확률론적 취약도 평가기법 (A probabilistic fragility evaluation method of a RC box tunnel subjected to earthquake loadings)

  • 허정원;리 타이손;강충현;곽기석;박인준
    • 한국터널지하공간학회 논문집
    • /
    • 제19권2호
    • /
    • pp.143-159
    • /
    • 2017
  • 지진하중으로 초래되는 지하터널 구조물의 손상에 대한 위험도를 예측하기 위해 이 논문에서 확률론적 취약도 평가절차를 개발하였다. 특히 지진취약도 평가에 필수 요소인 취약도곡선의 유도를 위하여 단순화된 방법론을 정립하는 데 중점을 두었다. 지반-구조물상호작용(SSI) 효과를 고려한 구조물의 동적응답거동을 추정하기 위해서 지중구조물에 대한 지반응답가속도법(GRAMBS)을 제안기법에 적용하였다. 또한, 푸시오버 해석을 통해 터널의 손상상태를 정의하고 라틴하이퍼큐브 샘플링(LHS) 기법을 사용하여 설계변수와 관련된 불확실성을 고려하였다. 적용된 기법의 개념을 보다 상세하게 설명하기 위하여 설계스펙트럼을 만족하도록 생성된 다수의 인공지진운동에 대해 수치해석을 수행하고 취약도곡선을 개발하였다. 두 매개변수 대수정규분포 함수로 지진 취약도곡선을 표현하는데, 여기서 두 매개변수인 중앙값과 대수표준편차는 최우추정(MLE)법을 사용하여 산정하였다.