• 제목/요약/키워드: 결측치 보완

검색결과 16건 처리시간 0.031초

주기성을 갖는 탁도자료의 결측치 보완 기법 (Filling Method for Missing Turbidity Data having Periodicity)

  • 백경오;조홍연;이삼희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.1546-1550
    • /
    • 2006
  • 한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 새로운 결측치 보완기법을 개발하였다. 개발된 기법, 일명 면적비법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 면적비법과 기존의 최소제곱법을 검증하기 위해 결측치가 없는 정상적인 자료에 적용해 보면, 두 방법 모두 첨두치를 약간 과소 산정하는 경향이 있었다. 하지만 면적비법의 경우, 원자료의 총 면적과 보완자료의 총 면적간의 차이가 거의 없었다. 이 방법들을 한강 하구부에서 관측된 탁도자료에 적용해 본 결과, 면적비법은 합리적으로 결측치를 보완하는 반면, 최소제곱법은 보완자료의 총면적이 원자료에 비해 작아지는 오류가 발생하였다. 따라서 최소제곱법에 비해 면적비법이 결측치 보완에 더 우수한 결과를 제공함을 알 수 있었다. 본 연구에서 개발한 면적비법은 주기성이 뚜렷한 시계열자료의 결측치 보완에 유용하게 쓰일 수 있으리라 기대된다.

  • PDF

효과적인 결측치 보완을 통한 다층 퍼셉트론 기반의 전력수요 예측 기법 (A Multilayer Perceptron-Based Electric Load Forecasting Scheme via Effective Recovering Missing Data)

  • 문지훈;박성우;황인준
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권2호
    • /
    • pp.67-78
    • /
    • 2019
  • 정확한 전력수요 예측은 스마트 그리드의 효율적인 운영에 있어 매우 중요하다. 최근 IT 기술이 획기적으로 발전되면서, 인공지능 기법을 이용한 빅 데이터 처리를 기반으로 정확한 전력수요를 예측하는 많은 연구가 진행되고 있다. 이러한 예측 모델은 주로 외부 요인과 과거 전력수요를 독립 변수로 사용한다. 하지만, 다양한 내부적 또는 외부적 원인으로 전력수요 데이터의 결측치가 발생하게 되면 정확한 예측 모델을 구성하기가 어렵다. 이에 본 논문에서는 랜덤 포레스트 기반의 결측치 데이터 보완 기법을 제안하고, 보완된 데이터를 기반으로 한 다층 퍼셉트론 기반의 전력수요 예측 모델을 구성한다. 다양한 실험을 통해 제안된 기법의 예측 성능을 입증한다.

한강 하구부에서 결측된 탁도 자료의 보완 (Filling Analysis for Missing Turbidity Data in Han River Estuary)

  • 백경오;조홍연;이삼희
    • 한국수자원학회논문집
    • /
    • 제39권4호
    • /
    • pp.289-298
    • /
    • 2006
  • 한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 본 연구에서는 새로운 결측치 보완기법을 개발하였다. 개발된 기법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 이 기법을 결측되지 않은 정상적인 자료로 검증해 보면, 첨두치가 약간 과소 산정되는 경향이 있으나 총 면적은 보완 전, 후에 거의 차이가 없었다. 따라서 새로운 기법을 바탕으로 한강 하구부에서 관측된 탁도자료의 결측치를 합리적으로 보완할 수 있었다.

기상 데이터에서 대기 오염도 요소의 결측치 보완 기법 제안 (Proposal to Supplement the Missing Values of Air Pollution Levels in Meteorological Dataset)

  • 조동철;한희일
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.181-187
    • /
    • 2021
  • 최근 들어 대기오염으로 인한 피해를 줄이기 위하여 다양한 대기오염 요소를 측정, 분석하고 있다. 이 과정에서 다양한 원인으로 인하여 적지 않은 결측치가 발생한다. 이를 보완하기 위해서는 방대한 크기의 학습 데이터를 필요로 한다. 본 논문에서는 적은 양의 학습 데이터를 이용하여 오존, 이산화탄소, 초미세먼지 등을 측정하는 과정에서 발생하는 결측치를 효과적으로 보완하는 통계적 기법을 제안한다. 제안 알고리즘은 우선 기상데이터와 대기오염도 요소 간의 상관관계, p-값 등의 통계정보 분석을 통해 결측치 보완에 긍정적인 영향을 줄 것이라 예상되는 기상데이터 그룹을 추출한 다음, 이들을 분석하여 효율적이고 효과적으로 결측치를 보완하는 기법이다. 제안 알고리즘의 성능을 확인하기 위하여 다양한 실험을 통하여 널리 알려진 대표적인 알고리즘들과 그 특성을 비교분석한다.

적응형 뉴로-퍼지 기법을 이용한 수문자료 결측치 추정에 관한 연구 (A Study on the Estimation of Missing Hydrological Data Using Adaptive Network-based Fuzzy Inference System(ANFIS))

  • 신희재;이태희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.264-264
    • /
    • 2020
  • 최근 기후변화로 우리나라는 과거에 비해 태풍이나 국지성 집중호우 및 가뭄 등 극심한 수문현상이 빈번하게 발생하고 그 피해가 더욱 커지고 있는 추세이다. 특히 우리나라의 경우 산지가 많으며 대부분의 하천이 유역면적이 작고 유로연장이 짧아 단시간에 유출이 발생하며 수문학적 특성이 연중 큰 편차를 보이고 있다. 이러한 이상기후에 따른 수문현상 파악 및 피해 경감을 위해 신뢰성 있는 수문자료는 매우 중요하다. 따라서 수문자료에 대한 품질관리는 필수적이지만 자료 결측 및 오측에 대한 신뢰성 높은 품질관리가 이뤄지지 못하고 있는 실정이다. 현재 수위자료의 결측이 발생한 경우 해당 관측소의 수위 자료를 사용해 선형보간 및 운형자법으로 수정하거나 상·하류 관측소의 관계를 이용하여 회귀분석을 통해 자료 결측의 수정 및 보완을 수행하는 등 담당자의 주관적 판단에 의존하고 있다. 본 논문에서는 신뢰성 높은 수문자료의 결측치 보완 및 예측을 위한 방안을 제시하고자 상류의 관측소의 수문자료를 이용한 하류의 단시간 수문 자료예측에 관한 연구를 수행하였다. 이를 위해 자료지향형 모델인 적응형 뉴로-퍼지 기법(Adaptive Network-based Fuzzy Inference System, ANFIS)을 이용한 모형을 적용하였다. 기존의 연구에서 가장 일반적으로 사용되는 물리적 모형은 수문자료를 활용하여 수위 및 유출을 산정함에 있어 매개변수의 결정이 어렵고 많은 오차들을 내포하고 있다. 본 연구에서 사용한 ANFIS는 입력자료와 출력자료만을 고려하여 구축할 수 있기 때문에 자료 수집단계에서 유역의 물리적 자료 및 지형 자료와 같은 방대한 양의 자료 수집이 필요가 없다. 이후 모형이 구축이 된다면 입·출력 자료만을 이용하여 신뢰성 높은 결과를 획득할 수 있지만 입력 자료의 품질에 따라 결과가 좌우되기 때문에 자료의 구성이 매우 중요하다. 본 연구에서는 ANFIS를 통해 무주남대천 유역의 무주군(여의교) 관측소의 수위자료를 입력자료를 사용하여 하류에 위치한 무주군(취수장) 관측소의 수문자료의 결측 보완 및 예측하는 모형을 구축하고 모형의 구조 변화를 통해 가장 정확도 높은 모형을 결정하였다.

  • PDF

Weighted k-Nearest Neighbors를 이용한 결측치 대치 (On the Use of Weighted k-Nearest Neighbors for Missing Value Imputation)

  • 임찬희;김동재
    • 응용통계연구
    • /
    • 제28권1호
    • /
    • pp.23-31
    • /
    • 2015
  • 통계적 분석을 할 때 결측치가 발생하는 것은 매우 통상적이다. 이러한 결측치를 대치하는 방법은 여러가지가 있으며, 기존에 사용되는 단일대치법으로 k-nearest neighbor(KNN) 방법이 있다. 하지만 KNN 방법은 k개의 최근접 이웃들 중 극단치나 이상치가 있을 때 편의를 일으킬 수 있다. 본 논문에서는 KNN 방법의 단점을 보완하여 가중 k-최근접이웃(Weighted k-Nearest Neighbors; WKNN) 대치법을 제안하였다. 또한 모의실험을 통해서 기존의 방법과 비교하였다.

SCS 단위도에 의한 소하천의 유량 결측치 보완 (Estimation of Missing Flow Data for Small Watershed by SCS Unit Hydrograph)

  • 맹승진;정세웅;김진민;이현규
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.731-735
    • /
    • 2007
  • 수자원의 관리를 위해서 해당 유역에 대한 유량 산정은 반드시 필요하다. 우리나라는 대하천을 대상으로 하는 유량 산정은 국가적인 차원에서 이루어지고 있는 실정이나 대부분의 소하천에서는 그렇지 못한 실정이다. 본 연구에서는 특정 연구를 목적으로 남양호 상류의 5개 소하천 지점을 선정하고 평갈수기 및 홍수기 유량측정을 실시하여 각 지점별로 수위-유량 곡선식을 산정하였다. 특히 홍수기 유량측정시 수문곡선을 도시하기 위해 연속된 유출량 자료가 필요하나 각 지점별로 홍수로 인한 접근도로의 차단과 범람으로 연속된 유량자료를 획득하는데에는 많은 어려움이 있었다. 따라서 이러한 문제를 해결하기 위해 SCS 무차원 단위 유량도를 사용하여 기 측정된 자료를 근거로 미관측된 구간의 유량을 산정하였고 해당 홍수의 유량 산정을 통해 홍수기 유량 산정의 신뢰성을 높이고자 하였다.

  • PDF

연관 사용자 군집과 베이지안 분류를 이용한 사용자 선호도 예측 방법 (User Preference Prediction Method Using Associative User Clustering and Bayesian Classification)

  • 정경용;김진현;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.109-111
    • /
    • 2001
  • 기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법(Nearest-Neighborhood Method)을 사용하고, 피어슨 상관 계수에 의해 사용자의 유사도를 구하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 연관 사용자 군집과 베이지안 분류를 이음한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성(Sparsity)문제를 해결하기 위하여 ARHP 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도출 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게 하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다.

  • PDF

다지점 추계학적 기상모형의 적용 (A Study on the Spatial Weather Generator)

  • 김남원;이정은
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1425-1428
    • /
    • 2010
  • 추계학적 기상모형(Stochastic weather generator)은 기상자료의 결측치 보완, 장기간의 기상 시계열 자료 생성, 지역적 기후변화 시나리오의 통계학적 다운스케일링에 적용되어 왔다. 이러한 추계학적 기상모형은 수자원, 농업, 환경, 생태 등의 분야에 적용되어, 수자원 설계, 점/비점오염 거동, 생태 및 수문학적 영향 평가의 중요한 도구로 이용되어 오고 있다. 또한, 최근 가장 큰 이슈가 되고 있는 기후변화의 영향을 평가하는데 필수불가결한 분야이다. 이 분야의 중요한 변화는 과거에는 지점별로 각각 기상자료를 생성하였으나, 최근에는 지점간의 상관성을 고려한 다지점 해석이 계속적으로 연구되어지고 있다. 본 연구에서는 유역규모에 적용하기 타당한 기상자료생성을 위하여 관측지점간의 상관성, 강수장(rainfall field)의 생성, 호우이동(storm movement)을 고려한 추계학적 기상모형을 제안하고, 충주댐 유역을 대상으로 그 적용성을 평가하였다.

  • PDF

한반도의 과거 기후 데이터 구축을 위한 누락된 기록 추정 (Estimation of Missing Records in Daily Climate Data over the Korean Peninsula)

  • 노규호;안국현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.135-135
    • /
    • 2020
  • 우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.

  • PDF