• Proceedings of the Korea Water Resources Association Conference
• /
• 2006.05a
• /
• pp.1546-1550
• /
• 2006

한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 새로운 결측치 보완기법을 개발하였다. 개발된 기법, 일명 면적비법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 면적비법과 기존의 최소제곱법을 검증하기 위해 결측치가 없는 정상적인 자료에 적용해 보면, 두 방법 모두 첨두치를 약간 과소 산정하는 경향이 있었다. 하지만 면적비법의 경우, 원자료의 총 면적과 보완자료의 총 면적간의 차이가 거의 없었다. 이 방법들을 한강 하구부에서 관측된 탁도자료에 적용해 본 결과, 면적비법은 합리적으로 결측치를 보완하는 반면, 최소제곱법은 보완자료의 총면적이 원자료에 비해 작아지는 오류가 발생하였다. 따라서 최소제곱법에 비해 면적비법이 결측치 보완에 더 우수한 결과를 제공함을 알 수 있었다. 본 연구에서 개발한 면적비법은 주기성이 뚜렷한 시계열자료의 결측치 보완에 유용하게 쓰일 수 있으리라 기대된다.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.2
• /
• pp.67-78
• /
• 2019

Accurate electric load forecasting is very important in the efficient operation of the smart grid. Recently, due to the development of IT technology, many works for constructing accurate forecasting models have been developed based on big data processing using artificial intelligence techniques. These forecasting models usually utilize external factors such as temperature, humidity and historical electric load as independent variables. However, due to diverse internal and external factors, historical electrical load contains many missing data, which makes it very difficult to construct an accurate forecasting model. To solve this problem, in this paper, we propose a random forest-based missing data recovery scheme and construct an electric load forecasting model based on multilayer perceptron using the estimated values of missing data and external factors. We demonstrate the performance of our proposed scheme via various experiments.

• Journal of Korea Water Resources Association
• /
• v.39 no.4 s.165
• /
• pp.289-298
• /
• 2006

Turbidity had been measured during five months In Han River estuary at three sites. In this process, missing data occurred due to gauge imitation of the turbidity sensor. A filling method for the missing turbidity data was newly developed in this study. Under the assumption of the time series data with unique period and different amplitudes, the new method can fill the missing data based on the area ratio of each cycle. And the new method was verified through the data set having no missing data. There were little differences between gross area of the original data and that of the revised data by the new method though values of peak were underestimated. As a result, missing turbidity data observed at Han River estuary could be appropriately filled using the new filling method.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.21 no.1
• /
• pp.181-187
• /
• 2021

Recently, various air pollution factors have been measured and analyzed to reduce damages caused by it. In this process, many missing values occur due to various causes. To compensate for this, basically a vast amount of training data is required. This paper proposes a statistical techniques that effectively compensates for missing values generated in the process of measuring ozone, carbon dioxide, and ultra-fine dust using a small amount of learning data. The proposed algorithm first extracts a group of meteorological data that is expected to have positive effects on the correction of missing values through statistical information analysis such as the correlation between meteorological data and air pollution level factors, p-value, etc. It is a technique that efficiently and effectively compensates for missing values by analyzing them. In order to confirm the performance of the proposed algorithm, we analyze its characteristics through various experiments and compare the performance of the well-known representative algorithms with ours.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.264-264
• /
• 2020

최근 기후변화로 우리나라는 과거에 비해 태풍이나 국지성 집중호우 및 가뭄 등 극심한 수문현상이 빈번하게 발생하고 그 피해가 더욱 커지고 있는 추세이다. 특히 우리나라의 경우 산지가 많으며 대부분의 하천이 유역면적이 작고 유로연장이 짧아 단시간에 유출이 발생하며 수문학적 특성이 연중 큰 편차를 보이고 있다. 이러한 이상기후에 따른 수문현상 파악 및 피해 경감을 위해 신뢰성 있는 수문자료는 매우 중요하다. 따라서 수문자료에 대한 품질관리는 필수적이지만 자료 결측 및 오측에 대한 신뢰성 높은 품질관리가 이뤄지지 못하고 있는 실정이다. 현재 수위자료의 결측이 발생한 경우 해당 관측소의 수위 자료를 사용해 선형보간 및 운형자법으로 수정하거나 상·하류 관측소의 관계를 이용하여 회귀분석을 통해 자료 결측의 수정 및 보완을 수행하는 등 담당자의 주관적 판단에 의존하고 있다. 본 논문에서는 신뢰성 높은 수문자료의 결측치 보완 및 예측을 위한 방안을 제시하고자 상류의 관측소의 수문자료를 이용한 하류의 단시간 수문 자료예측에 관한 연구를 수행하였다. 이를 위해 자료지향형 모델인 적응형 뉴로-퍼지 기법(Adaptive Network-based Fuzzy Inference System, ANFIS)을 이용한 모형을 적용하였다. 기존의 연구에서 가장 일반적으로 사용되는 물리적 모형은 수문자료를 활용하여 수위 및 유출을 산정함에 있어 매개변수의 결정이 어렵고 많은 오차들을 내포하고 있다. 본 연구에서 사용한 ANFIS는 입력자료와 출력자료만을 고려하여 구축할 수 있기 때문에 자료 수집단계에서 유역의 물리적 자료 및 지형 자료와 같은 방대한 양의 자료 수집이 필요가 없다. 이후 모형이 구축이 된다면 입·출력 자료만을 이용하여 신뢰성 높은 결과를 획득할 수 있지만 입력 자료의 품질에 따라 결과가 좌우되기 때문에 자료의 구성이 매우 중요하다. 본 연구에서는 ANFIS를 통해 무주남대천 유역의 무주군(여의교) 관측소의 수위자료를 입력자료를 사용하여 하류에 위치한 무주군(취수장) 관측소의 수문자료의 결측 보완 및 예측하는 모형을 구축하고 모형의 구조 변화를 통해 가장 정확도 높은 모형을 결정하였다.

• The Korean Journal of Applied Statistics
• /
• v.28 no.1
• /
• pp.23-31
• /
• 2015

A conventional missing value problem in the statistical analysis k-Nearest Neighbor(KNN) method are used for a simple imputation method. When one of the k-nearest neighbors is an extreme value or outlier, the KNN method can create a bias. In this paper, we propose a Weighted k-Nearest Neighbors(WKNN) imputation method that can supplement KNN's faults. A Monte-Carlo simulation study is also adapted to compare the WKNN method and KNN method using real data set.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2007.05a
• /
• pp.731-735
• /
• 2007

수자원의 관리를 위해서 해당 유역에 대한 유량 산정은 반드시 필요하다. 우리나라는 대하천을 대상으로 하는 유량 산정은 국가적인 차원에서 이루어지고 있는 실정이나 대부분의 소하천에서는 그렇지 못한 실정이다. 본 연구에서는 특정 연구를 목적으로 남양호 상류의 5개 소하천 지점을 선정하고 평갈수기 및 홍수기 유량측정을 실시하여 각 지점별로 수위-유량 곡선식을 산정하였다. 특히 홍수기 유량측정시 수문곡선을 도시하기 위해 연속된 유출량 자료가 필요하나 각 지점별로 홍수로 인한 접근도로의 차단과 범람으로 연속된 유량자료를 획득하는데에는 많은 어려움이 있었다. 따라서 이러한 문제를 해결하기 위해 SCS 무차원 단위 유량도를 사용하여 기 측정된 자료를 근거로 미관측된 구간의 유량을 산정하였고 해당 홍수의 유량 산정을 통해 홍수기 유량 산정의 신뢰성을 높이고자 하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.109-111
• /
• 2001

기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법(Nearest-Neighborhood Method)을 사용하고, 피어슨 상관 계수에 의해 사용자의 유사도를 구하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 연관 사용자 군집과 베이지안 분류를 이음한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성(Sparsity)문제를 해결하기 위하여 ARHP 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도출 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게 하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2010.05a
• /
• pp.1425-1428
• /
• 2010

추계학적 기상모형(Stochastic weather generator)은 기상자료의 결측치 보완, 장기간의 기상 시계열 자료 생성, 지역적 기후변화 시나리오의 통계학적 다운스케일링에 적용되어 왔다. 이러한 추계학적 기상모형은 수자원, 농업, 환경, 생태 등의 분야에 적용되어, 수자원 설계, 점/비점오염 거동, 생태 및 수문학적 영향 평가의 중요한 도구로 이용되어 오고 있다. 또한, 최근 가장 큰 이슈가 되고 있는 기후변화의 영향을 평가하는데 필수불가결한 분야이다. 이 분야의 중요한 변화는 과거에는 지점별로 각각 기상자료를 생성하였으나, 최근에는 지점간의 상관성을 고려한 다지점 해석이 계속적으로 연구되어지고 있다. 본 연구에서는 유역규모에 적용하기 타당한 기상자료생성을 위하여 관측지점간의 상관성, 강수장(rainfall field)의 생성, 호우이동(storm movement)을 고려한 추계학적 기상모형을 제안하고, 충주댐 유역을 대상으로 그 적용성을 평가하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.135-135
• /
• 2020

우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.