• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.33 no.5
• /
• pp.2009-2019
• /
• 2013

Traffic volumes are the important basic data which are directly used for transportation network planning, highway design, highway management and so forth. They are collected by two types of collection methods, one of which is the continuous traffic counts and the other is the short duration traffic counts. The continuous traffic counts are conducted for 365 days a year using the permanent traffic counter and the short duration traffic counts are conducted for specific day(s). In case of the continuous traffic counts the missing of data occurs due to breakdown or malfunction of the counter from time to time. Thus, the diverse imputation methods have been developed and applied so far. In this study the applied exponential smoothing method, in which the data from the days before and after the missing day are used, is proposed and compared with other imputation methods. The comparison shows that the applied exponential smoothing method enhances the accuracy of imputation when the coefficient of traffic volume variation is low. In addition, it is verified that the variation of traffic volume at the site is an important factor for the accuracy of imputation. Therefore, it is necessary to apply different imputation methods depending upon site and time to raise the reliability of imputation for missing traffic values.

• Journal of Korean Society of Transportation
• /
• v.26 no.2
• /
• pp.109-119
• /
• 2008

The number of card users has grown steadily after the adaption of smart card. Considering the diverse information from smart card data, the increase of card usage rate leads to various useful implications meaning in travel pattern analysis and transportation policy. One of the most important implications is the possibility that the data enables us to generate transit O/D tables easily. In the case of generating transit O/D tables from smart card data, it is necessary to filter data error and/or data missing. Also, the correction of data missing is an important procedure. In this study, it is examined to compute the level of data error and data missing, and to correct data missing for transit O/D generation.

• The Korean Journal of Applied Statistics
• /
• v.29 no.3
• /
• pp.549-557
• /
• 2016

Consecutive missing values are likely to occur in long climate data due to system error or defective equipment. Furthermore, it is difficult to impute missing values. However, these complicated problems can be overcame by imputing missing values with reference time series. Reference time series must be composed of similar time series to time series that include missing values. We performed a simulation to compare three missing imputation methods (the adjusted normal ratio method, the regression method and the IDW method) to complete the missing values of time series. A comparison of the three missing imputation methods for the daily mean temperatures at 14 climatological stations indicated that the IDW method was better thanx others at south seaside stations. We also found the regression method was better than others at most stations (except south seaside stations).

• The Korean Journal of Applied Statistics
• /
• v.16 no.2
• /
• pp.407-426
• /
• 2003

We consider the missing covariates problem in generalized estimating equations(GEE) model. If the covariate is partially missing, GEE can not be calculated. In this paper, we study the performance of 7 imputation methods to handle missing covariates in GEE models, and the properties of GEE estimators are investigated after missing covariates are imputed for ordinal data of repeated measurements. The 7 imputation methods include i) Naive Deletion ii) Sample Average Imputation iii) Row Average Imputation iv) Cross-wave Regression Imputation v) Carry-over Imputation vi) Bayesian Bootstrap vii) Approximate Bayesian Bootstrap. A Monte-Carlo simulation is used to compare the performance of these methods. For the missing mechanism generating the missing data, we assume ignorable nonresponse. Furthermore, we generate missing covariates with or without considering wave nonresp onse patterns.

• Journal of Korean Society of Coastal and Ocean Engineers
• /
• v.34 no.4
• /
• pp.109-118
• /
• 2022

The data of the missing section among the vertex surface sea temperature observation data was imputed using the Bidirectional Recurrent Neural Network(BiRNN). Among artificial intelligence techniques, Recurrent Neural Networks (RNNs), which are commonly used for time series data, only estimate in the direction of time flow or in the reverse direction to the missing estimation position, so the estimation performance is poor in the long-term missing section. On the other hand, in this study, estimation performance can be improved even for long-term missing data by estimating in both directions before and after the missing section. Also, by using all available data around the observation point (sea surface temperature, temperature, wind field, atmospheric pressure, humidity), the imputation performance was further improved by estimating the imputation data from these correlations together. For performance verification, a statistical model, Multivariate Imputation by Chained Equations (MICE), a machine learning-based Random Forest model, and an RNN model using Long Short-Term Memory (LSTM) were compared. For imputation of long-term missing for 7 days, the average accuracy of the BiRNN/statistical models is 70.8%/61.2%, respectively, and the average error is 0.28 degrees/0.44 degrees, respectively, so the BiRNN model performs better than other models. By applying a temporal decay factor representing the missing pattern, it is judged that the BiRNN technique has better imputation performance than the existing method as the missing section becomes longer.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.116-118
• /
• 2012

데이터의 결측치는 데이터 마이닝 알고리즘 성능에 많은 저하를 일으킨다. 따라서 본 논문에서는 멀티태스크 러닝을 이용하여 회귀 분석시에 결측치를 효율적으로 다루는 방법을 제안한다. 데이터를 데이터의 분포에 따라서 무결점 데이터와 결측 데이터를 구분하여 태스크를 나눈 후 각각의 결과를 종합하여 최적화하는 것을 목표로 한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2006.05a
• /
• pp.775-779
• /
• 2006

강우자료의 구축은 수문해석에 있어 가장 기본적이며 중요한 단계라 할 수 있다. 하지만 수문 관측 자료의 경우 결측치가 존재하여 그에 대한 보정이 필요한 경우가 종종 발생하게 된다. 따라서 수문자료의 분석을 수행하기에 앞서 우선 자료에 대한 검정을 실시하고, 결측치가 존재할 경우는 이를 보정하여 분석을 수행하여야 한다. 본 연구에서는 다변량통계기법의 하나인 다중회귀분석을 이용하여 강우 결측치를 보정하였다. 본 연구에서는 다중공선성과 자기상관에 대하여 고려한 다중회귀모형을 구성하였다. 모형의 구성시 모든 결측지점에 적용이 가능하지 않아 일반성이 떨어짐을 확인 할 수 있었지만, 모형이 구성될 경우 통계적 적합도와 유의수준을 확인 할 수 있는 장점이 있었으며, 다중회귀모형이 구성되는 경우 좋은 보정 결과를 주는 것을 확인 할 수 있었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2006.05a
• /
• pp.1546-1550
• /
• 2006

한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 새로운 결측치 보완기법을 개발하였다. 개발된 기법, 일명 면적비법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 면적비법과 기존의 최소제곱법을 검증하기 위해 결측치가 없는 정상적인 자료에 적용해 보면, 두 방법 모두 첨두치를 약간 과소 산정하는 경향이 있었다. 하지만 면적비법의 경우, 원자료의 총 면적과 보완자료의 총 면적간의 차이가 거의 없었다. 이 방법들을 한강 하구부에서 관측된 탁도자료에 적용해 본 결과, 면적비법은 합리적으로 결측치를 보완하는 반면, 최소제곱법은 보완자료의 총면적이 원자료에 비해 작아지는 오류가 발생하였다. 따라서 최소제곱법에 비해 면적비법이 결측치 보완에 더 우수한 결과를 제공함을 알 수 있었다. 본 연구에서 개발한 면적비법은 주기성이 뚜렷한 시계열자료의 결측치 보완에 유용하게 쓰일 수 있으리라 기대된다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2010.05a
• /
• pp.1196-1200
• /
• 2010

본 논문에서는 지점 강우의 결측치를 추정하기 위해 전통적인 통계학적 내삽기법을 이용한 역거리가중치법(IDWM), 역지수가중치법(IEWM), 상관계수가중치법(CCWM)과 패턴 인식의 일종인 인공신경망(ANN)기법 그리고 시공간적 강우분포의 측정이 가능한 레이더 자료를 이용해 결측치를 추정하여 각각의 방법을 비교하였다. 임진강 유역의 15개 지상관측소를 대상으로 교차검정(Cross validation) 분석을 실시해 본 결과, CCWM 방법과 ANN기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 보정레이더를 이용하여 결측치를 추정한 경우RMSE가 0.05~2.26의 범위를 보여 기존의 전통적 결측치 추정방법보다 실측치에 가까운 결과를 보였다. 이는 레이더자료가 지점 강우자료와는 달리 강우의 시공간적 변동성을 고려한 공간분포의 정보를 지니고 있기 때문인 것으로 판단된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.463-465
• /
• 2021

센서 데이터는 여러가지 원인으로 인해 데이터 결측치가 발생할 수 있으며, 결측치로 인한 데이터의 처리 방식에 따라 데이터 분석 결과가 다르게 해석될 수 있다. 이는 펫 헬스 케어 서비스에서 치명적인 문제로 연결될 수 있다. 따라서 본 논문에서는 펫 웨어러블 디바이스로부터 수집되는 다양한 센서 데이터의 결측치를 처리하기 위해 GATs(Graph Attention neTworks)와 LSTM(Long Short Term Memory)을 결합하여 활용한 데이터 결측치 처리 기법을 제안한다. 펫 웨어러블 디바이스의 센서 데이터가 서로 연관성을 가지고 있다는 점을 바탕으로 인접 노드의 Attention 수치와 Feature map을 도출한다. 이후 Prediction Layer 를 통해 결측치의 Feature 를 예측한다. 예측된 Feature 를 기반으로 Decoding 과정과 함께 결측치 보간이 이루어진다. 제안된 기법은 모델의 변형을 통해 이상치 탐지에도 활용할 수 있을 것으로 기대한다.