• Title/Summary/Keyword: 결측

Search Result 430, Processing Time 0.029 seconds

Study on Imputation Methods of Missing Real-Time Traffic Data (실시간 누락 교통자료의 대체기법에 관한 연구)

  • Jang Jin-hwan;Ryu Seung-ki;Moon Hak-yong;Byun Sang-cheal
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.3 no.1 s.4
    • /
    • pp.45-52
    • /
    • 2004
  • There are many cities installing ITS(Intelligent Transportation Systems) and running TMC(Trafnc Management Center) to improve mobility and safety of roadway transportation by providing roadway information to drivers. There are many devices in ITS which collect real-time traffic data. We can obtain many valuable traffic data from the devices. But it's impossible to avoid missing traffic data for many reasons such as roadway condition, adversary weather, communication shutdown and problems of the devices itself. We couldn't do any secondary process such as travel time forecasting and other transportation related research due to the missing data. If we use the traffic data to produce AADT and DHV, essential data in roadway planning and design, We might get skewed data that could make big loss. Therefore, He study have explored some imputation techniques such as heuristic methods, regression model, EM algorithm and time-series analysis for the missing traffic volume data using some evaluating indices such as MAPE, RMSE, and Inequality coefficient. We could get the best result from time-series model generating 5.0$\%$, 0.03 and 110 as MAPE, Inequality coefficient and RMSE, respectively. Other techniques produce a little different results, but the results were very encouraging.

  • PDF

A joint modeling of longitudinal zero-inflated count data and time to event data (경시적 영과잉 가산자료와 생존자료의 결합모형)

  • Kim, Donguk;Chun, Jihun
    • The Korean Journal of Applied Statistics
    • /
    • v.29 no.7
    • /
    • pp.1459-1473
    • /
    • 2016
  • Both longitudinal data and survival data are collected simultaneously in longitudinal data which are observed throughout the passage of time. In this case, the effect of the independent variable becomes biased (provided that sole use of longitudinal data analysis does not consider the relation between both data used) if the missing that occurred in the longitudinal data is non-ignorable because it is caused by a correlation with the survival data. A joint model of longitudinal data and survival data was studied as a solution for such problem in order to obtain an unbiased result by considering the survival model for the cause of missing. In this paper, a joint model of the longitudinal zero-inflated count data and survival data is studied by replacing the longitudinal part with zero-inflated count data. A hurdle model and proportional hazards model were used for each longitudinal zero inflated count data and survival data; in addition, both sub-models were linked based on the assumption that the random effect of sub-models follow the multivariate normal distribution. We used the EM algorithm for the maximum likelihood estimator of parameters and estimated standard errors of parameters were calculated using the profile likelihood method. In simulation, we observed a better performance of the joint model in bias and coverage probability compared to the separate model.

Estimating the Influence of the Riffle and Pool on the Habitat of Fish (여울과 소의 형성 조건에 따른 어류 서식처 환경 영향)

  • Sung, Young-Du;Park, Bong-Jin;Lee, Sam-Hee;Cjung, Kwan-Sue
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2006.05a
    • /
    • pp.1007-1011
    • /
    • 2006
  • 본 연구에서는 어류 생태계 유지를 위해 필요한 생태학적 추천유량을 산정하고, 어류의 서식처 환경인 여울과 웅덩이의 형성조건을 검토함으로써 '작용'인 '흐름'과 '응답'인 '하상구조'와의 상관 관계를 규명하고자 하였다. 본 연구의 대상하천인 금호강에서는 하상변동이 활발한 자연 상태를 벗어나 하상의 이동성 상당히 둔화된 상태이며, 저수로내 여울과 웅덩이도 대표어종이 서식할 수 있는 자갈하상 구조에 변화가 일어나고 있는 것으로 분석되었다. 이것은 금호강 상류에 영천댐 건설의 영향이 어느 정도 미치고 있음을 유황분석 결과를 통해 간접적으로 파악할 수 있었다. 댐과 같은 수공구조물의 건설로 인하여 하도가 고정화된 상태에서 장기간에 걸치게 되면 여울과 웅덩이와 같은 하상구조가 축소되거나 소멸되어 금호강에서의 대표어종 서식처 환경에 영향을 미칠 것으로 추정된다. 금번 연구결과, 금호강에서 어류의 생식에 필요한 생태학적 추천유량 $8.2m^3/sec$가 필요하였으며, 어류의 서식처 환경인 여울과 웅덩이를 지속적으로 유지되기 위해서는 $250m^3/sec$ 이상의 유량이 연간 한번 이상 흘러야 하고, 2.5년 내지 3년 마다 약 $500m^3/sec$ 정도의 유량이 흐를 필요가 있다고 분석되었다. 본 연구 대상지점에서 흐름과 하상구조를 하천생태계와 연계해서 볼 때, 생태추천유량은 어디까지나 대표어종이 서식할 수 있는 최소조건에 불과하다. 대표어종이 장기간에 걸쳐 서식할 수 있는 하상구조가 존재하기 위해서는 대표어종이 선호하는 여울과 웅덩이가 필요하다. 결국 대표어종이 서식하기 위한 필요충분조건은 생태추천유량 확보와 아울러 대표어종이 선호하는 하상구조를 유지하기 위해서는 하도의 이동성을 유발할 유황변화가 필요하다는 것이 입증되었다.대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.9년, 그리고 2010년${\sim}$2019년까지 총 4구간으로 나누어 결과를 도출하였으며 예상한 바와 같이 후반기 20년 동안에 세 가지 지표가 취약해 지는 것을 확인할 수 있었고, 특히 2000년부터 2009년까지 10년 동안에는 더욱 취약해짐을 확인할 수 있었다.를 보임에 따라 그 정책적 효과는 때로 역기능적인 결과로 초래하였다. 그럼에도 불구하고 이 연구결과를 통하여 최소한 주식시장(株式市場)에서 위탁증거금제도는 그 제도적 의의가 여전히 있다는 사실이 확인되었다. 또한 우리나라 주식시장에서 통상 과열투기 행위가 빈번히 일어나 주식시장을 교란시킴으로써 건전한 투자풍토조성에 저해된다는 저간의 우려가 매우 커왔으나 표본 기간동안에 대하여 실증분석을 한 결과 주식시장 전체적으로 볼 때 주가변동율(株價變動率), 특히 초과주가변동율(超過株價變動率)에 미치는 영향이 그다지 심각한 정도는 아니었으며 오히려 우리나라의 주식시장은 미국시장에 비해 주가가 비교적 안정적인 수준을 유지해 왔다고 볼 수 있다.36.4%)와 외식을 선호(29.1%)${\lrcorner}$ 하기 때문에 패스트푸드를 이용하게 된 것으로 응답 하였으며, 남 여 대학생간에는 유의한 차이(p<0.05)가 인정되었다. 응답자의 체형은 ${\ulco

  • PDF

Study on the Calculation Method of Irrigation Water Considering Farming Conditions in Paddy Field (영농방식변화에 따른 관개용수량 산정방법 연구)

  • Lee, Yong-Jik;Kim, Sun-Joo;Kim, Phil-Shik;Jee, Yong-Geun;Lee, Joo-Yong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2006.05a
    • /
    • pp.923-927
    • /
    • 2006
  • 국내의 수자원장기종합계획(건교부, 2001년)에 의하면 농업용수는 우리나라 수자원의 48%를 차지하고 있으며 하천유지용수를 제외한 이용량으로 보면 62%에 해당하는 최대 용수이용 부문이다. 그러므로, 농업용수의 효율적인 계획과 관리는 우리나라 수자원의 효율적인 이용에 있어서 매우 중요하다. 우리나라의 농촌은 1970년 이후 급격한 도시화, 산업화로 농업인구의 격감과 노동력의 부족에 따른 농업용 기계가 보급되게 됨에 따라, 과거의 주로 인력에 의한 벼농사의 영농방식에 변화가 생기게 되었다. 그러한 영농전반의 변화들은 직파재배, 집단육묘, 비닐하우스를 이용한 못자리, 어린모 이앙법 등 다양한 방식으로 벼재배 방식에서도 나타나고 있다. 이러한 영농상황의 변화는 농업용수공급 현황에도 영향을 미쳐 물이용 형태가 과거와 많은 차이를 보임을 알 수 있다. 이러한 차이는 최근의 연구결과에서도 나타나고 있는데 2002년 농어촌연구원 '용수수급의 안정성 제고 연구 및 종합시험지구 운영'에 의하면 3개 저수지지구의 계획공급량과 용수공급량 비율이 $0.7{\sim}1.3$이며, 영농초기 $4{\sim}5$월에 특히 차이가 큼을 알 수 있었다. 2001년 한국건설 기술연구원의 '물관리 효율성 제고기술 연구보고서'에 의하면 $4{\sim}5$월에 큰 차이를 보이는 등 농어촌연구원과 비슷한 결과를 나타내었다. 본 연구는 중부지방인 경기 남부지역을 대상으로 영농방식에 대한 조사를 하고 농업용수 공급량을 측정하여 현행 농업용수량 산정기준에 의한 농업용수량과 비교함으로써 변화된 영농환경을 고려한 적정한 관개 용수량 산정방법을 제시하는 것을 목적으로 하고 있다.악할 수 없었던 수체내의 많은 특징을 파악 할 수 있었다.. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.9년, 그리고 2010년${\sim}$2019년까지 총 4구간으로 나누어 결과를 도출하였으며 예상한 바와 같이 후반기 20년 동안에 세 가지 지표가 취약해 지는 것을 확인할 수 있었고, 특히 2000년부터 2009년까지 10년 동안에는 더욱 취약해짐을 확인할 수 있었다.를 보임에 따라 그 정책적 효과는 때로 역기능적인 결과로 초래하였다. 그럼에도 불구하고 이 연구결과를 통하여 최소한 주식시장(株式市場)에서 위탁증거금제도는 그 제도적 의의가 여전히 있다는 사실이 확인되었다. 또한 우리나라 주식시장에서 통상 과열투기 행위가 빈번히 일어나 주식시장을 교란시킴으로써 건전한 투자풍토조성에 저해된다는 저간의 우려가 매우 커왔으나 표본 기간동안에 대하여 실증분석을 한 결과 주식시장 전체적으로 볼 때 주가변동율(株價變動率), 특히 초과주가변동율(超過株價變動率)에 미치는 영향이 그다지 심각한 정도는 아니었으며 오히려 우리나라의 주식시장은 미국시장에 비해 주가가 비교적 안정적인 수준을 유지해 왔다고 볼 수 있다.36.4%)와 외식을 선호(29.1%)${\lrcorner

  • PDF

Monitoring of Water Temperature at the Reservoir (저수지에서의 수온 모니터링)

  • Lee, Hyun-Seok;Jeong, Seon-A;Yi, Yong-Kon;Jung, Nam-Chung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2006.05a
    • /
    • pp.864-868
    • /
    • 2006
  • 댐과 양쪽의 산 능선에 감싸이어 있는 저수지의 모습은 이렇다할만한 특징을 찾아보기가 쉽지 않다. 우리나라의 각지에 건설되어진 다목적댐으로 인해 형성되어진 저수지들을 둘러보아도, 역시 주변의 지형을 자세히 비교해 보기 전에는 구별하기 힘들만큼, 그만큼 외관상으로는 닮아있다. 하지만, 이러한 저수지들이 보여주는 자연현상은 실제로는 너무나도 다양하다. 잔잔한 물 표면의 안쪽에 저마다 눈에 보이지 않는 특성들을 감추고 있으리라 추측해 본다. 하지만, 그 특성을 정량적으로 파악 하기란 좀처럼 쉽지가 않다. 영양염분의 과다 유입으로 부영양화가 초래되면 여기저기서 녹조를 발생 시키고, 또한 홍수나 상류 유역의 토사 붕괴로 인하여 좀처럼 침강되지 않는 미세 입자가 과다 유입되면, 1년 내내 누런 탁수로 몸살을 앓는다. 이처럼, 인간의 눈에 보여 지는 저수지는 '매우 닮은 모습에서 너무나 다른 모습'으로 '계단의 층계변화'와 같은 극단적인 상태 변화만이 파악되어진다. 최근에 들어서, 장비의 발달과 환경에 대한 관심의 고조로 한 달에 한번 많으면 일주일에 한 번씩 현장 조사를 수행하고는 있지만, 지속적으로 저수지를 파악하기 위한 '선형적인 현상'을 보여주기에는 충분하지가 않다. 본 연구에서는, 저수지 수온을 모니터링 함으로서, 홍수와 가뭄과 같은 이벤트 및 계절 변화로 인한 수체의 온도분포를 조사 하였다. 그 방법으로, 자체 개발한 써미스터체인을 용담호의 댐축 지점과 댐축으로부터 상류방향으로 6.6km 떨어진 유입지점의 두 곳에 설치하였으며, 연 중 10분 간격으로 수온데이터를 로거에 저장한 후, 두 달에 한번 정도로 센서 정비 및 데이터 수거를 실시하였다. 그 결과, 우리가 눈으로나 현지관측만으로는 파악할 수 없었던 수체내의 많은 특징을 파악 할 수 있었다.. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.9년, 그리고 2010년${\sim}$2019년까지 총 4구간으로 나누어 결과를 도출하였으며 예상한 바와 같이 후반기 20년 동안에 세 가지 지표가 취약해 지는 것을 확인할 수 있었고, 특히 2000년부터 2009년까지 10년 동안에는 더욱 취약해짐을 확인할 수 있었다.를 보임에 따라 그 정책적 효과는 때로 역기능적인 결과로 초래하였다. 그럼에도 불구하고 이 연구결과를 통하여 최소한 주식시장(株式市場)에서 위탁증거금제도는 그 제도적 의의가 여전히 있다는 사실이 확인되었다. 또한 우리나라 주식시장에서 통상 과열투기 행위가 빈번히 일어나 주식시장을 교란시킴으로써 건전한 투자풍토조성에 저해된다는 저간의 우려가 매우 커왔으나 표본 기간동안에 대하여 실증분석을 한 결과 주식시장 전체적으로 볼 때 주가변동율(株價變動率), 특히 초과주가변동율(超過株價變動率)에 미치는 영향이 그다지 심각한 정도는 아니었으며 오히려 우리나라의 주식시장은 미국시장에 비해 주가가 비교적 안정적인 수준을 유지해 왔다고 볼 수 있다.36.4%)와 외식을 선호(29.1%)${\lrcorner}$ 하기 때문에 패스트푸드를 이용하게 된 것으로 응답 하였으며, 남 여 대학생간에는 유의한 차이(p<0

  • PDF

Development of Quality Control Method for Visibility Data Based on the Characteristics of Visibility Data (시정계 자료 특성을 고려한 시정계 자료 품질검사 기법 개발)

  • Oh, Yu-Joo;Suh, Myoung-Seok
    • Korean Journal of Remote Sensing
    • /
    • v.36 no.5_1
    • /
    • pp.707-723
    • /
    • 2020
  • In this study, a decision tree type of quality control (QC) method was developed to improve the temporal-spatial representation and accuracy of the visibility data being operated by the Korea Meteorological Administration (KMA). The quality of the developed QC method was evaluated through the application to the 3 years (2016.03-2019.02) of 290 stations visibility data. For qualitative and quantitative verification of the developed QC method, visibility and naked-eye data provided by the KMA and QC method of the Norwegian Meteorological Institute (NMI) were used. Firstly, if the sum of missing and abnormal data exceeds 10% of the total data, the corresponding point was removed. In the 2nd step, a temporal continuity test was performed under the assumption that the visibility changes continuously in time. In this process, the threshold was dynamically set considering the different temporal variability depending on the visibility. In the 3rd step, the spatial continuity test was performed under the assumption of spatial continuity for visibility. Finally, the 10-minute visibility data was calculated using weighted average method, considering that the accuracy of the visibility meter was inversely proportional to the visibility. As results, about 10% of the data were removed in the first step due to the large temporal-spatial variability of visibility. In addition, because the spatial variability was significant, especially around the fog area, the 3rd step was not applied. Through the quantitative verification results, it suggested that the QC method developed in this study can be used as a QC tool for visibility data.

Evaluation and complementation of observed flow in the Hancheon watershed in Jeju Island using a physically-based watershed model (유역모형을 활용한 제주도 한천 유역의 관측유량 평가 및 보완)

  • Kim, Chul Gyum;Kim, Nam Won
    • Journal of Korea Water Resources Association
    • /
    • v.49 no.11
    • /
    • pp.951-959
    • /
    • 2016
  • This study was conducted to evaluate observed runoff data collected every 10 minutes at stream gauging stations in Jeju Island using a physically-based model, SWAT. The Hancheon watershed was selected as study area, and ephemeral stream algorithm suggested by previous research was incorporated into the model, which is able to simulate ephemeral runoff pattern of Jeju streams. Simulated runoff and runoff rates were compared to observations during 2008-2013, which showed 'very good' performance rating in Nash-Sutcliffe model efficiency (ME) and determination coefficient ($R^2$). Some observations had problems such that runoff rates were very high for some rainfall events with little amount of antecedent rainfall, and were very low or missing with much rainfall comparing to previous researches. Additionally, regression equation between precipitation and simulated runoff was generated with high degree of correlation. The equation can be utilized to simply predict reasonable runoff, or to investigate and complement the abnormal or missing data of observations on the assumption that modelling results were sufficiently reliable and satisfactory. As results, minimizing the error in calibrating the model by evaluation of observed data would be helpful to accurately model the rainfall-runoff characteristics and analyze the water balance components of watersheds in Jeju Island.

Application of Objective Mapping to Surface Currents Observed by HF Radar off the Keum River Estuary (금강하구 연안에서 고주파 레이더로 관측된 표층해류에 대한 객관적 유속산출 적용)

  • Hwang, Jin-A;Lee, Sang-Ho;Choi, Byung-Joo;Kim, Chang-Soo
    • The Sea:JOURNAL OF THE KOREAN SOCIETY OF OCEANOGRAPHY
    • /
    • v.16 no.1
    • /
    • pp.14-26
    • /
    • 2011
  • Surface currents were observed by high-frequency (HF) radars off the Keum River estuary from December 2008 to February 2009. The dataset of observed surface currents had data gaps due to the interference of electromagnetic waves and the deteriorating weather conditions. To fill the data gaps an optimal interpolation procedure was developed. The characteristics of spatial correlation in the surface currents off the Keum River estuary were investigated and the spatial data gaps were filled using the optimal interpolation. Then, the temporal and spatial distribution of the interpolated surface currents and the patterns of interpolation error were examined. The correlation coefficients between the surface currents in the coastal region were higher than 0.7 because tidal currents dominate the surface circulation. The sample data covariance matrix (C), spatially averaged covariance matrix with localization ($C^G_{sm}$) and covariance matrix fitted by an exponential function ($C_{ft}$) were used to interpolate the original dataset. The optimal interpolation filled the data gaps and suppressed the spurious data with spikes in the time series of surface current speed so that the variance of the interpolated time series was smaller than that of the original data. When the spatial data coverage was larger (smaller) than 70% of the region, the interpolation error produced by $C^G_{sm}$ ($C_{ft}$) was smaller compared with that by C.

Development of Homogeneous Road Section Determination and Outlier Filter Algorithm (국도의 동질구간 선정과 이상치 제거 방법에 관한 연구)

  • Do, Myung-Sik;Kim, Sung-Hyun;Bae, Hyun-Sook;Kim, Jong-Sik
    • Journal of Korean Society of Transportation
    • /
    • v.22 no.7 s.78
    • /
    • pp.7-16
    • /
    • 2004
  • The homogeneous road section is defined as one consisted of similar traffic characteristics focused on demand and supply. The criteria, in the aspect of demand, are the diverging rate and the ratio of green time to cycle time at signalized intersection, and distance between the signalized intersections. The criteria, in that or supply, are the traffic patterns such as traffic volume and its speed. In this study, the effective method to generate valuable data, pointing out the problems of removal method of obscure data, is proposed using data collected from Gonjiam IC to Jangji IC on the national highway No.3. Travel times are collected with licence matching method and traffic volume and speed are collected from detectors. Futhermore, the method of selecting homogeneous road section is proposed considering demand and supply aspect simultaneously. This method using outlier filtering algorithm can be applied to generate the travel time forecasting model and to revise the obscured of missing data transmitting from detectors. The point and link data collected at the same time on the rational highway can be used as a basis predicting the travel time and revising the obscured data in the future.

Methods for Handling Incomplete Repeated Measures Data (불완전한 반복측정 자료의 보정방법)

  • Woo, Hae-Bong;Yoon, In-Jin
    • Survey Research
    • /
    • v.9 no.2
    • /
    • pp.1-27
    • /
    • 2008
  • Problems of incomplete data are pervasive in statistical analysis. In particular, incomplete data have been an important challenge in repeated measures studies. The objective of this study is to give a brief introduction to missing data mechanisms and conventional/recent missing data methods and to assess the performance of various missing data methods under ignorable and non-ignorable missingness mechanisms. Given the inadequate attention to longitudinal studies with missing data, this study applied recent advances in missing data methods to repeated measures models and investigated the performance of various missing data methods, such as FIML (Full Information Maximum Likelihood Estimation) and MICE(Multivariate Imputation by Chained Equations), under MCAR, MAR, and MNAR mechanisms. Overall, the results showed that listwise deletion and mean imputation performed poorly compared to other recommended missing data procedures. The better performance of EM, FIML, and MICE was more noticeable under MAR compared to MCAR. With the non-ignorable missing data, this study showed that missing data methods did not perform well. In particular, this problem was noticeable in slope-related estimates. Therefore, this study suggests that if missing data are suspected to be non-ignorable, developmental research may underestimate true rates of change over the life course. This study also suggests that bias from non-ignorable missing data can be substantially reduced by considering rich information from variables related to missingness.

  • PDF