• Title/Summary/Keyword: Data 누락

Search Result 261, Processing Time 0.029 seconds

The Study for Improvement of Data-Quality of Cut-Slope Management System Using Machine Learning (기계학습을 활용한 도로비탈면관리시스템 데이터 품질강화에 관한 연구)

  • Lee, Se-Hyeok;Kim, Seung-Hyun;Woo, Yonghoon;Moon, Jae-Pil;Yang, Inchul
    • The Journal of Engineering Geology
    • /
    • v.31 no.1
    • /
    • pp.31-42
    • /
    • 2021
  • Database of Cut-slope management system (CSMS) has been constructed based on investigations of all slopes on the roads of the whole country. The investigation data is documented by human, so it is inevitable to avoid human-error such as missing-data and incorrect entering data into computer. The goal of this paper is constructing a prediction model based on several machine-learning algorithms to solve those imperfection problems of the CSMS data. First of all, the character-type data in CSMS data must be transformed to numeric data. After then, two algorithms, i.g., multinomial logistic regression and deep-neural-network (DNN), are performed, and those prediction models from two algorithms are compared. Finally, it is identified that the accuracy of DNN-model is better than logistic model, and the DNN-model will be utilized to improve data-quality.

AIS 데이터 손실에 의한 VTS 시스템의 영향 분석

  • An, Byeong-Ok;Kim, Man-Sik;Kim, Seok-Jae
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2011.06a
    • /
    • pp.123-125
    • /
    • 2011
  • 울산항은 1996년 9월부터 입출항 선박의 항행안전을 위해 VTS 시스템을 설치운영하고 있으나 많은 선박통항량과 위험화물 운송선박의 잦은 운항으로 여러 가지 위험요소가 상존하고 있는 개항장이다. VTS 시스템은 레이더의 자동물표추적장치에 의한 데이터, PORT-MIS의 선박관련 데이터 등 많은 정보들이 분산 처리되어 관제사에게 제공되고 있으나 최근 선박에 설치 운영되고 있는 선박자동식별장치(AIS)에 의해 선박의 정보들이 더욱 신속하고 정확하게 처리되는 것으로 평가되고 있다. 그러나 인위적인 과실에 의한 AIS의 오류정보들과 원활하지 못한 데이터통신에 의한 데이터 누락현상에 의해 VTS 시스템 운용에 막대한 영향을 초래하고 있다. 이러한 인위적인 과실에 의한 AIS의 오류 데이터는 PSC 검사관들의 적극적인 개선의지로 정책적인 계도작업을 수행하고 있으므로 점차 개선될 것으로 기대된다. 따라서 본 연구에서 AIS의 원활하지 못한 통신망에 의한 데이터 누락 현상에 의한 VTS 시스템에서의 영향을 조사 분석하고 이에 따른 개선 방안을 제시하고자 한다.

  • PDF

A Proposal of an Interpolation Method of Missing Wind Velocity Data in Writing a Typical Weather Data (표준기상데이터 작성 시 누락된 풍속 데이터의 보간 방법 제안)

  • Park, So-Woo;Kim, Joo-wook;Song, Doo-sam
    • Journal of the Korean Solar Energy Society
    • /
    • v.37 no.6
    • /
    • pp.79-91
    • /
    • 2017
  • The meteorological data of 1 hour interval are required to write a typical weather data for building energy simulation. However, many meterological data are missing and the interpolation method to recover the missing data is required. Especially, lots of meterological data are replicated by linear interpolation method because the changes are not significant. While, the wind velocity fluctuates with the time or locations, so linear interpolation method is not appropriate in interpolation of the wind velocity data. In this study, three interpolation methods, using surrounding wind velocity data, Inverse Distance Weighting (IDW), Revised Inverse Distance Weighting (IDW-r), were analyzed considering the characteristics of wind velocity. The Revised Inverse Distance Weighting method, proposed in this study, showed the highest reliability in restoration of the wind velocity data among the analyzed methods.

Single hop Wireless Sensor Network for Low Power Configuration (Single hop Wireless Sensor Network의 저전력 구성)

  • Kim, Min-Chul;Lee, Chang-Won;Park, Chong-Ryol;Jung, Kyung-Kwon;Eom, Ki-Hwan
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2011.05a
    • /
    • pp.731-734
    • /
    • 2011
  • This paper proposed the Low power configuration of Single hop WSN(Wireless Sensor Network) system. When the RF communication is done each tag node during the WSN systems operating, power consumption is greatest. There for, if you configure the Network with the RF communication module turn on/off periodically, power consumption less then operating the module all the time without it toggles. However, some data omissions may occur in which transmission and receipt is done. So this paper proposed the algorithm for low power system without data omissions.

  • PDF

A Study of Error Analysis for Post Evaluation System on the Construction Projects (건설공사 사후평가시스템 입력오류 분석에 관한 연구)

  • Kim, Kyong-Hoon;Lee, Du-Heon;Kim, Tae-Yeong
    • Korean Journal of Construction Engineering and Management
    • /
    • v.16 no.2
    • /
    • pp.77-85
    • /
    • 2015
  • The data are often missed and many errors of the data are generated in the input process for the post evaluation system on the construction projects, and the reliability of the data falls down much. Accordingly, the detailed analysis about missing and error of data was conducted to ensure reliability of the analysis results about post evaluation on the construction projects. As results in this study, a lot of input data were missed at the initial construction phase, and the data errors were found in the inaccuracy of reference reports, the lack of understanding about input data, and the failure of KRW unit.

Estimation of Missing Records in Daily Climate Data over the Korean Peninsula (한반도의 과거 기후 데이터 구축을 위한 누락된 기록 추정)

  • Noh, Gyu-Ho;Ahn, Kuk-Hyun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.135-135
    • /
    • 2020
  • 우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.

  • PDF

Determination of the Optimal Spatial Interpolation Methods for Estimating Missing Precipitation Data in Not Covered Area by Climate Change Scenario (기후변화시나리오 데이터 누락지역의 강수자료 보완을 위한 최적 공간보간기법 선정)

  • Jang, Dong Woo;Park, Hyo Seon;Choi, Jin Tak
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.14-14
    • /
    • 2015
  • 공간보간기법은 미계측지역의 강수예측을 위해 통상적으로 사용되는 방법 중의 하나이다. 이 연구에서는 기상청에서 제공하고 있는 RCP 8.5 시나리오에 의한 남한상세 강수자료 중 지형이 복잡한 도서지역에서 제공되지 않는 데이터 누락격자에 대하여 최적의 공간보간기법을 선정하여 강수자료를 생성할 수 있도록 하였다. 적합한 보간기법을 선정하기 위해 데이터 누락지역에 대한 분석을 수행하였고, 최신 행정구역도에 맞추어 $1km{\times}1km$ 격자를 한반도 전체지역에 맞추어 생성된 격자를 사용하였다. ESRI사의 ArcGIS 프로그램을 이용하여 공간보간기법을 적용하였다. 사용된 보간법은 역거리가중치법(IDW), 정규크리깅(Ordinary Kriging), 보편크리깅(Universal Kriging), 스플라인(Spline)이며 가장 적합한 공간보간기법을 선정하기 위해 기후변화시나리오에 의한 데이터 중 해안선 주변 특정격자에서의 값을 누락시켜 공간보간기법을 통해 생성된 값과 기후변화 시나리오에 의한 값을 정량적으로 비교하였다. 공간보간기법의 적합도 평가를 위해 MAE(Mean Absolute Error), MSE(Mean Squared Error), PBIAS(Percent of BIAS), G(goodness of prediction) 분석을 수행하였고, 산점도 분석을 통해 실제값과 보간값의 오차율 평가를 병행하여 최적 공간보간기법을 결정하였다. 사용된 강수데이터는 RCP 8.5 시나리오에서 2015~2019년 중 강수가 높게 나타난 8월 자료를 이용하였다. 해안선 지역의 강수량 추정시 역거리 가중치법과 크리깅방법은 일부 지점에서 과다 추정되는 경향이 있고, 스플라인 방법이 전체적인 총 강수량이 기후변화시나리오에 의한 실제값과 유사한 것으로 나타났다. 실제값과 보간값의 교차검증을 수행한 결과 정규크리깅 기법이 가장 높은 정확도를 보였으며, 전체적으로 실제값과 유사한 범위내의 강수량이 생성되는 것으로 나타났다.

  • PDF

Monitoring-Based Secure Data Aggregation Protocol against a Compromised Aggregator in Wireless Sensor Networks (무선 센서 네트워크에서 Compromised Aggregator에 대응을 위한 모니터링 기반 시큐어 데이터 병합 프로토콜)

  • Anuparp, Boonsongsrikul;Lhee, Kyung-Suk;Park, Seung-Kyu
    • The KIPS Transactions:PartC
    • /
    • v.18C no.5
    • /
    • pp.303-316
    • /
    • 2011
  • Data aggregation is important in wireless sensor networks. However, it also introduces many security problems, one of which is that a compromised node may inject false data or drop a message during data aggregation. Most existing solutions rely on encryption, which however requires high computation and communication cost. But they can only detect the occurrence of an attack without finding the attacking node. This makes sensor nodes waste their energy in sending false data if attacks occur repeatedly. Even an existing work can identify the location of a false data injection attack but it has a limitation that at most 50% of total sensor nodes can participate in data transmission. Therefore, a novel approach is required such that it can identify an attacker and also increase the number of nodes which participate in data transmission. In this paper, we propose a monitoring-based secure data aggregation protocol to prevent against a compromised aggregator which injects false data or drops a message. The proposed protocol consists of aggregation tree construction and secure data aggregation. In secure data aggregation, we use integration of abnormal data detection with monitoring and a minimal cryptographic technique. The simulation results show the proposed protocol increases the number of participating nodes in data transmission to 95% of the total nodes. The proposed protocol also can identify the location of a compromised node which injects false data or drops a message. A communication overhead for tracing back a location of a compromised node is O(n) where n is the total number of nodes and the cost is the same or better than other existing solutions.

Dynamic Model Considering the Biases in SP Panel data (SP 패널데이터의 Bias를 고려한 동적모델)

  • 남궁문;성수련;최기주;이백진
    • Journal of Korean Society of Transportation
    • /
    • v.18 no.6
    • /
    • pp.63-75
    • /
    • 2000
  • Stated Preference (SP) data has been regarded as more useful than Revealed Preference (RP) data, because researchers can investigate the respondents\` Preference and attitude for a traffic condition or a new traffic system by using the SP data. However, the SP data has two bias: the first one is the bias inherent in SP data and the latter one is the attrition bias in SP panel data. If the biases do not corrected, the choice model using SP data may predict a erroneous future demand. In this Paper, six route choice models are constructed to deal with the SP biases, and. these six models are classified into cross-sectional models (model I∼IH) and dynamic models (model IV∼VI) From the six models. some remarkable results are obtained. The cross-sectional model that incorporate RP choice results of responders with SP cross-sectional model can correct the biases inherent in SP data, and also the dynamic models can consider the temporal variations of the effectiveness of state dependence in SP responses by assuming a simple exponential function of the state dependence. WESML method that use the estimated attrition probability is also adopted to correct the attrition bias in SP Panel data. The results can be contributed to the dynamic modeling of SP Panel data and also useful to predict more exact demand.

  • PDF

A Study on Methods of Quality Check for Digital Basemaps using Statistical Methods for the Quality Control (통계적 품질관리기법을 도입한 수치지도의 검수방법에 관한 연구)

  • 김병국;서현덕
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.17 no.1
    • /
    • pp.79-86
    • /
    • 1999
  • In this study, we investigated methods of quality check for digital basemaps and proposed effective methods of quality check. We used new statistical methods for quality control in order to carry out quality check for digital basemaps. We proposed 2-stage complete sampling and 2-stage cluster sampling method to improve present statistical methods of quality check(1-stage complete sampling method). We estimated error rate and number of omitted objects using simulated data about all delivered digital basemaps and estimated variances about it. We could determine confidence interval about error rate and number of omitted objects.

  • PDF