• The Korean Journal of Applied Statistics
• /
• v.31 no.1
• /
• pp.29-40
• /
• 2018

There are various reasons for missing values when collecting data. Missing values have some influence on the analysis and results; consequently, various methods of processing missing values have been studied to solve the problem. It is thought that the later point of view may be affected by the initial time point value in the repeated measurement data. However, in the existing method, there was no method for the imputation of missing values using this concept. Therefore, we proposed a new missing value imputation method in this study using clustering in initial time point of the repeated measurement data and the measure of property proposed by Kim and Kim (The Korean Communications in Statistics, 30, 463-473, 2017). We also applied the Monte Carlo simulations to compare the performance of the established method and suggested methods in repeated measurement data.

• Journal of Korea Water Resources Association
• /
• v.41 no.10
• /
• pp.1059-1065
• /
• 2008

Rainfall data is the most basic input data to analyze the hydrological phenomena and can be missing due to various reasons. In this research, a neural network based model to estimate missing rainfall data as approximate values was developed for 12 rainfall stations in the Soyang river basin to improve existing methods. This approach using neural network has shown to be useful in many applications to deal with complicated natural phenomena and displayed better results compared to the popular offline estimating methods, such as RDS(Reciprocal Distance Squared) method and AMM(Arithmetic Mean Method). Additionally, we proposed automated data reconciliation systems composed of a neural network learning processer to be capable of real-time reconciliation to transmit reliable hydrological data online.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.742-745
• /
• 2017

본 논문은 심장질환 도메인에 데이터 마이닝 기법을 적용한 연구로, 기존 환자의 정보에 대하여 K-최근접 이웃 알고리즘을 통해 결측 값을 대체하고, 대표적인 예측 분류기인 나이브 베이지안, 소포트 벡터 머신, 그리고 다층 퍼셉트론을 적용하여 각각 결과를 비교 및 분석한다. 본 연구의 실험은 K 최적화 과정을 포함하고 10-겹 교차 검증 방식으로 수행되었으며, 비교 및 분석은 정확도와 카파 통계치를 통해 판별한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.14-16
• /
• 2022

세계보건기구에 의해 미세먼지가 1급 발암물질로 지정됨에 따라, 건강에 미치는 영향에 대한 관심이 커지고 있다. 성장기 학생들은 학교에서 오랫동안 머무르게 되며, 따라서 교내 미세먼지는 학생들의 건강에 미치는 영향이 매우 클 수 있다. 본 연구에서는 1년동안 대상 학교에서 수집한 미세먼지 관련 데이터 및 공개된 Air Korea, 기상청 데이터를 활용하여, LSTM 기반 미세먼지 예측 모델을 개발하였다. 수집한 데이터에서 일부 오류나 결측치가 있었지만, 이를 활용한 미세먼지 예측 정확도는 충분히 가치가 있다고 판단된다.

• Korean Journal of Remote Sensing
• /
• v.37 no.6_1
• /
• pp.1507-1515
• /
• 2021

If chlorophyll-a is estimated through ocean color remote sensing, it is able to understand the global distribution of phytoplankton and primary production. However, there are missing data in the ocean color observed from the satellites due to the clouds or weather conditions. In thisstudy, the missing data of the GOCI (Geostationary Ocean Color Imager) chlorophyll-a product wasreconstructed by using DINEOF (Data INterpolation Empirical Orthogonal Functions). DINEOF reconstructs the missing data based on spatio-temporal data, and the accuracy was cross-verified by removing a part of the GOCI chlorophyll-a image and comparing it with the reconstructed image. In the study area, the optimal EOF (Empirical Orthogonal Functions) mode for DINEOF wasin 10-13. The temporal and spatialreconstructed data reflected the increasing chlorophyll-a concentration in the afternoon, and the noise of outliers was filtered. Therefore, it is expected that DINEOF is useful to reconstruct the missing images, also it is considered that it is able to use as basic data for monitoring the ocean environment.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.13-15
• /
• 2006

microRNA는 유전자의 전사 후 과정에서 negative regulation을 담당하는 small noncoding RNA의 한 증류이다. 최근까지 330여개의 인간 microRNA가 발견되었지만 그들의 기능이 밝혀진 것은 소수에 불과하다. microRNA의 기능은 3'UTR에 불완전 상보결합을 통해 negative regulation을 받게 되는 유전자의 기능으로부터 유추되는 것이 일반적이다. 특별히 유전체상에 군집화 된 microRNA들은 하나의 전사체로부터 발현되는 것으로 판단되며, 같은 또는 관련된 기능을 하거나 같은 목표 유전자를 조절하기 위한 functional family일 가능성이 높다. 또한 이러한 functional family는 하나의 전사체로부터 발현되기 때문에, 조직별로 조건별로 같은 발현 패턴을 보여야 한다. 본 연구에서는 발현데이터로부터 microRNA functional family를 탐색하기 위해, 5개의 연구 그룹에서 공개한 조직별 microRNA 발현데이터를 표준화 작업을 거친 후 통합하고 k-nearest neighbor 알고리즘을 이용해 결측치를 보정한 후 microRNA 발현사이의 correlation을 계산한다. 이때 데이터 통합에서 생기는 문제에 robust한 결과를 얻기 위해 실제 발현데이터가 아닌 rank 데이터부터 correlation을 측정한다. 계산된 spearman ranked correlation 결과와 microRNA의 genomic coordination 정보로부터 34개의 functional family를 정의할 수 있었다.

• The Journal of the Korea Contents Association
• /
• v.21 no.1
• /
• pp.277-283
• /
• 2021

Traffic data by vehicle classification are important data used as basic data in various fields such as road and traffic design. Traffic data is collected through permanent and temporary surveys and is provided as an annual average daily traffic (AATD) in the statistical yearbook of road traffic. permanent surveys are collected through traffic collection equipment (AVC), and the AVC consists of a loop sensor that detects traffic volume and a piezo sensor that detects the number of axes. Due to the nature of the buried type of traffic collection equipment, missing data is generated due to failure of detection equipment. In the existing method, it is corrected through historical data and the trend of traffic around the point. However, this method has a disadvantage in that it does not reflect temporal and spatial characteristics and that the existing data used for correction may also be a correction value. In this study, we proposed a method to correct the missing traffic volume by calculating the axis correction coefficient through the accumulated number of axes acquired by using a piezo sensor that can detect the axis of the vehicle. This has the advantage of being able to reflect temporal and spatial characteristics, which are the limitations of the existing methods, and as a result of comparative evaluation, the error rate was derived lower than that of the existing methods. The traffic volume correction system using axis count is judged as a correction method applicable to the field system with a simple algorithm.

• Journal of Korea Multimedia Society
• /
• v.24 no.2
• /
• pp.245-254
• /
• 2021

We proposed the research on an analysis and prediction model that allows the identification of outliers or abnormality in the data followed by effective and rapid imputation of missing values was conducted. This model is expected to analyze efficiently the problems in the data based on the calibrated raw data. As a result, a system that can adequately utilize the data was constructed by using the introduced KNN + MLE algorithm. With this algorithm, the problems in some of the existing KNN-based missing data imputation algorithms such as ignoring the missing values in some data sections or discarding normal observations were effectively addressed. A comparative evaluation was performed between the existing imputation approaches such as K-means, KNN, MEI, and MI as well as the data missing mechanisms including MCAR, MAR, and NI to check the effectiveness/efficiency of the proposed algorithm, and its superiority in all aspects was confirmed.

• Journal of Service Research and Studies
• /
• v.2 no.2
• /
• pp.35-43
• /
• 2012

Data mining is an interest area in all field around us not in any specific areas, which could be used applications in a number of areas heavily. In other words, it is used in the decision-making process, data and correlation analysis in hidden relations, for finding the actionable information and prediction. But some of the data sets contains many missing values in the variables and do not exist a large number of records in the data set. In this paper, missing values are handled in accordance with the model tree algorithm. Cholesterol value is applied for predicting. For the performance analysis, experiments are approached for each treatment. Through this, efficient alternative is presented to apply the missing data.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.217-217
• /
• 2023

상수도관망은 사용자에게 고품질의 물을 안정적으로 공급하는 것을 목적으로 하며, 이를 평가하기 위한 지표 중 하나로 압력을 활용한다. 최근 스마트 센서의 설치가 확장됨에 따라 기계학습기법을 이용한 실시간 데이터 기반의 분석이 활발하다. 따라서 어디에서 데이터를 수집하느냐에 대한 센서 위치 결정이 중요하다. 본 연구는 eXtreme Gradient Boosting(XGBoost) 모델을 활용하여 대규모 상수도관망 내 센서 위치를 최적화하는 방법론을 제안한다. XGBoost 모델은 여러 의사결정 나무(decision tree)를 활용하는 앙상블(ensemble) 모델이며, 오차에 따른 가중치를 부여하여 성능을 향상시키는 부스팅(boosting) 방식을 이용한다. 이는 분산 및 병렬 처리가 가능해 메모리리소스를 최적으로 사용하고, 학습 속도가 빠르며 결측치에 대한 전처리 과정을 모델 내에 포함하고 있다는 장점이 있다. 모델 구현을 위한 독립 변수 결정을 위해 압력 데이터의 변동성 및 평균압력 값을 고려하여 상수도관망을 대표하는 중요 절점(critical node)를 선정한다. 중요 절점의 압력 값을 예측하는 XGBoost 모델을 구축하고 모델의 성능과 요인 중요도(feature importance) 값을 고려하여 센서의 최적 위치를 선정한다. 이러한 방법론을 기반으로 상수도관망의 특성에 따른 경향성을 파악하기 위해 다양한 형태(예를 들어, 망형, 가지형)와 구성 절점의 수를 변화시키며 결과를 분석한다. 본 연구에서 구축한 XGBoost 모델은 추가적인 전처리 과정을 최소화하며 대규모 관망에 간편하게 사용할 수 있어 추후 다양한 입출력 데이터의 조합을 통해 센서 위치 외에도 상수도관망에서의 성능 최적화에 활용할 수 있을 것으로 기대한다.