• 제목/요약/키워드: Data imputation

검색결과 199건 처리시간 0.021초

Variance Estimation for Imputed Survey Data using Balanced Repeated Replication Method

  • Lee, Jun-Suk;Hong, Tae-Kyong;Namkung, Pyong
    • Communications for Statistical Applications and Methods
    • /
    • 제12권2호
    • /
    • pp.365-379
    • /
    • 2005
  • Balanced Repeated Replication(BRR) is widely used to estimate the variance of linear or nonlinear estimators from complex sampling surveys. Most of survey data sets include imputed missing values and treat the imputed values as observed data. But applying the standard BRR variance estimation formula for imputed data does not produce valid variance estimators. Shao, Chen and Chen(1998) proposed an adjusted BRR method by adjusting the imputed data to produce more accurate variance estimators. In this paper, another adjusted BRR method is proposed with examples of real data.

무응답모형에 기반한 출구조사의 예측 정확성 비교 연구 (A comparison study for accuracy of exit poll based on nonresponse model)

  • 곽정애;최보승
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권1호
    • /
    • pp.53-64
    • /
    • 2014
  • 조사를 통한 선거 예측을 수행하는 데 있어서 발생할 수 있는 문제점 가운데 하나는 무응답이라 할 수 있으며 무응답 대체에 대한 방법에 따라 예측 결과는 완전히 다른 결과를 생산해 낼 수 있다. 특히 대통령 선거와 같은 민감한 주제에 대한 선거에서는 무응답 대체가 더욱 더 중요하다. 본 연구에서는 무응답 대체의 방법으로 모형에 기반을 둔 대체 방법에 대하여 연구를 진행하였다. 모형에 기반을 둔 대체 방법에서는 무응답 체계의 가정에 따라 무응답 모형을 구축할 수 있으며 무응답 체계에 따라 각기 다른 대체 결과를 제공할 수 있다. 모형에 기반을 둔 무응답 대체 및 추정에서 적절한 무응답 체계의 가정은 정확한 모형 추정을 위한 매우 중요한 전제 조건이다. 그러나 무응답 체계의 가정에 대한 검증 절차는 아직 정확한 해법이 알려지지 않은 상황이다. 본 연구에서는 실제 자료를 이용한 모형적합을 통하여 무응답 체계 가정에 대한 정확도를 비교하고자 하였다. 2012년에 시행된 18대 대통령 선거과정에서 수행된 출구조사 결과를 이용하여 무응답 체계의 가정에 대한 검증과 모형에 의한 예측 정확도를 비교하였다. 무응답 모형의 추정과 무응답 대체를 위하여 EM 알고리즘에 기반을 둔 최대우도 추정방법을 이용하였으며 예측 결과를 비교하기 위하여 Bautista 등 (2007)이 제안한 MWPE(modified within precinct error)를 이용하였다.

AR 프로세스를 이용한 도산예측모형 (Bankruptcy Prediction Model with AR process)

  • 이군희;지용희
    • 한국경영과학회지
    • /
    • 제26권1호
    • /
    • pp.109-116
    • /
    • 2001
  • The detection of corporate failures is a subject that has been particularly amenable to cross-sectional financial ratio analysis. In most of firms, however, the financial data are available over past years. Because of this, a model utilizing these longitudinal data could provide useful information on the prediction of bankruptcy. To correctly reflect the longitudinal and firm-specific data, the generalized linear model with assuming the first order AR(autoregressive) process is proposed. The method is motivated by the clinical research that several characteristics are measured repeatedly from individual over the time. The model is compared with several other predictive models to evaluate the performance. By using the financial data from manufacturing corporations in the Korea Stock Exchange (KSE) list, we will discuss some experiences learned from the procedure of sampling scheme, variable transformation, imputation, variable selection, and model evaluation. Finally, implications of the model with repeated measurement and future direction of research will be discussed.

  • PDF

실시간 누락 교통자료의 대체기법에 관한 연구 (Study on Imputation Methods of Missing Real-Time Traffic Data)

  • 장진환;류승기;문학룡;변상철
    • 한국ITS학회 논문지
    • /
    • 제3권1호
    • /
    • pp.45-52
    • /
    • 2004
  • 현재 여러 지자체에서 혼잡한 도시교통의 이동성 및 안전성을 향상시키기 위해 첨단교통관리체계(ITS)를 구축 $\cdot$ 운영중인데 이러한 시스템에서 수집하는 교통상황에 대한 실시간 자료가 노면상황, 악천후, 통신 및 장비자체의 결함 등으로 인해 수많은 자료가 결측된다. 이러한 결측 자료로 인해 통행시간 예측 및 각종 연구가 불가능한 경우가 발생하며 또한 도로의 계획과 기하구조 설계시 기본 자료가 되는 AADT 및 DHV 등의 교통 파라메터들이 과소 또는 과대 추정될 수 있어서 심각한 손해를 끼칠수 있다. 따라서 본 연구에서는 부득이하게 누락되는 교통량 자료에 대해 전 $\cdot$ 후기간 평균, 회귀 모형, EM, 시계열 모형들을 활용한 대체기법들을 살펴보았고, 그 결과 시계열 모형을 이용한 대체의 경우 MAPE, 불균등계수, RMSE 가 각각 5.0$\%$, 0.030, 110으로 가장 좋은 결과를 보였고 나머지 대체기법들은 평가지표에 따라 조금씩 다른 결과를 보였으나 대체로 만족할 만한 수준의 결과를 낳았다

  • PDF

A Big Data-Driven Business Data Analysis System: Applications of Artificial Intelligence Techniques in Problem Solving

  • Donggeun Kim;Sangjin Kim;Juyong Ko;Jai Woo Lee
    • 한국빅데이터학회지
    • /
    • 제8권1호
    • /
    • pp.35-47
    • /
    • 2023
  • It is crucial to develop effective and efficient big data analytics methods for problem-solving in the field of business in order to improve the performance of data analytics and reduce costs and risks in the analysis of customer data. In this study, a big data-driven data analysis system using artificial intelligence techniques is designed to increase the accuracy of big data analytics along with the rapid growth of the field of data science. We present a key direction for big data analysis systems through missing value imputation, outlier detection, feature extraction, utilization of explainable artificial intelligence techniques, and exploratory data analysis. Our objective is not only to develop big data analysis techniques with complex structures of business data but also to bridge the gap between the theoretical ideas in artificial intelligence methods and the analysis of real-world data in the field of business.

무선통신기반 교통정보수집체계하에서의 차량주행궤적정보 결측치 보정방안 (A Comprehensive Method to Impute Vehicle Trajectory Data Collected in Wireless Traffic Surveillance Environments)

  • 연지윤;김현미;오철;김원규
    • 대한교통학회지
    • /
    • 제27권4호
    • /
    • pp.175-181
    • /
    • 2009
  • 지능형교통체계(ITS : Intelligent Transportation Systems)는 도로이용자들로 하여금 다양한 교통환경에서 도로를 좀 더 효율적으로 이용하게 해 주었다. 기존의 지점검지체계 기반의 교통정보 수집 및 제공시스템에서 오는 한계점을 극복하기 위해 최근 들어서는 차량-차량간 및 차량-인프라간 통신기술을 바탕으로 하는 교통자료 수집 및 제공에 관한 연구가 다양하게 진행되고 있다. 그러나 차량간 및 차량과 인프라간 통신은 무선으로 이루어지기 때문에 주변 환경의 영향(건물, 날씨, 대형차량 등)으로 인해 통신 실패가 빈번히 발생하여 교통정보수집의 신뢰성을 저하시키고 있다. 본 연구에서는 무선통신기반 교통정보수집시 통신 실패로 인한 차량의 주행궤적정보가 결측되었을 경우 이를 보정할 수 있는 방법론을 개발하였다. 먼저 차량의 주행궤적자료 결측 보정을 위한 기존의방법들 및 무선통신기반 교통자료수집을 위한 요구조건들을 검토하였다. 다음으로 AIMSUN을 이용하여 차량의 주행궤적자료를 수집하였고, 이를 바탕으로 임의의 결측치를 생성하였다. 결측된 자료는 기존의 교통자료 결측치 보정 방법과 본 연구에서 수정된 방법을 적용하여 보정한 후 비교 분석해 보았다. 분석결과 무선통신기반 교통수집체계하에서 통신 단절로 인한 결측치는 기존의 방법보다는 차량의 주행궤적 특성을 고려해서 수정된 방법으로 보정했을 경우 좀 더 정확한 교통정보를 수집할 수 있었다.

주성분 분석을 활용한 재현자료 생성 (Synthetic data generation by probabilistic PCA)

  • 박민정
    • 응용통계연구
    • /
    • 제36권4호
    • /
    • pp.279-294
    • /
    • 2023
  • 재현자료를 생성할 때 순차회귀 다중대체(SRMI)를 이용하는 방식이 가장 널리 알려져 있으며, 이를 구현한 소프트웨어로 R-패키지 synthpop이 활용되고 있다. 본 논문에서는 확률적 주성분 분석(PPCA)을 이용하여 재현자료를 생성하는 방안을 제안하고 2개의 데이터 세트를 이용한 모의실험으로 SRMI 방식과 PPCA 방식을 비교하였다. 모의실험에서 PPCA 방식으로 생성한 재현자료는 쌍별 상관계수를 기준으로 원자료와의 유사성이 가장 우수함을 확인하였다. 향후 PPCA 방식을 이용하여 시계열 자료에 대한 재현자료 생성을 연구하고자 한다.

A nonnormal Bayesian imputation

  • 신민웅;이진희;이주영;이상은
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2000년도 추계학술발표회 논문집
    • /
    • pp.51-56
    • /
    • 2000
  • When the standard inference is to be used with complete data and nonresponse is ignorable, then multiple imputations should be created as repetitions under a Bayesian normal model. Many Bayesian models besides the normal, however, approximately yield the standard inference with complete data and thus many such models can be used to create proper imputations. We consider the Bayesian bootstrap (BB) application.

  • PDF

과학기술연구개발활동조사의 개선방안 -기업부문을 중심으로- (Policies for Improving the Survey of Research and Development in Science and Technology: The Case of Industrial Sector)

  • 유승훈;문혜선
    • 기술혁신학회지
    • /
    • 제5권2호
    • /
    • pp.228-244
    • /
    • 2002
  • The survey of research and development (R&D) in science and technology (S&T) covers the current status of R&D activities in S&T in Korea, and provides a basis for decision making regarding S&T policy. Continuous improvement of the survey is widely needed to present reliable national basic statistics. Therefore, the purpose of the study is two-fold: to introduce sampling survey method in industrial sector and to make statistical technique to deal with non-response data from industrial sector. To these ends, first, case studies of the United States and Japan are illustrated. A new sampling design for the R&D survey is proposed and implementing stratified random sampling scheme is suggested. Moreover, statistical analysis of the non-response data is dealt with. Based on several screening criteria, we develop a new imputation method suitable for the R&D survey and also provide more detailed implementation plan. Various solutions to a problem arising from non-response item are also presented. Finally, some implications of the results are discussed.

  • PDF

시계열 분석을 이용한 진동만의 용존산소량 예측 (Prediction of Dissolved Oxygen in Jindong Bay Using Time Series Analysis)

  • 한명수;박성은;최영진;김영민;황재동
    • 해양환경안전학회지
    • /
    • 제26권4호
    • /
    • pp.382-391
    • /
    • 2020
  • 본 연구에서는 인공지능기법을 이용하여 진동만의 용존산소량 예측을 하였다. 관측자료에 존재하는 결측 구간을 보간하기 위해 양방향재귀신경망(BRITS, Bidirectional Recurrent Imputation for Time Series) 딥러닝 알고리즘을 이용하였고, 대표적 시계열 예측 선형모델인 ARIMA(Auto-Regressive Integrated Moving Average)과 비선형모델 중 가장 많이 이용되고 있는 LSTM(Long Short-Term Memory) 모델을 이용하여 진동만의 용존산소량을 예측하고 그 성능을 평가했다. 결측 구간 보정 실험은 표층에서 높은 정확도로 보정이 가능했으나, 저층에서는 그 정확도가 낮았으며, 중층에서는 실험조건에 따라 정확도가 불안정하게 나타났다. 실험조건에 따라 정확도가 불안정하게 나타났다. 결과로부터 LSTM 모델이 중층과 저층에서 ARIMA 모델보다 우세한 정확도를 보였으나, 표층에서는 ARIMA모델의 정확도가 약간 높은 것으로 나타났다.