• 제목/요약/키워드: Missing data pattern

검색결과 74건 처리시간 0.021초

한반도 연안 조위자료의 결측 양상 (Missing Pattern of the Tidal Elevation Data in Korean Coasts)

  • 조홍연;고동휘;정신택
    • 한국해안·해양공학회논문집
    • /
    • 제23권6호
    • /
    • pp.496-501
    • /
    • 2011
  • 우리나라 연안 조위자료의 결측양상을 분석 제시하였다. 결측구간은 결측정보지시행렬을 이용하여 전체적인 결측양상을 파악할 수 있도록 도시하였으며, 시간적 공간적인 결측비율도 분석하여 제시하였다. 전반적으로 조위의 결측비율은 낮은 수준이나, 결측이 특정 조위관측소에 집중되는 경향을 보이고 있다. 또한 연속적인 결측자료 발생간격에 대한 자기상관함수를 분석한 결과, 조위자료의 결측은 무작위적으로 발생하고 있는 것으로는 파악되었다.

Bayesian Pattern Mixture Model for Longitudinal Binary Data with Nonignorable Missingness

  • Kyoung, Yujung;Lee, Keunbaik
    • Communications for Statistical Applications and Methods
    • /
    • 제22권6호
    • /
    • pp.589-598
    • /
    • 2015
  • In longitudinal studies missing data are common and require a complicated analysis. There are two popular modeling frameworks, pattern mixture model (PMM) and selection models (SM) to analyze the missing data. We focus on the PMM and we also propose Bayesian pattern mixture models using generalized linear mixed models (GLMMs) for longitudinal binary data. Sensitivity analysis is used under the missing not at random assumption.

결측이 있는 이산형 공변량에 대한 Cox비례위험모형의 패턴-혼합 모델 (Pattern-Mixture Model of the Cox Proportional Hazards Model with Missing Binary Covariates)

  • 육태미;송주원
    • 응용통계연구
    • /
    • 제25권2호
    • /
    • pp.279-291
    • /
    • 2012
  • 공변량에 결측이 발생한 Cox 비례위험 모형을 적합할 때, 결측이 발생하는 개체를 모두 제거한 후 분석을 실시한다면 정보 손실에 의해 비효율적이고 결측의 발생 메커니즘이 완전 임의 결측(missing completely at random; MCAR)이 아니라면 모수의 추정값에 편향이 발생할 수 있다. Cox 비례위험 회귀모형의 공변량에 결측이 있는 경우 적용할 수 있는 여러 가지 방법들이 제안되어져 왔으나 이 분석들은 선택모델(selection model)에 기반하고 있다. 본 연구에서는 Little (1993)이 제안한 패턴-혼합 모델(pattern-mixture model)을 사용하여 Cox 비례위험 회귀모형에서 생존시간과 결측 메커니즘의 결합분포를 모델화 하고, 여러 가지 제약에 근거한 생존 분석의 결과를 비교하였다. 모의실험을 통해서 패턴-혼합 모델의 제약(restrictions)에 따른 모수 추정의 민감도를 확인하였고 결측을 무시한 채 분석한 결과 및 선택모형에 근거한 분석결과와 비교하였다. 패턴-혼합 모델의 제약에 따라 공변량의 결측으로 인한 모수 추정의 민감성 정도를 쥐백혈병 자료 예제를 통해 설명하였다.

Likelihood Ratio Criterion for Testing Sphericity from a Multivariate Normal Sample with 2-step Monotone Missing Data Pattern

  • Choi, Byung-Jin
    • Communications for Statistical Applications and Methods
    • /
    • 제12권2호
    • /
    • pp.473-481
    • /
    • 2005
  • The testing problem for sphericity structure of the covariance matrix in a multivariate normal distribution is introduced when there is a sample with 2-step monotone missing data pattern. The maximum likelihood method is described to estimate the parameters on the basis of the sample. Using these estimates, the likelihood ratio criterion for testing sphericity is derived.

Missing Pattern Analysis of the GOCI-I Optical Satellite Image Data

  • Jeon, Ho-Kun;Cho, Hong Yeon
    • Ocean and Polar Research
    • /
    • 제44권2호
    • /
    • pp.179-190
    • /
    • 2022
  • Data missing in optical satellite images caused by natural variations have been a crucial barrier in observing the status of marine surfaces. Although there have been many attempts to fill the gaps of non-observation, there is little research to analyze the ratio of missing grids to overall sea grids and their seasonal patterns. This report introduces the method of quantifying the distribution of missing points and then shows how the missing points have spatial correlation and seasonal trends. Both temporal and spatial integration methods are compared to assess the effectiveness of reducing missing data. The temporal integration shows more outstanding performance than the spatial integration. Moran's I and K-function with statistical hypothesis testing show that missing grids are clustered and there is a non-random distribution from daily integration. The result of the seasonality test for Moran's I through a periodogram shows dependency on full-year, half-year, and quarter-year periods respectively. These analysis results can be used to deduce appropriate integration periods with permissible estimation errors.

무응답이 있는 설문조사연구의 접근법 : 한국노인약물역학코호트 자료의 평가 (An Approach to Survey Data with Nonresponse: Evaluation of KEPEC Data with BMI)

  • 백지은;강위창;이영조;박병주
    • Journal of Preventive Medicine and Public Health
    • /
    • 제35권2호
    • /
    • pp.136-140
    • /
    • 2002
  • Objectives : A common problem with analyzing survey data involves incomplete data with either a nonresponse or missing data. The mail questionnaire survey conducted for collecting lifestyle variables on the members of the Korean Elderly Phamacoepidemiologic Cohort(KEPEC) in 1996 contains some nonresponse or missing data. The proper statistical method was applied to evaluate the missing pattern of a specific KEPEC data, which had no missing data in the independent variable and missing data in the response variable, BMI. Methods : The number of study subjects was 8,689 elderly people. Initially, the BMI and significant variables that influenced the BMI were categorized. After fitting the log-linear model, the probabilities of the people on each category were estimated. The EM algorithm was implemented using a log-linear model to determine the missing mechanism causing the nonresponse. Results : Age, smoking status, and a preference of spicy hot food were chosen as variables that influenced the BMI. As a result of fitting the nonignorable and ignorable nonresponse log-linear model considering these variables, the difference in the deviance in these two models was 0.0034(df=1). Conclusion : There is a lot of risk if an inference regarding the variables and large samples is made without considering the pattern of missing data. On the basis of these results, the missing data occurring in the BMI is the ignorable nonresponse. Therefore, when analyzing the BMI in KEPEC data, the inference can be made about the data without considering the missing data.

범주형 자료의 결측치 추정방법 성능 비교 (Comparing Accuracy of Imputation Methods for Categorical Incomplete Data)

  • 신형원;손소영
    • 응용통계연구
    • /
    • 제15권1호
    • /
    • pp.33-43
    • /
    • 2002
  • 범주형 데이터의 결측치 추정을 위하여 최빈 범주법, 로지스틱 회귀분석, 연관규칙과 같은 다양한 방법이 연구되어 왔다. 본 연구에서는 이러한 방법의 추정 값을 결합하는 신경망 융합과 투표융합 방법을 제안하고 이의 성능을 시뮬레이션을 이용하여 비교하였다. 실험에 사용된 데이터의 특성을 나타내는 인자로는 (1) 입출력 변수간의 연결함수, (2) 데이터의 크기, (3) 노이즈의 크기 (4) 결측치의 비율, (5) 결측발생 함수를 사용하였다. 분석결과는 다음과 같다. 데이터의 크기가 작고 결측 발생 비율이 높으면 최빈 범주법, 연관규칙, 신경망 융합의 성능이 높게 나타났으며 데이터의 크기가 작고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 로지스틱 회귀분석, 신경망 융합의 성능이 높게 나타났다. 데이터의 크기가 크고, 결측치의 비율이 낮으면서, 노이즈가 크고 결측발생 확률이 결측이 안된 나머지 변수에 높은 의존관계가 있으면 신경망 융합의 성능이 높게 나타났다.

임상시험에서 이분형 결측치 처리방법의 비교연구 (Comparison of binary data imputation methods in clinical trials)

  • 안구성;김동재
    • 응용통계연구
    • /
    • 제29권3호
    • /
    • pp.539-547
    • /
    • 2016
  • 임상시험에서 흔히 발생하는 결측치 중 이분형 결측치에 대한 논의를 하였다. 본 논문에서는 결측치가 발생하는 기재를 논의하고 기존의 여러 이분형 결측치 대체 방법과 수정된 결측치 대체방법을 소개하였다. 이후 각 결측치 대체 방법을 실제 자료에 적용하여 모의 실험을 진행하였다. 실제 자료의 성격 및 결측률의 변화에 따른 결측치 대체 방법들의 성능비교를 통해 진행하였다. 마지막으로 각 결측치 대체 방법에 대한 모의 실험 결과를 요약하고 토의하였다.

시간경로 유전자 발현자료에서 패턴일치지수와 적응 최근접 이웃을 활용한 결측값 대치법 (Missing values imputation for time course gene expression data using the pattern consistency index adaptive nearest neighbors)

  • 신혜서;김동재
    • 응용통계연구
    • /
    • 제33권3호
    • /
    • pp.269-280
    • /
    • 2020
  • 시간경로 유전자 발현 자료는 마이크로어레이 실험을 시간에 따라 관측한 대용량의 자료로 유전자 발현 수준을 동시에 파악할 수 있다. 하지만 실험 과정이 복잡하여 다양한 원인들에 의해 결측값이 자주 발생한다. 본 논문에서는 시간경로 유전자 발현 자료에 대한 결측값을 추정하는 방법으로 패턴 적응 최근접 이웃(pattern consistency index adaptive nearest neighbors; PANN) 방법을 제안하였다. 이 방법은 국소적 특징을 반영하는 적응 최근접 이웃(adaptive nearest neighbors; ANN) 방법과 관측 시점간 유전자 발현의 일치 정도를 고려하는 패턴일치지수를 결합시킨 것이다. 제안한 PANN 방법의 효능을 평가하기 위하여 두 가지의 실제 시간경로 자료들을 사용하여 몬테카를로 모의실험(Monte Carlo simulation study)을 시행하였다.

Comparing Accuracy of Imputation Methods for Incomplete Categorical Data

  • Shin, Hyung-Won;Sohn, So-Young
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2003년도 춘계 학술발표회 논문집
    • /
    • pp.237-242
    • /
    • 2003
  • Various kinds of estimation methods have been developed for imputation of categorical missing data. They include modal category method, logistic regression, and association rule. In this study, we propose two imputation methods (neural network fusion and voting fusion) that combine the results of individual imputation methods. A Monte-Carlo simulation is used to compare the performance of these methods. Five factors used to simulate the missing data are (1) true model for the data, (2) data size, (3) noise size (4) percentage of missing data, and (5) missing pattern. Overall, neural network fusion performed the best while voting fusion is better than the individual imputation methods, although it was inferior to the neural network fusion. Result of an additional real data analysis confirms the simulation result.

  • PDF