• 제목/요약/키워드: missing data estimation method

검색결과 87건 처리시간 0.025초

CFAR 적용시 섹션 크기 가변화를 이용한 오표적의 효율적 제거 (Effective Elimination of False Alarms by Variable Section Size in CFAR Algorithm)

  • 노지은;최병관;이희영
    • 한국군사과학기술학회지
    • /
    • 제14권1호
    • /
    • pp.100-105
    • /
    • 2011
  • Generally, because received signals from radar are very bulky, the data are divided into manageable size called section, and sections are distributed into several digital signal processors. And then, target detection algorithms are applied simultaneously in each processor. CFAR(Constant False Alarm Rate) algorithm, which is the most popular target detection algorithm, can estimate accurate threshold values to determine which signals are targets or noises within center-cut of section allocated to each processor. However, its estimation precision is diminished in section edge data because of insufficient surrounding data to be referred. Especially this edge problem of CFAR is too serious if we have many sections to be processed, because it causes many false alarms in most every section edges. This paper describes false alarm issues on MCA(Minimum Cell Average)-CFAR, and proposes a false alarm elimination method by changing section size alternatively. Real received data from multi-function radar were used to evaluate a proposed method, and we show that our method drastically decreases false alarms without missing real targets, and improves detection performance.

결측되었거나 구간중도절단된 중간사건을 가진 준경쟁적위험 자료에 대한 가산위험모형 (Additive hazards models for interval-censored semi-competing risks data with missing intermediate events)

  • 김자연;김진흠
    • 응용통계연구
    • /
    • 제30권4호
    • /
    • pp.539-553
    • /
    • 2017
  • 본 논문에서는 사망과 같은 종말사건의 발생 유무는 알고 있지만 치매 발병과 같은 중간사건이 구간중도절단 되었거나 연구 기간 도중에 추적이 끊겨 결측된 준경쟁적위험 자료에 대해 다중상태모형을 적용하여 모수를 추정하는 방법을 제안하였다. 이를 위해 본 논문에서는 상태 간의 전이강도는 로그정규 프레일티를 랜덤효과로 가진 Lin과 Ying(1994)의 가산위험모형을 따른다고 가정하였다. 다섯 가지 상태를 가진 다중상태모형에서 가능한 여섯 가지 경로별로 조건부우도를 정의하였고, 주변우도를 구하기 위해 조정중요표본추출법을 적용하였으며 반복유사뉴튼 방법으로 최적해를 구하였다. 소표본 모의실험을 통해 모수의 95% 신뢰구간 포함률이 명목값에 얼마나 가까운지 살펴보았으며, 제안한 모형을 Persones $Ag{\acute{e}}es$ Quid (PAQUID) 자료 (Helmer 등, 2001)에 적용하고 그 결과를 해석하였다.

무응답을 가지고 있는 범주형 자료에 대한 모형 선택 방법 (Model selection method for categorical data with non-response)

  • 윤용화;최보승
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권4호
    • /
    • pp.627-641
    • /
    • 2012
  • 본 연구는 다차원 분할표 형태로 정리된 범주형 자료가 결측치나 무응답을 가지고 있을 때 주어진 자료를 가장 잘 설명하고 예측의 정확도를 높일 수 있는 모형의 추정과 모형의 선택 문제를 다루었다. 무시할 수 없는 무응답 (non-ignorable non-response)체계하에서 최대우도 추정에서 발생할 수 있는 변방값 문제를 해결하기 위하여 계층적 베이지안 모형을 고려하였다. 또한 모형 적도를 높이기 위한 변수 조합을 찾는 모형 선택의 문제를 함께 다루었다. 베이지안 접근하에서 모형 선택의 문제를 다루기 위하여 베이즈 인자 (Bayes factor)를 모형 선택의 기준으로 이용하였다. 제시된 방법은 2004년 실시된 우리나라 국회의원 선거를 앞두고 수행된 여론조사 데이터를 이용하여 실증분석을 수행하였다. 분석결과 무시할 수 없는 무응답 체계하에서 설명변수로 투표참여여부를 이용하는 것이 가장 적합한 모형으로 판명되었다.

Monte-Carlo expectation-maximaization 방법을 이용한 무응답 모형 추정방법 (An estimation method for non-response model using Monte-Carlo expectation-maximization algorithm)

  • 최보승;유현상;윤용화
    • Journal of the Korean Data and Information Science Society
    • /
    • 제27권3호
    • /
    • pp.587-598
    • /
    • 2016
  • 각종 선거를 앞두고 여러 여론조사 기관들은 다양한 방법으로 선거 결과를 예측한다. 조사를 통한 선거 예측을 수행하는 데 있어서 발생할 수 있는 문제점 중 하나는 무응답이며 무응답 대체 방법에 따라 예측 결과는 완전히 다른 결과를 생산해 낼 수 있다. 본 연구에서는 무응답 대체의 방법으로 모형을 기반으로 한 대체 방법에 대하여 연구하였다. 특히, 최대 우도 추정 방법을 적용했을 때 무시할 수 없는 무응답 (non-ignorable non-response) 체계 하에서 발생할 수 있는 변방 값 문제를 해결하기 위해 Wei와 Tanner (1990)가 제안한 Monte Carlo EM 알고리즘을 적용하였다. 모의 실험을 통하여 MCEM 방법과 기존의 최대 우도 추정 방법, 베이지안 추정 방법 사이의 비교 연구를 진행하였고 그 결과 MCEM 방법이 기존 방법들에 대한 대안 방법으로 이용될 수 있음을 보였다. 또한 2012년에 시행된 제18대 대통령 선거 당일의 출구조사 자료를 적용하여 실증 분석을 수행하였다. 예측 결과를 비교하기 위해 Bautista 등 (2007)이 제안한 MWPE (modified within precinct error)를 이용하였다.

확장 칼만 필터를 이용한 유량자료의 실시간 품질향상: 1. 알고리즘 구축 및 단일지점에의 적용 (Use of the Extended Kalman Filter for the Real-Time Quality Improvement of Runoff Data: 1. Algorithm Construction and Application to One Station)

  • 유철상;황정호;김정호
    • 한국수자원학회논문집
    • /
    • 제45권7호
    • /
    • pp.697-711
    • /
    • 2012
  • 본 연구에서는 자료동화기법의 하나인 확장 칼만 필터를 이용하여 유량자료의 실시간 품질향상을 수행하였다. 확장 칼만 필터의 상태-공간모형은 강우-유출모형과 관측유량자료를 이용하여 구성하였다. 본 연구에서는 실시간 품질향상 목적을 댐 유입량의 비정상적 고변동성 억제 및 관측유량의 결 오측 보완으로 구분하였으며, 각각의 경우에 적절한 확장 칼만 필터 모형을제시하였다. 이들 모형의 차이는 칼만이득 계산에 필요한 공분산 함수의 추정에 변동성만을 고려하는냐 또는 편의까지를 포함하느냐로 나타난다. 본 연구는 충주댐 유역을 대상으로 적용하였으며, 그 결과 제시된 모형들이 댐 유입량자료나 결 오측이 포함된 유량자료의 실시간 품질향상에 효과적으로 작동함을 확인하였다.

Efficiency and Robustness of Fully Adaptive Simulated Maximum Likelihood Method

  • Oh, Man-Suk;Kim, Dai-Gyoung
    • Communications for Statistical Applications and Methods
    • /
    • 제16권3호
    • /
    • pp.479-485
    • /
    • 2009
  • When a part of data is unobserved the marginal likelihood of parameters given the observed data often involves analytically intractable high dimensional integral and hence it is hard to find the maximum likelihood estimate of the parameters. Simulated maximum likelihood(SML) method which estimates the marginal likelihood via Monte Carlo importance sampling and optimize the estimated marginal likelihood has been used in many applications. A key issue in SML is to find a good proposal density from which Monte Carlo samples are generated. The optimal proposal density is the conditional density of the unobserved data given the parameters and the observed data, and attempts have been given to find a good approximation to the optimal proposal density. Algorithms which adaptively improve the proposal density have been widely used due to its simplicity and efficiency. In this paper, we describe a fully adaptive algorithm which has been used by some practitioners but has not been well recognized in statistical literature, and evaluate its estimation performance and robustness via a simulation study. The simulation study shows a great improvement in the order of magnitudes in the mean squared error, compared to non-adaptive or partially adaptive SML methods. Also, it is shown that the fully adaptive SML is robust in a sense that it is insensitive to the starting points in the optimization routine.

서울시 고밀도 지상강우자료 품질관리방안 도출 (Deduction of Data Quality Control Strategy for High Density Rain Gauge Network in Seoul Area)

  • 윤성심;이병주;최영진
    • 한국수자원학회논문집
    • /
    • 제48권4호
    • /
    • pp.245-255
    • /
    • 2015
  • 고해상도의 정량적 실황강우장을 산정하기 위해서는 양질의 고밀도 강우관측망 정보가 필요하다. 이를 위해 본 연구에서 정량적 실황강우장 산정을 위한 입력자료로 SK 플래닛의 고밀도 복합기상센서 관측망과 기존 기상청 관측망을 이용하고자 하였다. 이를 위해 서울지역에 위치한 SK 플래닛의 복합기상센서 관측망을 소개하고, 2013년 7~9월 3개월 동안의 관측자료의 품질을 분석하였다. 품질분석 결과, SK 플래닛 관측소가 일부 관측소를 제외하고 대부분 기존 관측망과 유사하게 강우를 관측하는 것을 확인할 수 있었다. 다만, 일시적인 기계 및 자료 전송 오류로 인해 발생할 수 있는 결측치 및 이상치가 미치는 영향을 최대한 저감하기 위해서 오자료를 실시간으로 보정할 수 있는 품질보정 기법을 개발하였으며, 개발된 기법이 적절히 강우를 보정하는 것을 확인하였다. 이를 통해 결측률이 20% 미만이면서 오자료의 영향이 최소가 되는 190개소(기상청 34개소, SK 플래닛 156 개소)를 정량적 실황강우장 산정에 활용하였다. 또한, 약 $3km^2$의 밀도를 갖는 고해상도 관측망을 이용하여 산정된 강우분포장의 재현성을 기존 기상청 관측망의 결과비교를 통해 평가한 결과, 고밀도 관측망을 통해 산정된 강우분포장의 빈도곡선이 레이더 공간분포장과 유사하며, 기존 기상청 관측망의 공백을 보완할 수 있음을 확인하였다. 특히, 이 결과를 통해 고밀도의 강우관측 결과를 활용한다면 레이더 참강우장에 근사한 공간분포된 강우를 산정할 수 있다는 것을 확인할 수 있었다.

상관계수가중치법을 적용한 실시간 강우량 추정에 따른 도로 침수위험지수 개발 방법에 대한 연구 (Study on the Method of Development of Road Flood Risk Index by Estimation of Real-time Rainfall Using the Coefficient of Correlation Weighting Method)

  • 김은미;이경현;김창수
    • 한국멀티미디어학회논문지
    • /
    • 제17권4호
    • /
    • pp.478-489
    • /
    • 2014
  • Recently, flood damage by frequent localized downpours in cities are on the increase on account of abnormal climate phenomena and growth of impermeable area by urbanization. In this study, we are focused on flooding on roads which is the basis of all means of transportation. To calculate real-time accumulated rainfall on a road link, we use the Coefficient of Correlation Weighting method (CCW) which is one of the revised methods of missing rainfall as we consider a road link as a unobserved rainfall site. CCW and real-time accumulated rainfall entered through the Internet are used to estimate the real-time rainfall on a road link. Together with the real-time accumulated rainfall, flooding history, rainfall range causing flooding of a road link and frequency probability precipitation for road design are used as factors to determine the Flood Risk Index on roads. We simulated two cases in the past, July, 7th, 2009 and July, 15th, 2012 in Busan. As a result, all of road links included in the actual flooded roads at that time got the high level of flood risk index.

Probabilistic Modeling of Fish Growth in Smart Aquaculture Systems

  • Jongwon Kim;Eunbi Park;Sungyoon Cho;Kiwon Kwon;Young Myoung Ko
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권8호
    • /
    • pp.2259-2277
    • /
    • 2023
  • We propose a probabilistic fish growth model for smart aquaculture systems equipped with IoT sensors that monitor the ecological environment. As IoT sensors permeate into smart aquaculture systems, environmental data such as oxygen level and temperature are collected frequently and automatically. However, there still exists data on fish weight, tank allocation, and other factors that are collected less frequently and manually by human workers due to technological limitations. Unlike sensor data, human-collected data are hard to obtain and are prone to poor quality due to missing data and reading errors. In a situation where different types of data are mixed, it becomes challenging to develop an effective fish growth model. This study explores the unique characteristics of such a combined environmental and weight dataset. To address these characteristics, we develop a preprocessing method and a probabilistic fish growth model using mixed data sampling (MIDAS) and overlapping mixtures of Gaussian processes (OMGP). We modify the OMGP to be applicable to prediction by setting a proper prior distribution that utilizes the characteristic that the ratio of fish groups does not significantly change as they grow. We conduct a numerical study using the eel dataset collected from a real smart aquaculture system, which reveals the promising performance of our model.

Efficient Kernel Based 3-D Source Localization via Tensor Completion

  • Lu, Shan;Zhang, Jun;Ma, Xianmin;Kan, Changju
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권1호
    • /
    • pp.206-221
    • /
    • 2019
  • Source localization in three-dimensional (3-D) wireless sensor networks (WSNs) is becoming a major research focus. Due to the complicated air-ground environments in 3-D positioning, many of the traditional localization methods, such as received signal strength (RSS) may have relatively poor accuracy performance. Benefit from prior learning mechanisms, fingerprinting-based localization methods are less sensitive to complex conditions and can provide relatively accurate localization performance. However, fingerprinting-based methods require training data at each grid point for constructing the fingerprint database, the overhead of which is very high, particularly for 3-D localization. Also, some of measured data may be unavailable due to the interference of a complicated environment. In this paper, we propose an efficient kernel based 3-D localization algorithm via tensor completion. We first exploit the spatial correlation of the RSS data and demonstrate the low rank property of the RSS data matrix. Based on this, a new training scheme is proposed that uses tensor completion to recover the missing data of the fingerprint database. Finally, we propose a kernel based learning technique in the matching phase to improve the sensitivity and accuracy in the final source position estimation. Simulation results show that our new method can effectively eliminate the impairment caused by incomplete sensing data to improve the localization performance.