• 제목/요약/키워드: Missing Values

검색결과 441건 처리시간 0.033초

가중치 합을 이용한 웨이블릿 영역의 디모자이킹 (Demosaicking Using Weighted Sum in Wavelet domain)

  • 정보규;엄일규
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2008년도 하계종합학술대회
    • /
    • pp.821-822
    • /
    • 2008
  • This paper presents a new demosaicking method based on weighted sum in the wavelet domain. In our method, the missing wavelet coefficients in lowest frequency subband are obtained by weighted sum. Since detail coefficients have large values at the edge region, these values are used as weighting factors. Detail coefficients are replaced by the coefficients in the corresponding subbands. Experimental results show that the proposed method generates good performance.

  • PDF

누락된 공변량을 가진 원인별 비례위험모형의 분석 (Analysis of the cause-specific proportional hazards model with missing covariates)

  • 이민정
    • 응용통계연구
    • /
    • 제37권2호
    • /
    • pp.225-237
    • /
    • 2024
  • 경쟁위험자료에서 일부 공변량들이 연구대상들의 일부분에 대해 관측되지 않을 수 있다. 그런 경우 결측된 공변량 값을 가진 연구대상들을 분석에서 제외하는 것은 편향된 추정치와 효율성 손실이 발생할 수 있다. 본 논문에서는 누락된 공변량을 가진 원인별 비례위험모형의 회귀모수 추정을 위해 다중대체 방법과 증대된 역 확률 가중 방법을 연구하였다. 모의실험을 통해 다중대체 방법과 증대된 역 확률 가중 방법에 의해 구해진 추정량의 성능을 평가한 결과, 이 방법들이 잘 수행됨을 확인하였다. 미국 국립암연구소의 전립선, 폐, 대장, 난소 암 선별 시험 연구에서 제공하는 종양 크기의 값이 누락된 유방암 자료에 대해 암 사망 위험률과 다른 원인 사망 위험률에 유의한 영향을 미치는 요인을 파악하기 위해 다중대체 방법과 증대된 역 확률 가중 방법을 적용하였다. 다중대체 방법과 증대된 역 확률 가중 방법에 의해 원인별 비례위험모형을 적합한 결과, 인종, 기혼여부, 병기, 분화도, 종양의 크기는 유방암 사망 위험률에 유의한 영향을 미치는 요인들이였으며, 병기가 유방암 사망 위험률을 높이는데 가장 큰 영향을 미치는 요인임을 확인하였다. 진단시 연령과 종양의 크기는 다른 원인 사망 위험률을 높이는데 유의한 영향을 미치는 요인이였다.

스마트폰 센싱을 위한 손실 데이터 추정 모델 (An Estimation Model of Missing Data for Smart Phone Sensing)

  • 민홍;허준영
    • 한국인터넷방송통신학회논문지
    • /
    • 제13권3호
    • /
    • pp.33-38
    • /
    • 2013
  • 스마트폰에 탑재된 다양한 종류의 센서들을 활용하여 사용자의 상태나 사회활동 및 주변 환경을 모니터링하는 스마트폰 센싱 시스템에서 특정 지역의 데이터가 손실되는 문제는 피할 수 없다. 다수의 사용자를 대상으로 사전에 정의해 놓은 조건이 만족할 때 센서로부터 측정된 값을 서버로 전송하는 기회기반 센싱 기법에서는 이러한 데이터 손실 문제가 더 심화된다. 본 논문에서는 수집된 데이터의 품질 저하 문제를 해결하기 위해 스마트폰 센싱의 특성을 고려한 손실 데이터 추정 모델을 제안한다. 제안된 추정 모델에서는 데이터의 시공간적 상관관계를 고려할 뿐만 아니라 신뢰도가 높은 데이터를 제공하는 참여자의 우선순위를 높임으로써 향상된 추정 값을 도출하도록 설계하였다. 또한 실험결과를 통해 본 논문에서 제안한 기법이 기존의 기법들에 비해 높은 신뢰도를 보이는 것을 알 수 있었다.

Genome-wide Association Study (GWAS) and Its Application for Improving the Genomic Estimated Breeding Values (GEBV) of the Berkshire Pork Quality Traits

  • Lee, Young-Sup;Jeong, Hyeonsoo;Taye, Mengistie;Kim, Hyeon Jeong;Ka, Sojeong;Ryu, Youn-Chul;Cho, Seoae
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제28권11호
    • /
    • pp.1551-1557
    • /
    • 2015
  • The missing heritability has been a major problem in the analysis of best linear unbiased prediction (BLUP). We introduced the traditional genome-wide association study (GWAS) into the BLUP to improve the heritability estimation. We analyzed eight pork quality traits of the Berkshire breeds using GWAS and BLUP. GWAS detects the putative quantitative trait loci regions given traits. The single nucleotide polymorphisms (SNPs) were obtained using GWAS results with p value <0.01. BLUP analyzed with significant SNPs was much more accurate than that with total genotyped SNPs in terms of narrow-sense heritability. It implies that genomic estimated breeding values (GEBVs) of pork quality traits can be calculated by BLUP via GWAS. The GWAS model was the linear regression using PLINK and BLUP model was the G-BLUP and SNP-GBLUP. The SNP-GBLUP uses SNP-SNP relationship matrix. The BLUP analysis using preprocessing of GWAS can be one of the possible alternatives of solving the missing heritability problem and it can provide alternative BLUP method which can find more accurate GEBVs.

기상자료의 결측과 산정에 따른 기준작물 증발산량 공식의 비교 평가 (Assessment of Reference Evapotranspiration Equations for Missing and Estimated Weather Data)

  • 윤푸른;최진용
    • 한국농공학회논문집
    • /
    • 제60권3호
    • /
    • pp.15-25
    • /
    • 2018
  • Estimating the reference evapotranspiration is an important factor to consider in irrigation system design and agricultural water use. However, there is a limitation in using the FAO Penman-Monteith (FAO P-M) equation, which requires various meteorological data. The purpose of this study is to compare three reference evapotranspiration (ETo) equations in the case of meteorological data missing for 11 study weather stations. Firstly, the FAO P-M equation is used for reference potential evapotranspiration estimation with the actual solar radiation data $R_n$ and the actual vapor pressure $e_a$. Then, in the case of $R_n$, and $e_a$ are missed, the reference evapotranspirations applying FAO P-M, Priestley-Taylor (P-T), Hargreaves (HG) equation were calculated using other meteorological factors. Secondly, MAE, RMSE, $R^2$ were calculated to compare ETo relationship from the ETo equations. From the results, ETo with Hargreaves equation in coastal areas and the Priestley-Taylor equation in the inland areas showed relatively high correlation with FAO P-M when $e_a$ data is missed. In the case of $R_n$ data is missed or two weather data, $e_a$, and $R_n$ data are all missed, $R^2$ value in Priestley-Taylor equation was highest in coastal areas, and $R^2$ values in Hargreaves equation were the high values for 7 inland areas. The results of sensitivity analysis showed that net radiation was the most sensitive for P-T and HG equation, and for FAO P-M, the most sensitive factor was net radiation and relative humidity, air temperature and wind speed were follows. Therefore, in considering of the accessibility to the coast, the types of the missing wether data, and the correlation and the magnitude of error, the reference evapotranspiration equations would be selected in sense of different conditions.

시공간적 변동성을 고려한 강우의 결측치 추정 방법의 비교 (The Comparison of Estimation Methods for the Missing Rainfall Data with spatio-temporal Variability)

  • 김병식;노희성;김형수
    • 한국습지학회지
    • /
    • 제13권2호
    • /
    • pp.189-197
    • /
    • 2011
  • 본 논문에서는 지상강우의 결측치를 추정하는 방법들 중 역거리 가중치법(IDWM), 역지수 가중치법(IEWM), 상관계수가중치법(CCWM), 인공신경망(ANN)기법, 레이더 자료를 이용한 결측치 추정 방법을 비교하여 각각의 적용성을 검토하였다. 임진강 유역을 대상지역으로 하여 각 방법을 적용한 결과, 강우의 결측치 추정에 있어서 기존의 방법 중 상관계수 가중치법(CCWM)과 인공신경망(ANN)기법에 의한 RMSE가 0.46~1.79의 범위를 보였고, 레이더자료를 이용하여 강우의 결측치를 추정한 경우 RMSE가 0.05~2.26의 범위를 보였다. 레이더 강우자료가 지점 강우자료와 달리 강우의 공간상관성을 반영하고 있음을 볼 때, 지점강우 자료를 이용한 결측치 추정 기법보다 레이더자료를 이용한 결측치의 추정기법이 그 적용성에서 우수하다고 판단되어진다.

기계 학습을 이용한 항로표지 기상 자료의 보간에 관한 연구 (Study on Weather Data Interpolation of a Buoy Based on Machine Learning Techniques)

  • 정성훈;마준익;조성현;임기륜;이준우;한준희
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.72-74
    • /
    • 2022
  • 해상에 설치된 항로표지 부표의 발달로 다양한 자료가 수집된다. 그러나 원시 관측자료는 기계 결함 및 기상환경에 따라 결측과 이상치를 포함한 오류로 인하여 곧바로 사용되기 어렵다. 따라서 본 연구에서는 항로표지에서 수집된 미흡한 기상 관측 자료를 기계학습이 가능하도록 누락된 시각의 자료를 추가하여 선형 보간을 실시했다. 이후 XGBoost기법과 KNN-regressor을 이용하여, 오류가 발생한 시점의 자료를 보간하는 기법을 연구하고자 한다.

  • PDF

손실 데이터를 처리하기 위한 집락분석 알고리즘 (A Clustering Algorithm for Handling Missing Data)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제8권11호
    • /
    • pp.103-108
    • /
    • 2017
  • 유비쿼터스 환경에서는 다양한 센서로 부터 원거리에 데이터를 전송해야 하는 문제가 제기되어져 왔다. 특히 서로 다른 위치에서 도착한 데이터를 통합하는 과정에서 데이터의 속성 값들이 상이하거나 데이터에 일부 손실이 있는 데이터들도 처리해야 하는 어려운 문제를 가지고 있었다. 본 논문은 이와 같은 데이터들을 대상으로 집락분석 하는 방법을 제시한다. 이 방법의 핵심은 문제에 적합한 목적함수를 정의하고, 이 목적함수를 최적화 할 수 있는 알고리즘을 개발하는데 있다. 목적함수는 OCS 목적함수를 변형하여 사용한다. 이진 값을 가지는 데이터만을 처리할 수 있었던 MFA(Mean Field Annealing)을 연속 값을 가지는 분야에도 적용할 수 있도록 확장한다. 그리고 이를 CMFA이라 명하고 최적화 알고리즘으로 사용한다.

사용자 리뷰 분석을 통한 호텔 평가 항목별 누락 평점 예측 방법론 (Predicting Missing Ratings of Each Evaluation Criteria for Hotel by Analyzing User Reviews)

  • 이동훈;부현경;김남규
    • 한국IT서비스학회지
    • /
    • 제16권4호
    • /
    • pp.161-176
    • /
    • 2017
  • Recently, most of the users can easily get access to a variety of information sources about companies, products, and services through online channels. Therefore, the online user evaluations are becoming the most powerful tool to generate word of mouth. The user's evaluation is provided in two forms, quantitative rating and review text. The rating is then divided into an overall rating and a detailed rating according to various evaluation criteria. However, since it is a burden for the reviewer to complete all required ratings for each evaluation criteria, so most of the sites requested only mandatory inputs for overall rating and optional inputs for other evaluation criteria. In fact, many users input only the ratings for some of the evaluation criteria and the percentage of missed ratings for each criteria is about 40%. As these missed ratings are the missing values in each criteria, the simple average calculation by ignoring the average 40% of the missed ratings can sufficiently distort the actual phenomenon. Therefore, in this study, we propose a methodology to predict the rating for the missed values of each criteria by analyzing user's evaluation information included the overall rating and text review for each criteria. The experiments were conducted on 207,968 evaluations collected from the actual hotel evaluation site. As a result, it was confirmed that the prediction accuracy of the detailed criteria ratings by the proposed methodology was much higher than the existing average-based method.

불완전한 데이터를 위한 딥러닝 모델 (Deep Learning Model for Incomplete Data)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제10권2호
    • /
    • pp.1-6
    • /
    • 2019
  • 제안 모델은 소실 데이터를 포함하는 불완전한 데이터에서 정보의 손실을 최소화할 수 있도록 개발되었다. 이를 위한 과정은 우선 데이터 확장기법을 이용하여 손실 정보를 보상하도록 학습 데이터를 변환한다. 이 변환 과정에서 데이터의 속성값은 원-핫 인코딩으로 이진 또는 확률값으로 채워진다. 다음 이 변환 데이터는 딥러닝 모델에 입력되는데, 이때 각 속성의 카디너리티에 따라 엔트리 수가 일정하지 않게 된다. 그리고 각 속성의 엔트리 값들을 각각의 입력 노드에 할당하고 학습을 진행한다. 이점이 기존 학습 모델과의 차이점으로, 임의의 속성값이 입력층에서 여러 개의 노드로 분산되는 특이한 구조를 가진다. 제안 모델의 학습 성능을 평가하기 위해, 소실 데이터를 대상으로 다양한 실험을 수행하여 성능 면에서 우수함을 보인다. 제안 모델은 유비쿼터스 환경에서 손실을 최소화하기 위한 알고리즘으로 유용하게 사용될 것으로 본다.