• Communications for Statistical Applications and Methods
• /
• 제16권6호
• /
• pp.925-936
• /
• 2009

자료의 독립성 가청 하에서 EM 알고리즘에 의한 경측치 대체 (imputation of missing values) 기법은 잘 알려져 있다. 그러나 공간자료를 다루는 응용문제에서는 독립성 가정이 확장된 마코프 랜덤 필드 (Markov random field; MRF) 하에서 다루어져야 할 것이다. 이에 본 논문에서는 마코프 랜덤 필드 모형 궁에서 다변량 자료 중에 다중의 결측치의 대체를 위한 EM 알고리즘을 제공한다. 이 기법은 몇 가지 현실척 가정하에서 결국 혼합모형에 의한 대체 기법 임을 보인다. 그리고 제공된 기법으로 3-변량으로 구성된 색조영상(color image)의 결측화소값 대체문제에 적용하여 그 유용성과 문제점을 밝히며, 문제정의 개선방안에 대해 논의한다.

• 한국ITS학회 논문지
• /
• 제10권6호
• /
• pp.63-73
• /
• 2011

구간통행속도는 도로의 교통상황을 나타내는 중요한 지표이며, UTIS(Urban Traffic Information System)는 도로의 구간 통행속도를 측정하여 제공하는 대표적인 구간속도 측정시스템이다. 시험운영 결과, 프로브 차량의 미통과, 시스템 H/W 및 S/W 오작동 등의 이유로 UTIS 산출 구간통행속도가 도로의 일부 링크에서 결측되는 현상이 나타나고 있다. 본 논문에서는 이러한 결측구간에 신뢰성 높은 교통정보를 제공하기 위한 구간통행속도 추정 알고리즘을 제안하였다. 제안된 알고리즘을 적용하여 현장실험을 실시한 결과 새로운 알고리즘이 추정한 속도들의 정학도가 93.6%로 분석되었다. 이는 새로운 알고리즘이 결측구간의 속도를 비교적 정확하게 추정하여 구간통행속도 산출 정확도를 높여줌을 나타낸다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2019년도 학술발표회
• /
• pp.3-3
• /
• 2019

최근 기후변화로 인한 집중호우, 가뭄 등 예측하기 어려운 사태가 발생하면서 깨끗하고 안정적인 용수공급 기술의 필요성이 대두되고 있다. 이에 IoT와 기존 물관리시스템을 결합한 스마트워터그리드 출범은 실시간으로 수요와 공급량의 정보를 취득하여 물 관리 효율성을 제고 할 수 있게 되었다. 실시간 수요량 자료를 이용하여 물 수요량 예측을 통한 최적의 물 공급량을 결정할 수 있다. 이 때 스마트워터그리드의 핵심 기술은 실시간으로 취득한 자료의 품질관리라 할 수 있다. 본 연구 대상지역인 영종도 112 블록에는 528개 AMI 스마트 미터를 이용하여 1시간 단위의 물 수요량 자료를 원격 검침하고 있다. 각 수용가에 설치된 AMI 센서를 통해 수집된 자료에는 오류를 포함할 수 있는데 통신 장애, 미터기 고장 및 교체 등으로 발생된다. 결측된 수요량 자료는 상수관망 수리해석에 사용되는 기본자료로서 비표본오차를 증가시켜 검정력과 정확성을 결여시키는 문제가 있다. 이에 본 연구에서는 수집된 자료를 가용할 수 있는 자료로 정제하고 대체하기 위해 완전히 관찰된 자료(complete data)만을 이용하여 각 시간에 따른 관경별, 용도별 그리고 요일별 수요패턴을 추정한다. 결측된 자료는 기존에 사용되는 평균대체법과 핫덱 대체(hot deck imputation) 등과 비교 검증한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2021년도 학술발표회
• /
• pp.349-349
• /
• 2021

일반적인 도시홍수모형은 수리-수문모형을 기반으로 한 홍수위 모형을 사용하고 있으나 강우사상이나 물리적 조건에 따라 모의시간의 변화가 있으며 경우에 따라서는 긴 모의시간이 소요된다. 알파고 이후 큰 관심을 갖게된 딥러닝을 이용한 데이터기반의 모의를 통해 수자원 부분에 적용하여 수위 예측을 진행하였다. 본 연구에서는 딥러닝을 이용하여 관측자료기반의 수위예측 연구를 수행하였다. 대상유역은 중랑천 유역으로 선정하였으며 2015년 ~ 2020년 사이의 10분단위 강우, 수위자료를 이용하였다. 지방자치단체에서 제공하는 강우, 수위자료의 경우 결측자료 또는 이상자료에 대한 보정이 미흡하여 기계학습을 통합 분석자료로 활용하는데 어려움이 있다. 이에, 결측 및 이상자료가 포함된 자료로부터 인위적으로 교란된 데이터 및 결측구간을 삭제한 데이터를 생성하여 자료의 시계열성을 제거하고, 딥러닝을 통한 수위 예측 결과를 정상 데이터를 적용한 결과와 비교하였다. 사용된 딥러닝 모형은 시계열 데이터 예측에 우수한성능을 보이는 LSTM모형과 GRU모형을 이용하였으며 RMSE, NSE를 이용하여 평가하였다. 본 연구에서는 결측자료 및 이상자료가 포함된 수문자료를 자료의 시계열성 제거를 통해 딥러닝 분석 입력자료 구성하기 위한 방안을 제시하였다.

• 응용통계연구
• /
• 제25권2호
• /
• pp.279-291
• /
• 2012

공변량에 결측이 발생한 Cox 비례위험 모형을 적합할 때, 결측이 발생하는 개체를 모두 제거한 후 분석을 실시한다면 정보 손실에 의해 비효율적이고 결측의 발생 메커니즘이 완전 임의 결측(missing completely at random; MCAR)이 아니라면 모수의 추정값에 편향이 발생할 수 있다. Cox 비례위험 회귀모형의 공변량에 결측이 있는 경우 적용할 수 있는 여러 가지 방법들이 제안되어져 왔으나 이 분석들은 선택모델(selection model)에 기반하고 있다. 본 연구에서는 Little (1993)이 제안한 패턴-혼합 모델(pattern-mixture model)을 사용하여 Cox 비례위험 회귀모형에서 생존시간과 결측 메커니즘의 결합분포를 모델화 하고, 여러 가지 제약에 근거한 생존 분석의 결과를 비교하였다. 모의실험을 통해서 패턴-혼합 모델의 제약(restrictions)에 따른 모수 추정의 민감도를 확인하였고 결측을 무시한 채 분석한 결과 및 선택모형에 근거한 분석결과와 비교하였다. 패턴-혼합 모델의 제약에 따라 공변량의 결측으로 인한 모수 추정의 민감성 정도를 쥐백혈병 자료 예제를 통해 설명하였다.

• 응용통계연구
• /
• 제23권5호
• /
• pp.955-966
• /
• 2010

정준상관 행렬도는 두 변수군 사이에 연관성이 있는 데이터 행렬을 시각적으로 묘사하고 데이터가 가진 패턴을 찾는데 유용하고, 분석의 더욱 정형화된 방법으로써 결과를 보여주기에도 유용하다. 그럼에도 불구하고, 자료에 결측값이 존재하는 경우에 대부분의 행렬도는 바르게 적용되지 않는다. 이 문제를 해결하기 위해, 결측률에 따라 중앙값과 평균, EM알고리즘, MCMC대체법을 사용해서 결측 자료를 추정한다. 완전하지 않은 자료의 행렬도의 결측값을 추정하더라도, 대체법과 결측률에 따라 행렬도의 모양이 달라진다. 따라서 Shin 둥 (2008)에서 제안한 RMS(root mean square)와 원 행렬도와 추정된 행렬도간의 형상 변동을 측정하고 비교하기 위한 PS(Procrustes statistic)를 사용한다.

• 한국ITS학회 논문지
• /
• 제13권3호
• /
• pp.66-77
• /
• 2014

UTIS(Urban Traffic Information System)는 프로브차량을 활용하여 도시지역의 구간통행시간 정보를 직접 수집하는 방식으로 타 검지체계에 비해 상대적으로 정확한 링크 속도정보를 산출할 수 있다. 하지만, 현재 UTIS에서는 프로브차량(Probe Vehicle) 및 노변기지국(RSE)의 부족, 시스템 오류 등 다양한 요인에 의해 링크 속도정보의 수집이 누락되는 결측 구간이 발생되고 있다. 본 연구에서는 보다 정확한 여행시간 정보를 제공하기 위한 방안으로 k-NN 알고리즘을 기반으로 결측속도 정보를 효율적으로 보정할 수 있는 새로운 보정모형을 제안하였다. 제안 모형은 각 후보개체(이력 시계열 데이터)의 분포 특성에 따라 최근접이웃 개수를 탄력적으로 조정하는 적응형 k-NN 모형이다. 모형 평가 결과, 제안 모형이 결측정보를 효과적으로 보정 처리할 수 있는 동시에 ARIMA 등 타 모형에 비해 보정 오차를 크게 감소시킬 수 있는 것으로 분석되었다. 본 연구에서 제안된 결측 보정 모형은 UTIS 중앙교통정보센터에 직접 적용하여 교통정보 서비스 품질을 향상시키데 활용될 계획이다.

• 한국수자원학회논문집
• /
• 제43권3호
• /
• pp.257-264
• /
• 2010

강수량을 이용해 수문분석 할 경우 강수 자료의 양과 연속성은 분석의 신뢰성에 큰 영향을 미칠 수 있다. 따라서 강수 자료가 짧거나 기계 고장 등으로 인하여 결측된 경우에 강수 자료기간을 늘리거나 결측 자료를 보완하는 것은 매우 기본적인 과정이다. 이에 본 연구에서는 결측 강수량을 보완하기 위해서 적용되는 자료구동(Data-driven) 방법인 선형계획법을 많이 사용되는 7개 기법을 비교 분석하고 우수성을 검정한다. 이를 위해서 적용한 자료는 한강 유역 내에 있는 기상청 관할 관측소 중에 미계측 기간 15년을 포함하는 철원 관측소와 5개 주변 관측소의 17년간 강수량 자료이다. 그리고 검정된 방법을 적용하여 철원 관측소의 미계측 강수량을 보완하고 한강 유역의 32년간 유역 평균 강수량을 산출한다.

• 한국수자원학회논문집
• /
• 제39권4호
• /
• pp.289-298
• /
• 2006

한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 본 연구에서는 새로운 결측치 보완기법을 개발하였다. 개발된 기법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 이 기법을 결측되지 않은 정상적인 자료로 검증해 보면, 첨두치가 약간 과소 산정되는 경향이 있으나 총 면적은 보완 전, 후에 거의 차이가 없었다. 따라서 새로운 기법을 바탕으로 한강 하구부에서 관측된 탁도자료의 결측치를 합리적으로 보완할 수 있었다.

• 한국경제지리학회지
• /
• 제25권1호
• /
• pp.171-181
• /
• 2022

부동산 시장 분석에 있어 기본이 되는 정량적 데이터는 부동산 가격 지수이다. OECD와 같은 국제기구에서는 국가별 부동산 가격 지수를 공표하고, 한국부동산원에서는 광역시 단위와 시군구 단위의 지수를 산출한다. 그런데 공간단위를 시군구보다 정교한 동단위, 아파트 단지 단위로 설정하는 경우, 여러 문제점을 맞이하게 된다. 대표적인 문제는 결측치이다. 공간적 범위를 좁힐수록 단위 기간에 따라 거래가 적거나 아예 존재하지 않는 경우가 존재하기에 이 경우에는 지수의 산출이 불가능한 결측치가 발생할 수 있다. 본 연구에서는 지도학습 기반의 머신러닝 기법을 활용하여 특정 범위와 기간에 거래가 존재하지 않아 발생할 수 있는 결측치를 보완하는 기법을 제안한다. 본 모형을 통해 부동산 매매 지수의 실제값이 존재하는 것들의 예측을 통해 그 정확도를 검증하고 결측치가 발생한 것들의 예측도 해 볼 수 있었다.