• 제목/요약/키워드: 결측자료 보완

검색결과 55건 처리시간 0.032초

결측치가 있는 자료에서의 변동모드분해법 (Variational Mode Decomposition with Missing Data)

  • 최규빈;오희석;이영조;김동호;유경상
    • 응용통계연구
    • /
    • 제28권2호
    • /
    • pp.159-174
    • /
    • 2015
  • 최근에 Dragomiretskiy와 Zosso (2014)는 경험적모드분해의 단점을 보완하여 새로운 신호 분해방법인 변동모드분해법(Variational Mode Decomposition)을 고안하였다. 기본적으로 변동모드분해법은 경험적모드분해법에 비하여 주파수 탐색 및 분리(tone detection and tone separation)에 탁월한 성능을 보인다. 또한 고속퓨리에변환을 기반으로 한 알고리즘을 사용하여 경험적모드분해법보다 잡음에 강건하다는 장점이 있다. 하지만 변동모드분해법은 결측 등으로 신호가 동일한 시간간격 혹은 공간적 간격으로 측정되지 않은 경우 제대로 동작하지 않는 단점이 있다. 이를 보완하기 위해서 본 논문에서는 변동모드분해법에 다단계우도함수를 조합하는 새로운 방법을 제안한다. 여기에서 다단계우도함수는 변동모드분해법이 신호를 적절한 내재모드함수로 분해하기 전에 결측치를 대체하는 효율적인 방법을 제시한다. 모의실험과 실제 자료의 사례연구를 통하여 변동모드분해법이 기존의 방법보다 더 효율적으로 신호를 분해한다는 것을 보일 것이다.

수질자료 결측구간의 오염부하 추정기법 비교평가 (Comparative Evaluation of the Pollutant Load Estimation Method in the Water Quality Data Missing Intervals)

  • 조범준;조홍연;강성현
    • 한국해안해양공학회지
    • /
    • 제19권1호
    • /
    • pp.45-56
    • /
    • 2007
  • 수량 및 수질자료, 특히 수질자료가 없는 구간에서의 직접계산에 의한 오염부하 산정은 불가능하기 때문에 적절한 방법을 이용하여 결측구간의 자료를 보완(data filling)하여 계산하는 추정과정을 필요로 한다. 본 연구에서는 수질자료가 없는 구간, 즉 수질 결측구간에서 오염부하량을 산정하기 위한 다양한 농도 추정방법을 제시하고, 제시된 방법을 이용하여 추정된 농도변화 양상 분석 및 오염부하 변동양상을 비교 분석하여 보다 효과적이고, 효율적인 추정방법을 최종 제안하였다. 또한, 오염부하에 영향을 미치는 수량 및 수질인자의 상대적인 중요성과 연안 하천의 오염부하 특성을 구분할 수 있는 영향인자를 제시하였다. 수질자료 결측구간의 다양한 농도 추정방법을 이용하여 한강하구의 오염부하를 산정한 결과, 결측구간을 제외하고 추정한 오염부하는 매우 낮은 비현실적인 결과를 제시하였으며, 가용자료의 변동성을 고려한 선형내삽법이 가장 적합한 방법으로 파악되었다. 또한, 한강하구의 오염부하양상은 수량주도형으로 판단되었으며, 결측구간의 농도추정은 불가피한 과정으로 적절한 추정방법을 이용하는 것이 보다 바람직한 것으로 파악되었다.

대중교통 OD구축을 위한 대중교통카드 데이터의 오류와 결측 분석 및 보정에 관한 연구 (The study on error, missing data and imputation of the smart card data for the transit OD construction)

  • 박준환;김순관;조종석;허민욱
    • 대한교통학회지
    • /
    • 제26권2호
    • /
    • pp.109-119
    • /
    • 2008
  • 대중교통 교통카드 도입 이후, 점차 이용율이 증가되고 있다. 카드 데이터를 통해 얻을 수 있는 자료를 고려할 때 대중교통 카드 이용의 증가는 통행패턴 분석 및 정책적 측면에서 중요한 의미를 가지고 있다. 그 중에서 특히 죤별 대중교통 통행수요(O/D)를 손쉽게 파악할 수 있다는 점에서 높은 중요성을 가진다. 카드데이터를 통해 대중교통 죤별 통행수요(O/D)를 파악함에 있어서 데이터 자체의 오류에 대한 분석이나 결측에 대한 보완 과정이 반드시 필요하다. 본 연구에서는 반드시 선행되어야 할 과제이지만 아직 연구사례가 없었던 카드데이터의 오류와 결측에 관해 살펴보았다. 그 결과, 통행수요(O/D)분석과 관련한 오류나 결측에 대한 특성을 제시하였고, 결측에 대한 보정방안을 제안하였다. 그리고 제시된 결측방안들에 대한 적용 및 평가와 함께 활용방안을 제시하여, 향후 보다 신뢰성있는 대중교통 OD구축을 위한 기반을 마련하였다.

장기 관측 지하수위 결측자료 보완 (Interpolation of Missing Groundwater-Level Data at the National Groundwater Monitoring Wells)

  • 정상용;심병완;강동환;원종호;김규범
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2000년도 추계학술대회
    • /
    • pp.15-22
    • /
    • 2000
  • Long ranged groundwater-level data often have the missing intervals because of the trouble of monitoring systems at the national groundwater monitoring wells. Geostatistical methods are very useful for the supplement of the missing data. Ordinary kriging was applied for the interpolation of the missing groundwater-level data with a smooth sinusoidal variation. Conditional simulation was used for the reproduction of the missing data with high fluctuations. Two geostatistical methods produced the very accurate estimates at the missing intervals and reproduced their original variations. This fact is proved by the cross validation test and graphical method, respectively.

  • PDF

수문관측자료 운영 개선방안에 대한 연구 II (Suggestions on the Improvement of the Hydrological Data Operation II)

  • 김휘린;조효섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.879-882
    • /
    • 2007
  • 수문관측자료 운영 개선방안에 대한 연구(2006, 김휘린, 조효섭)에서 건설교통부 한강홍수통제소에서 수행하고 있는 수문관측자료를 대상으로 하여 관측, 기록, 전송, 품질관리, DB구축 및 정보화의 5단계로 임의 분류하고 각 단계별 현황을 파악하여 문제점을 검토하고 개선방안을 제안하였다. 이는 적극적으로 수용되어 수문관측자료 운영에 대해 개선을 시도하였으며 본 논문에서는 이를 간략히 소개하고자한다. 첫째, 관측소 점검 대장이 조사과와 전기통신과로 이분화되어 있고 각 관측소별로 점검대장이 비치되어 있으나 이를 수기로 작성하고 있으며 자료의 업데이트 및 과거점검대장의 DB 구축과 비전산화를 지적한 바 있다. 이에 '물관련시스템 DB연계 사업'을 통해 수기로 작성된 관측시설 점검대장을 전부 DB로 구축하였고 이를 총괄하여 관리 및 점검사항을 업데이트할 수 있는 관측시설 점검대장 관리 및 입력 프로그램을 구축하였고 현재 한강홍수통제소에서 시험 운영 중에 있다. 향후 보완이 끝난 후에는 낙동강, 금강, 영산강 홍수통제소에도 확대 설치 및 운영을 실시할 예정이다. 둘째, 수문자료의 품질관리에 있어서 전산시스템에 의한 완전 자동화는 실현하기가 어려울 뿐 아니라 바람직하지 못한 결과를 가져올 수 있으므로 담당자의 수동 검토 및 처리과정은 필수적이라고 논한 바 있다. 그 후 수문자료품질관리T/F팀(조사과, 전기통신과, 하천정보센터)이 구성되었고, 홍수기 오 결측자료 발생 확인, 긴급대응 촉구, 이상치 발생원인 추정 및 대책 마련 등 고품질 수문자료를 생성하기 위해 노력하였다. T/F팀 활동사항은 타홍수통제소에서도 벤치마킹이 되고 있다. 보다 정확한 댐운영자료 공유방안을 위한 관련기관과의 협력회의가 개최되어 품질관리된 자료의 정보 공유시기, 공유방식, 자료형태 등이 결정되었다. 이는 유관기관간 품질관리된 댐운영자료의 효율적인 정보 공유체계 확립을 위한 체계를 마련하는 계기라고 사료된다. 또한, 유량측정사업 결과를 익년에 반영하는 기존 방식을 개선하기 위해 유량자료관리및분석시스템(프론티어사업에서 수행, 한국건설기술연구원 개발)을 통제소내에 설치 운영을 추진하고 있다.

  • PDF

안양천 유역의 실시간 수문모니터링 자료관리시스템 개발 (Development of Hydrologic Data Aquisition and Management System(HDAMS) in Anyangcheon watershed)

  • 이경도;김유진;김남일;이길성
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.2029-2033
    • /
    • 2007
  • 오늘날 특정 유역에서의 수문현상 및 수문순환에 대한 분석을 위한 연구가 활발히 진행되고 있다. 이를 위해서는 수문자료의 관측은 반드시 수반되어야 하며, 관측자료의 품질관리 및 원시자료의 관리 등이 요구되고 있는 실정이다. 관측된 수문자료의 품질관리라 함은 자료의 신뢰도 분석과 자료의 보완의 두 과정을 포함한다. 여기서, 신뢰도 분석이라 함은 자료 속에 포함된 불확실성을 판별하는 작업을 의미하며, 자료의 불확실성은 위에서 언급된 자료의 불충분 및 불안정을 제외한 부정확, 불일관성에서 비롯된다. 자료의 보완이라 함은 자료의 신뢰도 분석을 통하여 자료 속에 포함된 불확실한 성분들을 찾아내고, 이를 제거한 후 완전한 자료로 대체하고, 자료가 결측된 경우 공백을 연결함으로써 자료의 완전성을 유지하거나 또는 불충분한 자료를 확장하는 일련의 보완작업이라고 정의한다. 자료의 품질을 결정하는 주요 인자는 크게 관측소 관리의 하드웨어적인 측면과 자료 분석의 소프트웨어적인 측면이 있다. 하드웨어적인 측면에서의 수문자료 품질관리를 위해서 본 과제에서는 현장에 설치된 수위계, 강우량계의 센서 등에 대한 장비를 점검하고, 현장실측을 통해 지속적으로 측정값을 보정해주는 역할을 수행하고 있으며, 소프트웨어적인 측면에서 수문자료의 품질관리를 위해서는 수문자료의 수집 단계부터 시작하여 데이터베이스 저장, 필터링, 통계분석, 웹 및 C/S(Client Server)를 통한 배포 등의 일련의 자료 처리 과정을 수행할 수 있는 수문자료관리 프로그램을 웹 시스템과 C/S로 분류하여 정의내릴 수 있다. 본 연구에서는 수문자료의 관리자 입장에서의 보다 효율적이고 체계적으로 자료를 관리하고 분석하기 위한 방안으로 수문자료관리시스템(Hydrologic Data Aquisition and Management System, HDAMS)을 개발하였다. 이 시스템은 안양천 유역에서 시범 적용하고 있으며, 범용성을 전제로 개발되었다. 또한 수문자료 관리 프로그램의 DB 구조 및 DB 자료를 활용한 다양한 분석기능은 갖도록 설계하였으며 계획된 데이터베이스 구조를 바탕으로 계측기 인터페이스와 사용자 인터페이스, 데이터베이스 간의 연동이 원활히 이루어지도록 개발하고자 한다.

  • PDF

2004년 설마천 시험유역의 운영 (A Study on the Operation of the Seolma-Cheon Experimental Catchment)

  • 김동필;정성원;김성훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2005년도 학술발표회 논문집
    • /
    • pp.689-693
    • /
    • 2005
  • 본 연구의 목적은 경기도 파주시 적성면 설마리에 위치한 설마천 시험유역을 대상으로 신뢰성 있는 수문자료를 지속적으로 수집하여 정화한 물 순환과정을 규명하는데 있다. 2004년 설마천 시험유역의 수문관측은 2003년보다 더욱 향상된 결과를 보였으며, 관측기기의 추가 설치, 실시간 전송장비의 보완 및 운영, 각 관측소당 2종 이상의 동시 관측자료 확보 등을 통해 자료의 결측을 최소화하였고 정화도를 개선하여 양질의 자료를 생성할 수 있었다. 관측된 우량과 수위 자료에 대해 일상적인 자료 검토 및 처리 과정을 보다 구체적으로 체계화하여 자료의 질적 향상을 꾀하였다. 특히 유량 측정 및 산정 방법을 국제 기준에 준하여 수행하고, 현장에서 실시간으로 관측자료의 분석 및 검증이 가능한 유량측정용 PDA 시스템을 활용함으로써 보다 정도높은 유량측정성과를 확보할 수 있었다.

  • PDF

2003년 설마천 시험유역의 운영 (A Study on the Operation of the Selma-Cheon Experimental Catchment)

  • 김동필;황석환;정성원;한명선
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2004년도 학술발표회
    • /
    • pp.573-577
    • /
    • 2004
  • 본 인구의 목적은 경기도 파주시 적성면 설마리에 위치한 설마천 시험유역을 내상으로 신뢰성 있는 수문 자료를 지속적으로 수집하여 정확한 수문순환과정을 파악하는데 있다. 2003년 설마천 시험유역의 수문관측은 예년보다 더욱 향상된 결과를 보였다. 노후화된 관측기기의 교체 및 추가 설치, 실시간 전송장비의 보완 및 운영, 각 관측소당 2벌 이상의 동시 관측자료 확보 등을 통해 자료의 결측을 최소화하였고 정확도를 개선하여 예년보다 양질의 자료를 생성할 수 있었다. 관측된 우량과 수위 자료에 내해 일상적인 자료 검토 및 처리 과정을 보다 구체적으로 체계화하여 자료의 질이 향상될 수 있도록 하였다. 특히 유량 측정 및 산정 방법을 국제 기준에 준하여 수행하고, 현장에서 실시간으로 계측자료의 분석 및 검증이 가능한 유량측정용 PDA 시스템을 개발함으로써 예년에 비해 보다 정도 높은 유량측정성과를 확보한 수 있었다.

  • PDF

이동평균법을 이용한 장기간 기저유출분석 (Long Terms Baseflow Separation Using Moving Average Method)

  • 이상신;이상일;김준수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1233-1237
    • /
    • 2010
  • 강변여과는 지표수와 지하수가 각기 갖는 장점과 제약점을 상호 보완하여 수질이 양호한 상수원수를 대량 확보하기 위한 실제적 대안이다. 자연적인 여과작용에 의해 수질이 개선되는 효과가 있어 경제적이고 안정적으로 확보할 수 있지만, 장기간 취수는 지하수위의 저하를 가져 올 수 있으므로 유역의 수문분석을 통한 기저유출량 산정에 관한 연구가 필요하다. 대상지역으로는 현재 강변여과를 개발중인 창원시 대산정수장 취수장 지역이며, 대상지역의 기저유출량을 산정하기 위해 대상지역 상류에 위치한 낙동강 본포교의 낙동강 유량을 기초로 기저유출량을 산정하여 지하수 함양율을 평가하였다. 수문곡선 분리는 여러 방법 중 다른 방법보다 상대적으로 간편하고 실무에서 많이 사용되는 방법인 수평직선분리법을 사용하여 적정 취수 가능량을 산정하기 위한 최소 기저유출량을 산정하고자 한다. 이에 따라, 보유 자료 중 연 평균 최저 유출량을 보인 2008년 가을 갈수기의 시작(2008년 10월)부터 2009년 가을 갈수기의 시작(2009년 10월)까지의 자료를 분석했다. 본포교 유량 자료는 8일부터 10일 간격으로 측정되고 있기 때문에 결측치는 최인접 두 지점 사이의 선형보간법으로 보완했다. 다소 많은 양의 결측치에 대한 보정과 해당 유역의 연간 유출 특성을 파악하기 위해서 이동평균(moving average)을 적용했으며, 적용 결과 관측 주기에 해당하는 10일 이동평균 유출수문곡선이 가장 적합한 것으로 나타났다. 10일 이동평균에 의한 유출수문곡선에 의하면 상승부의 기점은 2009년 6월 12일로 나타났으며 유출량은 47.87cms로 나타났다. 따라서 총 기저유출량은 상승부 기점의 유출량으로 111일 동안 발생하는 것을 알 수 있었으며 그 총량은 약 45,900만$m^3$으로 나타났다. 본 연구에서의 결과 본포교를 유역출구로 하는 이 유역에는 임의 유출이 생기는 호우사상 시, 기저유출량은 총 유출량의 6.38%를 최소한 기대할 수 있음을 알 수 있다.

  • PDF

부분관측된 유량자료의 연속 일유량자료로 확장법 (Extension Techniques of Partially Recorded Stream-flow to Continuous Daily Data)

  • 백경오;임동희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2011년도 학술발표회
    • /
    • pp.397-397
    • /
    • 2011
  • 2004년부터 4대강 물환경연구소는 수질오염총량관리제의 원활한 추진을 위해 총량관리단위유역 말단부에서 8일 간격으로 청천(晴天)시를 중심으로 유량과 수질을 동시에 측정하기 시작하였다. 그 결과 연중 하천유량과 수질의 연동 여부 및 변동 추이를 확인하는 것이 가능하게 되었다. 그러나 8일 간격으로 생산되는 유량은 지침의 정의와 맞물려 기준유량의 산정에 또 다른 어려움을 주고 있다. '한강수계 오염총량관리계획수립 지침'에 따르면 '기준유량은 과거 10년간 평균 저수량으로 한다'고 명시되어 있다. 여기서 저수량이란 유량의 크기를 누가일수로서 표시하여 1년을 통하여 275일은 이보다 더 작지 않은 유량으로 정의된다. 따라서 정확한 저수량을 산정하기 위해서는 1년 365개 매일의 유량자료가 필요하다. 하지만 8일 간격으로 유량을 측정하게 되면 1년 365개 대신 최대 45 여개의 일 유량자료만 취득 가능하므로 유황분석에 어려움이 발생할 수밖에 없다. 본 연구에서는 수질오염총량관리단위유역의 말단부에서 8일 간격으로 계측된 유량자료가 있을 때 이를 연속적인 일유량으로 확대할 수 있는 방법론 중 하나를 소개한다. 미 지질조사국(USGS)에서 주로 사용되는 이 방법은 A지점(부분계측이 이루어지는 지점)의 결측치를 동일 유역 혹은 수문학적으로 유사한 유역의 B지점(연속계측이 이루어지는 지점)의 자료를 이용하여 보완하는 방식이다. 이를 위해 먼저 부분계측이 이루어진 날과 같은 날짜의 유량자료를 연속계측자료에서 추출한 다음 두 자료(A지점에서의 모든 유량과 B지점에서의 추출된 유량)의 상관성을 비교해 본다. 두 자료간에 상관도가 높다면 이를 잘 표현하는 방정식을 통해 A지점의 결측치를 내 외삽한다. 여기서 두 자료간 상관도를 잘 묘사할 수 있는 방법으로 본 연구에서는 최소제곱법(Least Square Estimator, LSE)과 분산확장법(Maintenance of Variance Extension, MOVE)을 비교,분석해 보았다. 한강수계 수질오염총량관리단위유역 중 동일지점에 8일 간격 부분계측 유량자료와 일 연속자료가 동시에 존재하는 곳이 6지점이 있었으며 이 자료들을 바탕으로 LSE와 MOVE의 정확도를 검증해 본 결과 MOVE가 일 연속유량 확장에 더 나은 결과를 보였다.

  • PDF