• Title/Summary/Keyword: 자료분석

Search Result 46,028, Processing Time 0.065 seconds

Analysis of massive data in astronomy (천문학에서의 대용량 자료 분석)

  • Shin, Min-Su
    • The Korean Journal of Applied Statistics
    • /
    • v.29 no.6
    • /
    • pp.1107-1116
    • /
    • 2016
  • Recent astronomical survey observations have produced substantial amounts of data as well as completely changed conventional methods of analyzing astronomical data. Both classical statistical inference and modern machine learning methods have been used in every step of data analysis that range from data calibration to inferences of physical models. We are seeing the growing popularity of using machine learning methods in classical problems of astronomical data analysis due to low-cost data acquisition using cheap large-scale detectors and fast computer networks that enable us to share large volumes of data. It is common to consider the effects of inhomogeneous spatial and temporal coverage in the analysis of big astronomical data. The growing size of the data requires us to use parallel distributed computing environments as well as machine learning algorithms. Distributed data analysis systems have not been adopted widely for the general analysis of massive astronomical data. Gathering adequate training data is expensive in observation and learning data are generally collected from multiple data sources in astronomy; therefore, semi-supervised and ensemble machine learning methods will become important for the analysis of big astronomical data.

Characteristics of Spatio-temporal Pattern Classification for Water Quality and Runoff Data in the Yeongsan River by the Application of SOFM (SOFM의 적용에 의한 영산강 수질 및 유량자료의 시.공간적 패턴분류 특성)

  • Park, Sung-Chun;Song, Ja-Seob;Jin, Young-Hoon;Roh, Kyong-Bum
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2011.05a
    • /
    • pp.189-193
    • /
    • 2011
  • 유역관리 및 수질 향상을 위해 다양한 환경정책이 시행되고 있으며, 최근 수질오염총량관리제의 시행으로 인해 보다 집중적인 유역관리와 수질 향상을 위한 노력이 배가되고 있다. 이러한 노력의 일환으로 현재 환경부 국립환경과학원에서는 수질오염총량관리를 위하여 단위유역의 말단지점에서 수질 및 유량자료에 대한 정기적인 측정을 8일 간격으로 시행하고 있으며, 데이터 베이스 및 웹시스템을 통하여 자료를 공개하고 있다(이호열, 2009). 이와 같은 자료의 측정과 축적은 그 분석을 통해 수질 개선을 위한 우선 관리 대상지점의 파악 등과 같이 수질오염총량관리제의 시행과 평가를 위해 사용될 수 있을 뿐만 아니라 새로운 환경정책의 수립에도 활용될 수 있을 것으로 기대된다. 그러나 현재 소수의 연구들에서만 상기의 자료를 단순히 활용한 결과를 찾을 수 있으며, 특히 측정된 수질 및 유량자료를 분석하여 발표한 연구결과 역시 소수에 지나지 않는다(김철겸 등, 2009). 측정 자료에 대한 분석 및 이에 따른 자료의 활용성 제고를 위해서 다양한 자료 분석 기법의 개발과 적용이 절실하다. 이러한 자료 분석 기법의 개발 및 적용에 관한 연구의 일환으로 최근 패턴분류를 위해 다양한 분야에서 활용되고 있는 자기조직화 특성 지도(Self Organizing Feature Map: SOFM)를 상기의 측정 자료에 적용한 연구 결과가 보고된 바 있다(진영훈 등, 2009; 2010). 본 연구에서는 수질오염총량관리제를 위해 측정되고 있는 수질 및 유량자료를 수집하여 자료에 내재되어 있는 시 공간적 특성을 분석하고자 하였다. 영산강 유역을 대상으로 하여, 본 유역 내의 단위유역들 중 황룡_A, 지석_A, 영본_A, 영본_B, 영본_C, 영본_D의 말단지점에서 측정되고 있는 BOD (Biochemical Oxygen Demand), TOC (Total Organic Carbon), T-N (Total Nitrogen), T-P (Total Phosphorus), SS (Suspended Solids) 수질농도 및 유량자료를 대상으로 연구를 진행하였다.

  • PDF

Analysis of Global Precipitation CMORPH (광역적 강우자료 CMORPH 분석)

  • Kim, Joo-Hun;Kim, Kyeong-Tak
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2012.05a
    • /
    • pp.887-887
    • /
    • 2012
  • 기후변화에 의한 강우패턴의 변화는 강우량 및 강우강도의 증가로 대표되며 국립기상연구소 (2011)에 의하면 현재와 같은 탄소배출이 줄어들지 않는다면 2050년 우리나라의 강수량은 16% 증가하고 일 강수량 80mm 이상의 호우발생일수가 60%이상 증가될 것으로 전망하고 있다. 이와 같이 기후변화로 인해 발생빈도가 증가추세인 집중호우는 산사태와 같은 2차 피해를 유발하고 있으며 강우의 예측 및 실시간 모니터링은 재해 예방 및 수자원관리, 국가 방재역량 강화를 위해 연구되어야 할 분야이다. 이에 본 연구에서는 광역적 강우자료로서 미국 NOAA의 기후예측센터에 의해 제공되는 글로벌 강우량 CMORPH와 지상 강우자료와의 비교 분석을 통해 CMORPH 자료의 수자원 분야 이용 가능성을 분석하는 것을 목적으로 한다. CMORPH는 고급의 시공간적 해상도를 가지며, 단기간의 기후 예측센터 모핑(morphing) 방법에 의한 "CMORPH"라 불리우는 강우평가 알고리즘과 새로운 위성 기반 기술을 이용하여 개발되었다. CMORPH 기술에 의해 생산된 글로벌 강우 추정은 저궤도 위성 수동 마이크로파(passive microwaves, PMW) 관측으로부터 유도되고, 그 형태는 전적으로 정지궤도 위성(geostationary satellite) 적외선(IR) 데이터로부터 얻어진 공간적 전파 정보 (모션 벡터)를 통해 전송된다. 이 기술은 PMW 데이터로부터 유도된 비교적 고품질의 추정 강우를 전파하기 위하여 30분 간격의 정지궤도 위성 IR 이미지로부터 파생된 모션 벡터를 이용하며, 때때로 레이더보다 더 나은 성능을 보이기도 하고(Apip 등 2010), CMORPH의 지역적 제공범위는 $60^{\circ}N-60^{\circ}S$이고 2002년 12월부터 제공하고 있다. 본 연구에서는 CMORPH 자료 중 2002년 12월부터 제공하는 3시간 누가강우 자료를 수집하였고, 자료의 정확도 분석은 갑천유역을 대상으로 하였다. 3시간 누가 강우량을 1일 누가 강우량으로 변환한 후 금강홍수통제소의 갑천 유역 강우관측소 5곳의 강우자료를 티센 평균에 의한 유역 평균강우자료와 비교하였다. 2009년 1년간의 지상관측자료와 CMORPH자료를 비교한 결과 가 0.34 정도로 분석되었으나 추가 연구를 통해 마이크로 웨이브 강우자료 및 3시간 강우자료, 그리고 30분 강우자료의 분석을 통해 다양한 형태의 강우자료 확보뿐만 아니라 광역적인 강우특성 분석도 가능하여 연구 결과의 동아시아지역 등으로 확대 적용할 수 있을 것으로 기대한다.

  • PDF

수량화 분석과 AHP를 이용한 산사태 예측모형 개발

  • Nam, Eun-Mi;Jun, Kyoung-Ho;Yu, Hyu-Kyong;Na, Jong-Hwa
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2009.05a
    • /
    • pp.114-119
    • /
    • 2009
  • 본 논문에서는 수량화 방법과 AHP(Analytic Hierarchy Process) 기법을 사용하여 산사태 발생에 대한 통계적 예측모형을 구축하는데 목적이 있다. 수량화(Quantification) 방법은 질적변수에 수량을 부여하는 통계적 방법으로, 기 조사된 자료에 기반하여 분석을 수행하는 방법이다. 본 논문에서는 서구의 다변량분석 기법인 정준상관분석의 결과를 토대로 수량화 과정을 구체적으로 제안한다. 데이터에 기반한 수량화 방법과는 달리 AHP(Analytic Hierarchy Process) 기법은 일종의 다기준 의사결정을 위해 사용되는 기법으로, 설문자료에 기반한 분석법이다. 실제자료에 대한 분석으로 산사태 발생여부를 측정한 자료(한국지질자원연구원 제공)와 전문가 설문을 통해 수집된 자료를 이용하였다. 이들 자료에 대해 수량화 분석과 AHP분석을 통해 산사태 발생여부를 예측할 수 있는 두 종류의 평가표와 함께 로지스틱 회귀를 통한 통계적 예측모형을 개발하였으며, 두 모형간의 성능비교와 안정성 평가를 수행하였다.

  • PDF

Comparative a Study on Trend Analysis using Extreme Rainfall Data and Scaling Exponent (강우자료와 스케일 지수에 대한 경향성 비교)

  • Jung, Younghun;Kim, Taereem;Joo, Kyungwon;Heo, Jun-Haeng
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.339-339
    • /
    • 2019
  • 지구 온난화와 기후변화의 영향으로 태풍의 발생과 집중호우로 인한 홍수피해는 꾸준히 증가하고 있는 실정이다. 이와 같이 홍수와 관련된 강수량은 기상인자 중에서 유역의 유출과 관계가 있고, 유역의 내수침수 등의 도시홍수를 일으키는 원인이 되고 있다. 그러나 본 연구에서는 자료의 경향성을 판단하기 위해 국내 연최대강우자료의 경향성을 분석하였으며, 또한 연최대강우자료의 시간적 특성을 나타내는 지표로써 스케일 지수에 대하여 경향성과 변동성을 분석하였다. 이를 위해 the block bootstrap-based MK (BBS-MK) 분석을 실시하였고, 연최대강우자료로부터 BBS-MK분석에 대한 경향성 분석 결과, 다수 지점의 연최대강우자료에서 경향성이 나타나지 않았으나, 큰 변동성을 확인하였고, 연별 스케일 지수의 변동성 보다 월별 스케일 지수의 변동성 중 우기에 해당하는 월 (6-10월)에 대한 변동성은 크게 나타났다. 스케일 지수의 경향성은 연최대강우자료의 경향성 분석 결과와는 반대로 많은 강우지점에서 경향성이 존재함을 알 수 있었다. 스케일 지수의 경향성 분석 결과, 해안 지역의 강우 관측소에서 감소 경향이 확인되었지만, 내륙 지역에서는 스케일 지수가 증가하는 경향을 확인할 수 있었다.

  • PDF

Analysis of the Flood-Duration-Frequency(QdF) Curve at Hangangdaegyo and Yeojoo Sites (한강대교와 여주 지점 홍수량-지속시간-생기빈도 곡선 분석)

  • Kim, Gwang-Seob;Sun, Ming-Dong;Lee, ong-Gu
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2008.05a
    • /
    • pp.1183-1186
    • /
    • 2008
  • 지속시간과 생기빈도에 따른 홍수량 산정은 여러 수문분야 적용에 있어 매우 유용하며 홍수관련 설계인자를 첨두홍수량 중심에서 지속시간에 대응하는 홍수량으로 확장할 필요가 있다고 하겠다. 본 연구에서는 한강유역 관측 홍수량의 홍수량-지속기간-빈도 분석을 위하여 샘플지역인 한강대교와 여주 지점의 수위자료와 수위-유량 관계식을 사용한 유출량 자료를 활용하여 경험적 QdF곡선과 이론적 QdF모형을 제시하였다. 지속시간에 따른 분석을 위하여 이동평균자료를 사용하여 획득된 지속기간별 연 최대홍수량 자료를 추출하였다. 한강대교 QdF 곡선의 변동특성은 지속기간과 재현기간이 증가함에 따른 최대홍수량 변화폭이 크게 증가하지 않음을 나타내고 이는 한강대교 지점의 유량이 대표하는 유역이 매우 크며 상류의 댐에 의한 홍수통제 등 인위적 영향에 기인한 것으로 판단된다. 이러한 유역 환경변화로 인한 자료 특성변화에 대한 영향 분석을 위하여 댐건설 전후를 분리한 자료를 이용한 QdF 곡선을 작성, 분석하였다. 댐 건설 전후 강수 자료 자체의 특성 변화와 댐 건설 후 자료기간의 한계를 가짐에도 불구하고 분석결과 댐건설 전후 자료에 대한 QdF 곡선은 댐건설로 인한 유출량 영향 파악을 가능케 하였다. 여주 지점의 QdF 곡선은 지속기간과 빈도변화에 따른 변화양상이 대상 지역 계획홍수량을 넘어서는 자료가 많음을 보였다. 이는 유출량 산정을 위해서 제시된 수위-유량 관계식의 적용범위를 넘어서는 값의 발생으로 인한 인위적인 조정에 기인한 것으로 판단된다. 그러므로 지점별로 분석자료의 타당성 및 정상성을 점검하고 자료에 타당한 개선된 QC과정이 필요함을 알 수 있다. 충주댐 건설전후의 여주 지점 QdF 분석 결과는 특히 댐 건설 후 QdF 곡선의 변화 양상은 댐 건설 후 자료에 대한 새로운 형태의 이론적 QdF모형 제시가 필요함을 보여주었다.

  • PDF

Analysis the relationship between Sea Surface Temperature of East Asia and Precipitation in South Korea using Multi-Channel Singular Spectrum Analysis (M-SSA를 이용한 동아시아 해수면 온도와 우리나라 강수량의 변화 상관분석)

  • Kim, Gwang-Seob;Park, Chan-Hee;HwangBo, Jung-Do
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2009.05a
    • /
    • pp.1117-1120
    • /
    • 2009
  • 최근 이상기후와 같은 기후변화로 인한 기온, 강수 등의 변화는 안정적인 수자원 확보에 큰 영향을 미칠 것으로 판단되고 수자원을 필요로 하는 사회 모든 분야에 있어 큰 영향을 끼친다. 특히 농업, 공업, 도시의 용수 공급에 있어 변화는 더욱 심해질 것으로 판단되며 기후변화로 인한 기온, 강수 등의 변화의 정확한 분석이 필요로 한다. 따라서 본 연구에서는 동아시아 해수면 온도와 우리나라 강수량에 대한 MSSA (Multi-channel Singular Spectrum Analysis)를 실시함으로 두 시계열 사이에 공통적으로 나타나는 변화, 즉 특정 상관 주기 변동을 분석함으로 두 변수 사이에 변화 상관 분석을 실시하였다. 우리나라 강수량 자료로는 현재 기상청에서 운영 중인 지상 기상관측소 76개소 중 가용관측소 61개소 자료에 대하여 1973년 1월부터 2008년 12월까지의 자료를 수집하여 월 평균값을 사용하였고 동아시아 해수면 온도 자료로는 한반도 근해 해수면 온도 변화, 남중국해 해수면 온도 변화, 인도양 해수면 온도 변화, 적도 해수면 온도 변화 등을 선택하여 관측시점부터 2008년 12월까지 자료를 수집하여 사용하였다. 분석 자료에 대해 선형 회귀분석을 통한 선형추세 제거와 정규화한 자료를 사용하여 각각의 지수에 대해 MSSA 분석을 실시하였다. 이때 window length는 Vautard 등(1992)이 제시한 N/5$^{\sim}$N/3의 값인 108의 값을 사용하였고 이때 각각의 고유치는 전체 공분산에 대한 각 요소의 비율을 설명한다. 상관분석 결과는 각 지수와 강수자료 사이에 높은 상관성을 가지는 장단주기 변화가 존재함을 보여주었다. 그럼에도 불구하고 우리나라 월강수자료의 전체 변화는 계절변화를 제외하고도 장단 주기를 가지는 시간변화가 자료 전체 변화의 절반에 해당하며 장주기 변화가 나타내는 부분이 미미하다. 이는 계절 주기를 제외한 자료들 사이의 상관변화가 설명할 수 있는 부분이 미미 하며 여러 기상지수들과 국내 강수량사이의 MSSA 분석을 통하여 제시 할 수 있는 변화의 정량적 정도가 매우 제한됨을 보여준다. 그럼에도 불구하고 이러한 접근을 통하여 강수 변화의 불확실성을 줄여나가는 노력이 필요하다고 하겠다.

  • PDF

Sensitivity of Synthetic Precipitation Data According to Observation Density (관측소 밀집정도에 따른 강수량 자료복원 민감도 분석)

  • Kim, Hong-Joong;Oh, Jaiho
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2016.05a
    • /
    • pp.138-138
    • /
    • 2016
  • 강수량은 농업과 수자원관리, 그 외 사회 기반 사업들에게 광범위하게 영향을 미치는 매우 중요한 기상요소이므로 강수량 관측자료는 사회전반에 활용되고 있다. 하지만 강수량은 공간적인 불연속성이 크기 때문에 조밀한 관측자료를 필요로 하고 있으며, 때문에 관측이 이루어지지 않은 미관측 지점의 강수량 자료를 복원하려는 연구도 계속 진행되고 있다. 관측자료를 이용하여 미관측 지점의 강수량을 복원하는 방법으로 지상 강수량 관측자료와 연직 상층기상자료 및 고해상도 지형자료를 이용하여 복원하는 정량적 강수량 진단 모형이 이미 개발되어 대한민국을 대상으로 강수량 복원이 이루어진 바 있다. 대한민국은 전국이 대략 10 km 정도로 비교적 조밀하고 일정한 지상 관측망을 가지고 있어 관측자료를 이용한 강수량 복원에 유리하다. 하지만 전 세계 많은 지역에서 강수량 관측자료는 매우 부족한 실정이며 가깝게는 북한과 중국에서부터 아프리카와 남아메리카 등 일부 강수량 관측이 전혀 이루어지지 않는 지역도 존재한다. 이러한 지역에 대한 강수량 복원 정확도에 대해서는 지금까지 연구된 바 없으며 관측자료 수에 따른 복원 민감도에 대한 연구도 이루어지지 않았다. 따라서 대한민국에 비해 관측자료가 부족한 지역에 대해 복원 정확도를 파악할 필요성이 있으므로 본 연구에서는 관측소 밀집정도에 따른 미관측 지역의 강수량 복원 민감도 분석을 하였다. 대한민국은 572개 지점의 지상기상관측망(자동기상관측장비 AWS 477개, 종관기상관측장비 ASOS 95개 지점)을 운영하고 있으며, 10개 지점의 기상레이더가 전국을 감시하고 있어 미관측 지점에 대해 검증자료로 활용할 수 있으므로 강수량 복원 민감도 분석 대상 지역으로 선정하였다. 강수량 복원 정확도 검증을 위해 강수량 복원자료의 격자점과 가장 근접한 관측지점을 검증지점으로 선정하고, 강수량 복원에는 검증지점을 제외한 관측자료만을 이용하였다. 관측자료 밀집정도에 따른 민감도 분석을 위해 관측자료를 100% 사용하였을 때와 일부만 사용하였을 때로 나누어 분석하였다. 관측소 밀집도에 따른 강수량 복원 정확도 민감성 분석을 통해 관측소가 부족한 북한, 중국, 아프리카 등지의 미관측 지점 복원 정확도를 추정할 수 있으며 관측소가 부족하거나 전무한 지역에서 강수량 복원 정확도를 늘리기 위해 필요한 관측소 수를 파악하는 데에 적용할 수 있을 것이다.

  • PDF

비선형모형분석을 위한 탐색적 자료분석

  • Jang, Dae-Heung
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2002.05a
    • /
    • pp.25-28
    • /
    • 2002
  • 비선형모형분석의 초기 단계에서 초기값(starting value, initial parameter value)를 결정하는 문제는 비선형모형의 모수추정을 위한 반복기법의 수렴속도나 국소값(local minimum)문제에 영향을 주게 된다. 본 논문을 통하여 탐색적 자료분석이 초기값를 결정하는 데 도움을 줄 수 있음을 보이고자 한다.

  • PDF

A Study on the Operation of the Seolma-Cheon Experimental Catchment (2006년 설마천 시험유역 운영)

  • Kim, Dong-Phil;Kim, Sung-Hoon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2007.05a
    • /
    • pp.860-864
    • /
    • 2007
  • 본 연구의 목적은 한국건설기술연구원에서 운영하는 설마천 시험유역을 대상으로 신뢰성 있는 수문자료를 지속적으로 수집하여 정확한 물 순환 과정을 규명하는데 있다. 강우량, 수위, 유속, 유량, 수질, 부유사량, 기상 등의 기본적인 수문관측 자료를 축적하는 것과 수집된 자료를 이용하여 유역의 유출특성 분석, 수문관측 기술개발과 각종 관측기기의 적합성 검증과 측정방법을 개선하는데 있다. 설마천 시험유역 수문관측은 해마다 노후화된 관측기기의 교체 및 추가 설치, 실시간 전송장비의 보완 및 운영, 각 관측소당 2종 이상의 동시 관측자료 확보 등을 통해 자료의 결측을 최소화하였으며, 정확도를 개선하여 양질의 자료를 생성할 수 있었다. 관측된 우량과 수위 자료에 대하여 일상적인 자료 검토 및 처리 과정을 보다 구체적으로 체계화하여 자료의 질이 향상될 수 있도록 하였으며, 특히 유량 측정 및 산정 방법을 국제 기준에 준하여 수행하여 보다 정도 높은 유량측정성과를 확보할 수 있었다. 이렇게 다각적인 방법으로 안정적인 관측 자료를 확보한 결과, 동절기를 제외한 전적비교와 사방교에서 무결측의 유역평균우량과 유량자료를 구축할 수 있었다. 그리고, 본 연구에서는 실시간 전송장비와 설마천 시험유역 홈페이지(http://kict.datapcs.co.kr)를 통해 실시간으로 우량과 수위 자료를 인터넷과 PCS로 확인할 수 있도록 시스템을 운영하였으며, 이로 인해 언제 어디서나 설마천 시험유역의 현장상황을 신속하게 파악할 수 있도록 하여 자료의 질을 향상시킬 수 있는 기반을 구축하여 운영 중에 있다. 본 시험유역의 주요 연구 내용으로는 수문 기상관측, 수문 기상자료 정리 검토, 기본 수문특성 분석, 수문관측방법의 비교 검토 등을 수행하였으며, 기본 수문특성 분석 내용으로는 호우사상 현황 분석, 지속기간별 최대 강우량 분석, 2종 우량계간의 강우량 비교, 6개 지점간 강우량 비교, 주요 호우사상의 시 공간적 분포 특성, 연간, 월별, 주요 호우사상별 유출률 분석과 부유사량 및 수질분석 등을 수행하였으며, 이로써 산지 소하천 유역의 물 순환 과정을 보다 명확히 규명하고자 노력하였다.

  • PDF