• 제목/요약/키워드: 자료 전처리

검색결과 476건 처리시간 0.031초

지면피복 자료들의 비교연구를 통한 아시아지역 지면피복 자료 개선 (Improvement of Land Cover over Asian region via Comparison of the Land Cover Data Sets)

  • 강전호;서명석;곽종흠
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 춘계학술대회 논문집
    • /
    • pp.49-54
    • /
    • 2007
  • 고분해능복사계(AVHRR) 자료로부터 산출한 아시아지역 지면피복 분류자료들 (United States Geological Survey: USGS, International Geosphere Biosphere Programme: IGBP, University of Maryland: UMd)의 분류특성을 분석하였으며 이를 근거로 하여 이 지역에 대한 지면피복의 분류를 시도하였다. 서로 다른 지면피복 분류 자료들의 비교를 위하여 지도 투영법을 일치시켰으며 지면피복 정의가 유사한 유형들만 비교하였다. 세 지면피복 자료에서 분류가 모두 일치하는 비율은 33.57%이고 3 자료 중 두 자료에서 분류가 일치하는 비율은 49.69%로 나타났다. 전체적으로 나대지(사막), 도시 및 혼합림과 같이 식생의 생물리적 특성이 뚜렷한 유형들에서는 분류의 일치율이 높게 나타났다. 반면에 농지, 낙엽활엽수림, 및 낙엽침엽수렴과 같이 식생의 생물리적 특성이 유사한 유형에서는 일치율이 낮게 나타났다. 분류에 사용된 기본 입력자료수, 지면피복 유형수,분류기법 및 입력 자료의 전처리 수준 등이 지면피복 분류 결과에 차이를 유발한 것으로 판단된다. 지면피복 자료들의 비교결과와 각 유형별 식생지수의 평균 계절변동 특성을 이용하여 이 지역에 대한 지면피복 분류자료를 보완하였다.

  • PDF

저수지군으로부터 기대편익 산정을 위한 Monte Carlo 기법의 간략화 (Simplification of Monte Carlo Techniques for the Estimation of Expected Benefits in Stochastic Ananlysis of Multiple Reservoir Systems)

  • 이광만;고석구
    • 물과 미래
    • /
    • 제26권2호
    • /
    • pp.89-97
    • /
    • 1993
  • Monte Carlo 기법을 이용하여 저수지군으로부터 위험도나 신뢰도를 고려한 시스템 편익을 최적화하기 위해서는 수많은 모의발생 유입량 자료군을 이용하여야 한다. 본 연구에서는 저수지군 연계운영을 위한 모의 발생 유입량 자료를 시스템 목적함수나 운영기간들을 고려하여 전처리함으로써 수많은 모의 발생 자료군으로부터 이산화된 확율값과 운영기간을 갖는 극히 제한된 대표 유입량을 선택한다. 선택된 대표 유입량 자료를 사용하여 확정론적 최적화 기법에 의거 이산화된 위험도나 신뢰도 수준을 갖는 기대편익을 산정하게 된다. 이와 같은 기법을 5개 저수지를 고려한 한강수계 저수지 시스템으로부터 전처리 된 평가함수별 신뢰도 수준을 갖는 발전편익 산정에 적용하였으며, 적용결과 신뢰도를 고려한 기대편익은 전형적인 Monte Carlo 기법에 의한 결과와 비슷한 수중이었으나 훨씬 적은 계산만을 요구하였다.

  • PDF

데이터 마이닝을 위한 연관규칙의 다중 값 속성 처리방법 (Processing Multi-Valued Attributes in Association Rules for Data Mining)

  • 김산성;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.340-342
    • /
    • 2002
  • 다중 값이란 속성 값이 집합인 것을 말한다. 즉, 관계형 데이터베이스에서 자료 유형이 집합인 속성을 의미한다. 이러한 다중 값 속성 처리는 기존 데이터마이닝 기술 자체로는 처리한 수 없으며 후처리나 선처리 과정을 이용하여 처리하고 있다. 전처리나 후처리 과정을 통해 처리할 경우 수행과장에 있어 많은 시간이 소요되고 혹은 타당하지 않은 규칙이 생성되는 문제점을 가지고 있다. 특히 연관화 기법 특성상 분석하고자 할 항목이 증가할수록 연관성의 수가 지수(exponential)단위이기 때문에 이를 해결하는데는 상당한 어려움이 따르게 된다. 본 논문에서는 관계형 데이터베이스 테이블 구조에서 데이터 마이닝의 수행을 위한 전처리나 후처리의 과정을 고려하지 않음으로 위에서 언급된 문제점들을 해결하고자 한다. 특히 데이터 변환 작업 없이 정량적(Quantitative)연관 규칙과 연관 규칙(Market Basket Analysis)의 혼합 형태의 규칙을 생성할 수 있게끔 알고리즘을 확장하여 보다 효율적인 규칙이 생성될 수 있도록 한다. 마지막으로 Each Movie 데이터를 사용하여 확장한 알고리즘의 다중 값 속성 처리 방법의 효율성과 타탕성을 검증한다.

  • PDF

지진에 의한 측지학적 지각변동 분석을 위한 GNSS 자료 전처리 연구 (A Study on GNSS Data Pre-processing for Analyzing Geodetic Effects on Crustal Deformation due to the Earthquake)

  • 손동효;김두식;박관동
    • 대한공간정보학회지
    • /
    • 제23권1호
    • /
    • pp.47-54
    • /
    • 2015
  • 이 논문에서는 지진에 의한 지각변동 분석에서 측지학적 요소만을 구분하고자 하는 목적으로 GNSS 자료를 전처리하는 전략을 연구하였다. 이를 위해 GNSS 자료처리 결과의 해석에 앞서 GNSS 좌표 시계열에서 나타나는 위신호들을 검출하고 제거하였다. GNSS 관측소는 한반도가 포함된 큰 지각판 위에 위치하므로 판의 운동으로 인한 속도가 좌표 시계열에 포함된다. 그리고 일부 관측소 주변에 위치한 나무들은 계절에 따라 성장변화가 일어나기 때문에 계절적 신호특성이 GNSS 좌표 시계열에 반영된다. 따라서 오일러축에 의한 지각판 운동효과를 정확히 제거하기 위해 축의 위치와 각속도를 한반도 지각판에 맞게 새롭게 추정하였고 이에 대한 검증을 수행하였다. 그리고 1년 주기로 나타나는 계절변동 신호를 추정해 각 관측소의 좌표시계열에 반영하였다. 두 효과를 제거함으로써 지진에 의한 영향을 측지학적으로 분석할 수 있다. 이를 이용해 2011년 동일본 대지진에 의한 지각변위 예비 분석을 수행하였다.

비격자형 자료의 시각화를 위한 등치선도 생성 알고리즘 (A Contour Generation Algorithm for Visualizing Non-Lattice Type Data)

  • 이준;김지인
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권2호
    • /
    • pp.94-104
    • /
    • 2002
  • 과학적 시각화인 한 분야인 등치선도 자동생성 알고리즘은 주로 규칙적인 삭가형 격자 위에서 정의된 자료에 대해서 연구를 진행되어 왔다. 하지만 기상자료 관측과 같은 실제 자료 추출 상황에서 모든 격자에서 자료를 얻는 것이 불가능하다. 자료 추출장비, 방법의 특성상 모든 격자에서 자료 값을 얻을수없다. 자료가 추출되지 않는 모든 격자에서 필요한 자료 값을 구하기 위하여 추출된 자료에 적당한 보간 법을 적용하여 근사값을 할당한다. 본 논문에서는격자형 자료를 사용하지 않고 비격자형 자료를 사용해서 등치선도를 자동으로 생성하는 알고리즘을 제안하였다. 거리가 중보간법을 이용하여 전처리된 사각형 격자형 자룔를 사용하는대신 비격자형 자료를 직접사용하여 삼각형 자료 연결으로 정의하였다. 제안된 알고리즘은 격자형 자료 연결에 근거한 등치선도를 작성한다. 이 알고리즘은 숙련된 기상도 제작자가 기상도를 작성하는 원칙에 근거를 두고 있다. 새롭게 제안된 알고리즘은 전통적이 알고리즘에 비해서 다음과 같은 장점을 갖고 있다.제안된 알고리즘은 전처리 과정에서 추출된 자료를 보간 할 필요 없이 추출된 자료만으로 등치선도를 작성한다. 그리고 격자에 보간법이 적용되었을때 발생하는 자료의 왜곡이 없다.

Self-supervised Graph Learning을 통한 멀티모달 기상관측 융합 (Multi-modal Meteorological Data Fusion based on Self-supervised Learning for Graph)

  • 전현주;강전호;권인혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.589-591
    • /
    • 2023
  • 현재 수치예보 시스템은 항공기, 위성 등 다양한 센서에서 얻은 다종 관측 데이터를 동화하여 대기 상태를 추정하고 있지만, 관측변수 또는 물리량이 서로 다른 관측들을 처리하기 위한 계산 복잡도가 매우 높다. 본 연구에서 기존 시스템의 계산 효율성을 개선하여 관측을 평가하거나 전처리하는 데에 효율적으로 활용하기 위해, 각 관측의 특성을 고려한 자기 지도학습 방법을 통해 멀티모달 기상관측으로부터 실제 대기 상태를 추정하는 방법론을 제안하고자 한다. 비균질적으로 수집되는 멀티모달 기상관측 데이터를 융합하기 위해, (i) 기상관측의 heterogeneous network를 구축하여 개별 관측의 위상정보를 표현하고, (ii) pretext task 기반의 self-supervised learning을 바탕으로 개별 관측의 특성을 표현한다. (iii) Graph neural network 기반의 예측 모델을 통해 실제에 가까운 대기 상태를 추정한다. 제안하는 모델은 대규모 수치 시뮬레이션 시스템으로 수행되는 기존 기술의 한계점을 개선함으로써, 이상 관측 탐지, 관측의 편차 보정, 관측영향 평가 등 관측 전처리 기술로 활용할 수 있다.

딥러닝을 이용한 외해 해양기상자료로부터의 항내파고 예측 (Wave Prediction in a Harbour using Deep Learning with Offshore Data)

  • 이건세;정동현;문용호;박원경;채장원
    • 한국해안·해양공학회논문집
    • /
    • 제33권6호
    • /
    • pp.367-373
    • /
    • 2021
  • 본 연구에서는 항내 파고를 신속하고 비교적 정확하게 예측할 수 있는 딥러닝 모델을 구축하였다.다양한 머신러닝 기법들을 외해파랑의 항내로 전파 변형 특성을 감안하여 모델에 적용하였으며 스웰로 인해 하역중단 문제가 심각했던 포항신항을 모델적용 대상지로 선정하였다. 모델의 입력 자료는 외해의 파고, 주기, 파향 그리고 출력 및 예측 자료로는 항내 파고자료로 하여 모델을 학습시켰다. 이때 자료의 전처리 과정으로 항내·외 파랑 시계열자료의 상관성을 감안하여 파향 자료를 분리하는 방법을 적용하고 딥러닝 기법을 이용하여 모델을 학습하였다. 결과적으로 모델을 통해 예측한 값이 항내관측치의 파고 시계열자료를 잘 재현하였으며 모델의 안정성을 크게 향상시켰다.

Support Vector Regression을 이용한 희소 데이터의 전처리 (A Sparse Data Preprocessing Using Support Vector Regression)

  • 전성해;박정은;오경환
    • 한국지능시스템학회논문지
    • /
    • 제14권6호
    • /
    • pp.789-792
    • /
    • 2004
  • 웹 마이닝, 바이오정보학, 통계적 자료 분석 등 여러 분야에서 매우 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 가장 기본적인 평균과 최빈수뿐만 아니라 조건부 평균, 나무 모형, 그리고 마코프체인 몬테칼로 기법과 같은 결측치 대체 기법들을 적용하여 추정된 값에 의해 대체된다. 그런데 주어진 데이터의 결측치 비율이 크게 되면 기존의 결측치 대체 방법들의 예측의 정확도는 낮아지는 특성을 보인다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 결측치 대체 방법들의 수는 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 통계적 학습 이론 중에서 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형하여 적용하였다. 제안 방법을 이용하여 결측치 비율이 큰 희소 데이터의 전처리도 가능할 수 있도록 하였다 UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.