• 제목/요약/키워드: Outlier Analysis

검색결과 234건 처리시간 0.027초

빅데이터 기반의 IoT 이상 장애 탐지 시스템 설계 (Design of Anomaly Detection System Based on Big Data in Internet of Things)

  • 나성일;김형중
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권2호
    • /
    • pp.377-383
    • /
    • 2018
  • 사물인터넷(IoT) 서비스는 스마트 환경이 발전하면서 다양한 데이터를 생산하고 있다. 이 데이터는 사용자의 상황을 판단하는 중요한 데이터로 사용된다. 그렇기 때문에 센서의 이상 상태를 실시간으로 모니터링하고 이상 데이터를 탐지하는 것이 중요하다. 하지만 데이터 구조와 프로토콜이 다양하기 때문에 표준화된 데이터 구조로 변환하는 과정이 필요하다. 그럼으로써 데이터의 품질을 보장하고 정확한 분석을 통해 서비스의 품질까지 좋아지는 효과를 기대할 수 있다. 본 논문은 수집된 센서의 이상탐지를 위해 빅데이터 기반의 이상탐지 시스템을 제안한다. 제안한 시스템은 이상탐지를 위해 데이터 표준화 전처리와 시계열 기반의 이상탐지가 우수한 SVM(Support Vector Machine) 모델을 적용하였다. 실험에서는 전처리와 전처리되지 않은 데이터를 각각 학습시키고 비교하였다. 그 결과, 전처리된 데이터는 이상 장애를 정확히 탐지하고 예측하였다.

국지적 공간자기상관통계를 이용한 도시녹지의 공간적 분포패턴에 관한 연구 (A Study on the Spatial Distribution Patterns of Urban Green Spaces Using Local Spatial Autocorrelation Statistics)

  • 김윤기
    • 지적과 국토정보
    • /
    • 제50권1호
    • /
    • pp.25-45
    • /
    • 2020
  • 본 연구의 주된 목적은 녹지의 공간 분포 패턴을 식별하는데 있어 국지적 공간자기상관 기법들의 성능을 비교하고 분석하는 것이다. 이 연구목적을 달성하기 위해 본 연구는 위성영상분석기법과 공간자기상관기법들을 이용하였다. 분석의 결과 공간 특이치 군집을 갖는 LISA 군집지도가 도시녹지의 공간 분포 패턴을 식별하는 데 있어서 다른 분석기법들보다 우수함이 확인되었다. 본 연구는 기존의 연구들과는 다른 몇 가지 연구방법을 이용했다는 점에서 관련분야에 기여할 수 있다. 이러한 차별성과 유용성에도 불구하고 본 연구는 녹지의 공간적 분포패턴을 식별하는 있어서 저해상도 위성영상을 이용했다는 점과 식생지수들 중에서 NDVI만을 이용했다는 점에서 한계를 지닌다. 이러한 한계들은 향후연구에서 UAV영상을 이용하거나 또는 여러 가지 식생지수들을 동시에 이용한다면 극복될 수 있을 것이다.

주산지 기상정보를 활용한 주요 채소작물의 단수 예측 모형 개발 (Development on Crop Yield Forecasting Model for Major Vegetable Crops using Meteorological Information of Main Production Area)

  • 임철희;김강선;이은정;허성봉;김태연;김용석;이우균
    • 한국기후변화학회지
    • /
    • 제7권2호
    • /
    • pp.193-203
    • /
    • 2016
  • The importance of forecasting agricultural production is receiving attention while climate change is accelerating. This study suggested three types of crop yield forecasting model for major vegetable crops by using downscaled meteorological information of main production area on farmland level, which identified as limitation from previous studies. First, this study conducted correlation analysis with seven types of farm level downscaled meteorological informations and reported crop yield of main production area. After, we selected three types of meteorological factors which showed the highest relation with each crop species and regions. Parameters were deducted from meterological factor with high correlation but crop species number was neglected. After, crop yield of each crops was estimated by using the three suggested types of models. Chinese cabbage showed high accuracy in overall, while the accuracy of daikon and onion was quiet revised by neglecting the outlier. Chili and garlic showed differences by region, but Kyungbuk chili and Chungnam, Kyungsang garlic appeared significant accuracy. We also selected key meteorological factor of each crops which has the highest relation with crop yield. If the factor had significant relation with the quantity, it explains better about the variations of key meteorological factor. This study will contribute to establishing the methodology of future studies by estimating the crop yield of different species by using farmland meterological information and relatively simplify multiple linear regression models.

한반도 연안 퇴적물의 중금속 배경농도 및 오염도 평가 (Background Concentration and Contamination Assessment of Heavy Metals in Korean Coastal Sediments)

  • 우준식;이효진;박종규;박경규;조동진;장동준;박소정;최만식;유정규
    • 한국해양학회지:바다
    • /
    • 제24권1호
    • /
    • pp.64-78
    • /
    • 2019
  • 2016~2017년 '국가해양생태계 종합조사(연안생태계)'에서 얻어진 495개의 퇴적물 중금속 자료를 이용하여 한반도 연안 퇴적물의 중금속 배경농도를 산정하고 오염도를 평가하였다. 퇴적물 입도를 나타내는 지시자로 Al, Cs, Li이 적절하였으며, 이 들과 중금속 농도 사이의 관계에서 이상치 제거 및 잔차 분석을 통하여 가장 낮은 기울기의 자료를 선택하여 중금속과 지시자 사이의 회귀 직선으로 배경농도를 표시하였다. 기존 연구에서의 배경농도와 본 연구의 결과는 비교적 잘 일치하였으며, 본 연구에서는 As 및 Cd에 대해 처음으로 제시하였고, 지시자로 Li을 사용한 배경농도 식을 처음으로 제시하였다.

이상 탐지 분석에서 알려지지 않는 공격을 식별하기 위한 이산 웨이블릿 변환 적용 연구 (Application of Discrete Wavelet Transforms to Identify Unknown Attacks in Anomaly Detection Analysis)

  • 김동욱;신건윤;윤지영;김상수;한명묵
    • 인터넷정보학회논문지
    • /
    • 제22권3호
    • /
    • pp.45-52
    • /
    • 2021
  • 사이버 보안의 침입탐지 시스템에서 알려지지 않는 공격을 식별하기 위한 많은 연구가 이루어지고 있지만, 그 중에서도 이상치를 기반으로 하는 연구가 주목받고 있다. 이에 따라 우리는 알려지지 않는 공격에 대한 범주를 정의하여 이상치를 식별한다. 알려지지 않는 공격은 2가지 범주로 조사하였는데, 첫째는 변종 공격을 생성하는 사항이 있고, 두 번째는 새로운 유형으로 분류하는 연구로 나누었다. 우리는 변종 공격을 생성하는 연구 범주에서 변종과 같이 유사 데이터를 식별할 수 있는 이상치 연구를 수행하였다. 침입탐지 시스템에서 이상치를 식별하는 큰 문제는 정상행동과 공격행동이 같은 공간을 공유하는 것이다. 이를 위해 우리는 이산 웨이블릿 변환으로 정상과 공격에 대해 명확한 유형으로 나눌 수 있는 기법을 적용하고 이상치를 탐지하였다. 결과로 우리는 이산 웨이블릿 변환으로 재구성된 데이터에서 One-Class SVM을 통한 이상치를 식별 할 수 있음을 확인하였다.

레이더 강수 데이터 기반 극한 강우의 지속시간별 거동 분석 (Analysis of behavior by duration of extreme rainfall based on radar precipitation data)

  • 김수현;김동균
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.116-116
    • /
    • 2023
  • 대규모 댐과 같은 수공구조물의 파괴시 상당한 피해가 발생하므로 구조물설계시 가능최대강수량(PMP) 기준이 적용된다. 포락선 방법은 가장 극심했던 강우량의 포락선을 작성하여 PMP를 산정하는 방법으로 기상 및 강수량자료가 부족시 PMP 추정이 어려운 경우에 사용한다. 포락선의 근사식은 지속시간의 거듭제곱인 멱함수 형태로 나타내며, 우리나라의 경우 1일을 전후로 계수와 차수가 다른 식을 사용한다. 이러한 근사식은 우리나라의 이상홍수 발생빈도 및 규모가 커짐에 따라 검토될 필요성이 있다. 또한, PMP 산정시 활용하는 제한된 수의 지상관측자료는 시공간적 변동성을 완전히 포착할 수 없어 한계가 있다. 본 연구는 이러한 한계를 극복하기 위하여 기상레이더 자료를 기반으로 우리나라 전역의 최대 강우깊이-지속시간 관계를 분석 및 새로운 PMP 포락선을 제시한다. 활용한 레이더는 CMAX(Column Maximum)로 2009~2018년간 10분 단위자료를 수집하였다. 레이더 자료와 비교하기 위하여 지상관측자료 AWS를 함께 수집하였다. AWS는 1997~2022년간 1분 단위자료로 우리나라 전역의 547개 지점관측자료를 활용하였다. 레이더자료는 Z-R 관계식으로 변환하여 가외치(outlier)를 제거 및 보정하였다. 그 후, 정규 크리깅기법으로 생성한 지상관측 강우장과 병합하는 CM(Conditional Merging)기법을 적용하였다. 우리나라 최대 강우깊이-지속시간 관계를 산정한 결과, 기존 포락선의 값이 낮게 산정되었음을 확인하였다. 이는 기후변화 등에 따라 최근 극한 호우가 발생한 것으로 판단된다. 또한, 실제 근사식은 멱함수 거동에서 벗어난 형태로 나타났고, 지점관측자료가 기상레이더 값보다 과소추정되는 경향을 확인하였다. 특히 같은 기간에서 확인하였을 때, 강우지속시간이 짧을수록 AWS값과 레이더자료의 강수량이 2배 정도 차이를 보여 지점관측소가 없는 지역의 국지성 호우 존재를 확인할 수 있었다. 추후, 미래에 더 긴 레이더 시계열을 사용한다면, 더욱 신뢰성 있는 자료로 활용할 수 있을 것으로 판단한다.

  • PDF

무작위성을 보이는 지반정수의 확률분포 및 변동성 (Probabilistic Distribution and Variability of Geotechnical Properties with Randomness Characteristic)

  • 김동휘;이주형;이우진
    • 한국지반공학회논문집
    • /
    • 제25권11호
    • /
    • pp.87-103
    • /
    • 2009
  • 지반정수의 신뢰성 높은 확률분포형을 결정하기 위해서는 분석자료에 대한 이상치 및 무작위성 검정, 적용한 확률 분포형의 매개변수 추정 및 매개변수 적합성 검정, 마지막으로 확률분포형의 적합성 검정의 과정이 필요하며, 위의 순서로 지반정수의 확률분포형을 산정할 것을 제안하였다. 본 연구에서는 제안한 절차에 따라 분석대상 지반으로 선정된 인천 송도지역 지반정수들의 확률분포형을 추정하였으며, 추가로 지반정수들의 변동성을 나타내는 변동계수를 산정하였다. 이와 같이 신뢰성 높은 지반정수들의 확률분포형과 변동계수는 확률론적 설계방법에 사용될 수 있을 뿐만 아니라 결정론적 설계에 사용될 지반정수의 합리적인 결정에 사용될 수 있는 중요한 자료로 판단된다.

계층적 분석기법을 이용한 도로시설 자산관리정보시스템 평가에 관한 연구 (A Study on a Measure of Asset Management Information Systems for Highway Transportation Facilities using AHP)

  • 정성윤;최원식;김우제
    • 대한토목학회논문집
    • /
    • 제30권6D호
    • /
    • pp.663-673
    • /
    • 2010
  • 본 연구에서는 사회기반시설에 사전 대응적 방식의 자산관리 체계를 도입하기 위해 자산관리정보시스템을 개발하고 있다. 본 연구는 향후 자산관리정보시스템의 개발과 운영을 위한 방향을 모색하기 위한 목적으로, 자산관리정보시스템의 예상되는 성과를 평가하기 위한 사용자 만족도와 자산관리기능이 유지관리 업무에 미치는 영향정도를 분석하기 위해 연구 모형을 체계화하고 평가기준을 선정하였다. 선정된 평가기준에 따라 중요도를 산정하기 위해 AHP 분석 방법을 사용하였다. 중요도의 논리적 일관성을 검증하였으며 한쪽으로 편중된 이상치를 최소로 반영하기 위해 대용가능지수를 계산하였다.

대표농도경로 시나리오에 의한 미래 강수량의 지역빈도해석 (Regional Frequency Analysis for Future Precipitation from RCP Scenarios)

  • 김덕환;홍승진;최창현;한대건;이종소;김형수
    • 한국습지학회지
    • /
    • 제17권1호
    • /
    • pp.80-90
    • /
    • 2015
  • 기후변화로 인해 강우 패턴과 강우강도의 변동성이 커지고 있으며, 도시화 및 산업화에 따른 불투수면적의 증가로 인해, 집중호우에 따른 도시침수와 홍수피해가 심화될 것으로 예상하고 있다. 따라서 본 연구에서는 홍수방어 대안 설정을 위한 설계 강수량(design rainfall) 또는 확률강수량에도 변화가 예상되므로 지역빈도해석을 통해 미래 확률강수량을 산정 및 분석하고자 한다. 기상청 산하 30년 이상의 관측치를 갖고 있는 58개 지점을 대상으로 과거 관측자료를 수집하고, 기후변화를 고려한 미래 확률강수량 추정을 위해 대표농도경로(RCP) 시나리오에 의한 강수량 자료를 이용하여 지역빈도해석을 실시하였다. 기후변화에 따른 강수량 자료의 편의를 제거하기 위하여 분위사상법(Quantile Mapping) 및 이상치 검정을 실시하였다. Hosking and Wallis(1997)가 제시한 L-moment방법을 이용하여 지역빈도 해석을 실시하였으며, 80년, 100년, 200년 빈도에 대한 미래 목표기간별 확률강수량을 산정하였다. 그 결과 21세기 말에 전국의 확률강수량이 현재의 관측 확률강수량에 비해 25 ~ 27% 상승하는 것으로 예측되며, 특히, 제주도 지역이 가장 크게 증가하는 것으로 분석되었다. 따라서 미래 기후변화로 인한 강수량의 증가와 도시화에 따른 유출특성 변화로 자연재해 발생 및 피해는 더욱 증가할 것으로 예상되며, 미래 홍수안전도를 위한 대비책 마련이 필요할 것으로 판단된다.

KMA와 ECMWF 자료를 이용한 연안 유의파고의 분포 및 추세분석 (Distribution and Trend Analysis of the Significant Wave Heights Using KMA and ECMWF Data Sets in the Coastal Seas, Korea)

  • 고동휘;정신택;조홍연;서경식
    • 한국해안·해양공학회논문집
    • /
    • 제29권3호
    • /
    • pp.129-138
    • /
    • 2017
  • 연안의 파랑환경은 해안지형의 변화, 해양생물의 서식조건, 해양구조물의 설계 등에 직접적인 영향을 미치는 매우 중요한 인자이다. 최근 기후변화로 인한 파랑환경의 변화도 예상되고 있는 상황에서, 가용한 자료를 이용한 파랑환경의 추세분석이 요구된다. 본 연구에서는 한국 연안 6개 지점(덕적도, 외연도, 칠발도, 마라도, 포항, 울릉도) 평상파랑의 부이관측 자료를 이용하여 장기 변화양상을 분석하였다. 먼저, 국내 기상청 해양기상부이 관측 자료의 이상치를 제거하기 위해 Rosner 방법을 사용하였으며, 이를 ECMWF 재해석 자료와 피어슨 상관분석을 수행하였다. 그 결과, 해양기상부이와 ECMWF 자료간의 상관성은 0.849~0.938로 나타났다. 한편, 맨-캔달 검정법을 이용하여 평상파랑의 장기변동 양상을 검토하였으며 그 결과, 덕적도, 외연도, 칠발도 지점은 변동이 없는 것으로 나타났지만, 마라도, 포항, 울릉도 지점은 증가하는 경향을 보였다.