• 제목/요약/키워드: weighted moving average

검색결과 134건 처리시간 0.023초

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

지수가중이동평균관리도의 경제적 최적모수의 선정 (Selection of the economically optimal parameters in the EWMA control chart)

  • 박창순;원태연
    • 응용통계연구
    • /
    • 제9권1호
    • /
    • pp.91-109
    • /
    • 1996
  • 지수가중이동평균관리도는 최근 들어 공정검색과 공정수정에 널리 이용되고 있으나 모수의 설정에 관한 연구는 많지 않다. 관리도의 설계는 통계적 설계와 경제적 설계로 분류한다. 통계적 설계는 허용된 제1종 오류하에서 제2종 오류를 최소화하는데 반해 경제적 설계는 공정에서 발생하는 모든 가능한 비용을 고려한 비용함수를 최소화한다. 이 논문에서는 지수가중이동평균관리도의 통계적 설계와 함께 경제적 설계를 정의한 다음 각 설계에서의 최적모수를 선정하여 결과를 비교한다. 경제적 설계에서 설정된 최적모수는 통계적 설계와 다르게 나타남을 알 수 있고 특히 가중치의 값은 통계적 설계에서 보다 항상 큰 값으로 나타난다. 경제적 설계에서는 고려하는 이상원인의 수에 따라 단일이상원인과 다중이상원인 모형으로 구분하여 설계한다. 다중이상원인의 평균적 개념으로 적용되는 단일이상원인 모형에서는 실제 다중이상원인이 존재할 때에 잘못된 판단을 할 수 있음을 보이고 있다.

  • PDF

광량 변화에 강건한 가중치 국부 기술자 기반의 스테레오 정합 (Robust Stereo Matching under Radiometric Change based on Weighted Local Descriptor)

  • 구자민;김용호;이상근
    • 전자공학회논문지
    • /
    • 제52권4호
    • /
    • pp.164-174
    • /
    • 2015
  • 기하학적 특성이 주어진 두 개 이상의 카메라를 사용하거나 한 개의 카메라를 이동시켜가면서 스테레오 영상을 얻을 때에, 카메라 설정 값의 차이, 조명의 변화 등으로 인해 광량의 변화가 발생한다. 하지만 색상 유사도를 기반으로 한 기존의 스테레오 정합 방법들은 정확한 대응점을 추정하지 못한다. 본 논문에서는 광량 변화에 강건하기 위한 방법으로 스테레오 영상에서 픽셀의 밝기 정보와 그라디언트 정보 및 텍스쳐 정보를 국부 기술자로 구성하는 새로운 방법을 제안하고, 엔트로피에 기반한 적응적 가중치를 국부 기술자에 부여하여 광량 변화에도 정확한 대응점을 추정할 수 있도록 한다. 제안하는 방법은 조명의 변화, 노출 시간의 차이로 인해 광량 변화가 발생된 Middlebury의 실험 영상을 통해 실험되었으며, 광량 변화에 강건한 최근의 방법들과 비교하였다. 그 결과, 제안하는 방법은 전체 영역에서의 오정합 비율이 약 5 % 정도로 비교하는 방법들보다 낮게 발생하여 가장 좋은 성능을 보여주었다.

이력패턴데이터를 이용한 돌발상황 감지알고리즘 개발 (Development of an Incident Detection Algorithm by Using Traffic Flow Pattern)

  • 허민국;노창균;김원길;손봉수
    • 대한교통학회지
    • /
    • 제28권6호
    • /
    • pp.7-15
    • /
    • 2010
  • 본 연구에서는 과거의 교통패턴과 실시간 교통데이터와의 차이값을 이용하여 돌발상황을 판정하는 알고리즘을 개발하고자 한다. 이를 통해 운영자의 측면에서 이해하기 쉽고 운영 및 수정 보완이 용이한 돌발상황 감지알고리즘을 개발하는 것이 목적이다. 본 연구에서 제안한 알고리즘은 교통패턴 구축을 위하여 30초 주기 원시데이터를 바탕으로 동일한 지점의 동일한 요일 및 시간대의 교통량과 속도를 이용한 가중이동평균법을 사용하였다. 모형은 오류자료 보정처리, 소통상황 판정, 패턴자료와의 비교, 돌발상황 판정, 지속성 검사의 단계로 이루어졌으며, 적정 파라메타 선정을 위하여 다양한 파라메타값을 적용하였다. 알고리즘의 적용 결과 검지율은 평균 94.7%, 오보율은 0.8%, 평균 검지시간은 1.6분으로 기존 모형과의 비교분석 결과에서도 우수한 편에 속하는 것을 확인할 수 있다. 교통패턴이라는 개념을 사용하여 복잡하지 않은 과정을 통해 우수한 결과를 얻었으며, 운영자의 측면에서 실제 운영자들이 돌발상황을 판단하는 과정을 알고리즘으로 완성하였다는 측면에서 본 연구의 의의가 있다.

메타분석 방법을 적용한 서울시 대기오염과 조기사망의 상관성 연구 (1991년$\sim$1995년) (A Meta-analysis of Ambient Air Pollution in Relation to Daily Mortality in Seoul, $1991\sim1995$)

  • ;김춘배;지선하;정용;이종태
    • Journal of Preventive Medicine and Public Health
    • /
    • 제32권2호
    • /
    • pp.177-182
    • /
    • 1999
  • 유럽과 미국을 비롯한 선진 산업국가에서 1930년에서 1950대 사이에 발생하였던 일련의 대기오염사건을 경험한 이후, 대기오염과 인체건강영향과의 상관성을 평가하려는 체계적인 연구수행이 있어왔다. 국내에서도 최근 2-3년 동안 단면적 연구 설계에서 벗어나 시계열적 분석방법을 적용한 연구결과들이 발표되었으며, 외국에서의 결과와 유사하게 현재 수준의 대기오염도에서도 인체건강영향 특히 조기사망발생과 유의한 상관성이 있음이 제시되었다. 특히 서울시를 대상으로 한 일련의 연구결과가 대기오염도와 일별사망과에 유의한 상관관계가 있음을 보이고 있어 이에 대한 보다 정밀한 연구수행 필요성이 제기되었다. 따라서 본 연구는 메타분석적 방법론을 적용하여 서울시내의 구별분석 결과를 통합하여 기존의 연구결과와 비교함으로써 대기오염과 인체건강영향의 원인적 상관성을 규명하는 보조적 자료를 제공하기 위하여 수행되었다. 대기오염 자동측정기가 설치된 서울시 내 총 18개 구를 대상으로 대기오염도와 사망과의 상관관계를 추정하는 구별 예측치를 산출하였다. 이렇게 산출된 각 개별 예측치는 전체로서 총괄되는 가중평균 예측치를 계산하기 위하여 사용되었으며 이 때 모수효과 모형 또는 랜덤효과 모형을 적용하여 가중평균 예측치를 산출하였다. 지역별 또는 구별 예측치간의 변이차를 검정하는 동질성 검정의 결과 세 오염물질의 경우 모두 지역간 변이가 큰 것으로 평가되었으며 따라서 랜덤효과 모형의 결과를 최종결과로 선정하여 제시하였다. 랜덤효과 모형의 결과를 보면 총부유분진과 아황산가스의 경우 일별사망과 유의한 상관관계가 있는 것으로 평가되었으나 오존의 경우는 그렇지 않았다. 또한 메타분석 결과가 기존의 연구결과와 비교할 때 유사하게 평가된 점으로 미루어 현재 수준의 대기오염도와 일별사망 또는 인체건강영향과 밀접한 상관관계가 있음을 알 수 있다. 메타분석 방법을 적용하였어도 직접적 개인노출평가가 이루어지지 않았다는 점에서 정보편견의 가능성을 제외할 수 없다. 그러나 이러한 메타분석 방법이 기존의 연구(서울시 전체를 대상으로 하는)에 비하여 정보편견을 어느정도 줄여줄 수 있을 것으로 기대되었으며, 분석결과 기존 연구에서 제시하는 것과 매우 유사함을 알 수 있다. 결론적으로 대기오염 역학 연구에 있어서 이와 같은 메타분석적 방법이 유용하며, 본 연구결과도 기존의 연구에서와 같이 현재 수준의 대기오염도가 인체 건강에 위해한 영향을 미칠 수 있음을 보여 준다는 점에서 향후 보다 강화된 대기오염관리 방안 마련의 필요성을 제기한다고 하겠다. 이를 위하여 대기 오염기준치의 강화뿐 아니라 대기오염에 민감한 인구집단, 즉 어린이나 노약자 등에 대한 각별한 감시와 연구수행이 필요시 된다.

  • PDF

확률가중모멘트의 차수 변화에 따른 홍수량 변동 특성 분석 (Analysis on Characteristics of Variation in Flood Flow by Changing Order of Probability Weighted Moments)

  • 맹승진;황주하
    • 한국산학기술학회논문지
    • /
    • 제10권5호
    • /
    • pp.1009-1019
    • /
    • 2009
  • 본 연구에서는 우리나라 수위관측소들 중에서 관측 유량이 검증된 총 19개 유역을 선정하고 관측된 홍수량을 사용하여 적정 설계홍수량을 유도함으로써 우리나라의 설계홍수량 특성을 분석하였다. 대상유역별로 관측개시 년도에서부터 분석 시작년을 기준으로 1년씩 증가 시키는 점진적 구성 방식으로 연최대홍수량에 대한 빈도분석을 실시하기 위해, 변동특성을 이동평균법에 의해 분석하였다. 19개 대상유역에 대한 연최대홍수량 계열 구성기간별로 기본통치를 산정하고 독립성, 동질성 및 Outiler 검정을 실시하였다. Gumbel, Generalized Extreme Value, Generalized Logistic 및 Generalized Pareto 분포의 적합도 검정을 LH-모멘트비도와 Kolmogorov-Smirnov 검정에 의해 수행하였다. 적정 확률분포로 선정된 GEV 분포의 매개변수를 확률가중모멘트의 치수 변화에 의한 L, L1, L2, L3 및 L4-모멘트법에 의해 추정하고 대상유역 및 연최대홍수량 계열 구성 기간별 설계홍수량을 유도하였다. 본 연구에서 사용한 변동률 분석에 따라 최근 지구온난화에 따른 우리나라 기후 변화를 고려한 적절한 수리구조물의 설계 조건변경시기는 2002년 전후로 하여야 할 것이다.

선형계획법(線型計劃法)에 의한 대표단위도(代表單位圖) 유도(誘導) (A Derivation of the Representative Unit Hydrograph from Multiperiod Complex Storm by Linear Programming)

  • 권오헌;류태상;유주환
    • 대한토목학회논문집
    • /
    • 제13권2호
    • /
    • pp.173-182
    • /
    • 1993
  • 본 논문은 여러개의 복합호우 자료로써 선형계획법에 의한 대표단위도를 유도하는 앨고리즘을 제공한다. 주어진 한 유역에서 종전의 방법은 여러 호우사상에 대해서 각각 단위도를 유도하여 첨두유량 및 시간에 대한 특성치 평균법을 썼다. 본 연구에서 사용한 LP모형은 Mays 등이 제안한 모형을 다음과 같이 수정하였다. 목적 함수는 가중치를 부여한 잔차의 합의 최소화로 설계하였고, Mays 논문에서 실제로는 적용하지 않은 부등호 제약보다 더 적극적인 2점 이동평균에 의한 부등식 제약조건을 두어 하강부의 진동을 제거하였다. 또한 Diskin이 지적한대로 강우 행렬의 구성을 개선하여 행렬의 차원을 줄였다. LP접근법은 대표값을 나타내는 우월성에도 불구하고 기저유출과 손실우량 분리의 정도에 매우 민감하였다. 유효우량 및 직접 유출량 분리를 위해 몇가지 방법을 적용하였으나 뚜렷이 우월한 방법은 없었다. 이것은 유역과 강우의 특성을 고려하여 판단할 문제였다. 본 연구의 앨고리즘을 낙동강 지류 위천에 적용하여 대표단휘도를 유도하였다. 기존의 IHP 성과와 비교할 때, 최적화된 대표단위 유량도의 첨두유량은 상대적으로 작고, 발생시간은 빨라졌으며, 하강부의 진동은 이동 평균법의 제약 조건에 의하여 성공적으로 소거할 수 있었다.

  • PDF

토지피복변화에 따른 금강 상류 댐 유역 산림 경관의 구조적 변화 분석 (Analysis of Spatial Changes in the Forest Landscape of the Upper Reaches of Guem River Dam Basin according to Land Cover Change)

  • 김경태;이현정;김휘문;송원경
    • 한국환경생태학회지
    • /
    • 제37권4호
    • /
    • pp.289-301
    • /
    • 2023
  • 유역 내 산림은 생태계 유지에 있어 중요한 역할을 맡고 있으며 생태네트워크 체계를 구성하는 주요 기반 환경이다. 그러나 지난 수십여 년간 행해진 무분별한 개발사업으로 인해 산림 파편화 및 토지이용 변화가 가속화되었으며 본래의 기능을 상실하게 되었다. 산림 생태계를 파악하는 데 있어 산림의 구조적 패턴은 생태적 과정과 기능에 직접적인 영향을 미치기 때문에 변화패턴을 파악하고 분석하는 것은 중요한 인자라 할 수 있다. 이에 본 연구는 금강 상류 댐 유역을 대상으로 FRAGSTATS 모델을 통해 시계열적인 토지피복변화에 따른 산림 경관의 구조적 변화를 분석하였다. 토지피복 변화탐지를 통한 금강 상류 댐 유역 내 토지피복변화는 1980년대부터 2010년대까지 산림 33.12km2(0.62%), 시가화건조지역 67.26km2 (1.26%) 증가하였고 농업지역 148.25km2(2.79%) 감소하였다. 유역 내 산림 경관분석결과 No sampling 분석에서는 경관백분율(PLAND), 면적가중근접지수(CONTIG_AM), 평균 중심지 면적(CORE_MN), 인접지수(PLADJ)가 증가하였고 패치수(NP), 경관형태지수(LSI), 응집지수(COHESION)가 감소하였다. Moving window 분석을 통해 구조적 변화패턴을 파악한 결과, 경상북도 상주시, 충청북도 보은군, 전라북도 진안군 내 산림 경관은 상대적으로 잘 보전되어 있었으나 충청북도 옥천군, 영동군 그리고 충청남도 금산군 사이의 경계부와 전라북도 무주군과 장수군 인접 지역의 산림 경관에서는 파편화가 진행되고 있었다. 결과를 토대로 추후 해당 지역의 산림 관리전략 수립 시 파편화 지역을 대상으로 조림사업을 수립할 필요가 있을 것으로 사료된다. 본 연구를 통해 산림 경관의 파편화가 예상되는 지역을 도출할 수 있었으며, 유역 산림의 건전성 평가 및 관리계획 수립을 위한 기초자료로써 활용될 가능성을 기대할 수 있다.

노선그룹단위별 버스도착시간 추정모형 연구 (Development of Bus Arrival Time Estimation Model by Unit of Route Group)

  • 노창균;김원길;손봉수
    • 대한교통학회지
    • /
    • 제28권1호
    • /
    • pp.135-142
    • /
    • 2010
  • 본 연구는 현재 국내 BIS에서 버스도착시간 및 정류소간 통행시간 산정을 위해 개별노선단위로 적용하고 있는 버스 도착시간 추정 모형의 한계점을 제시하고, 이를 극복하기 위한 방안으로 버스의 진행 방향과 정류소 구간을 고려한 노선그룹단위 버스도착시간 및 구간통행시간 추정 알고리즘을 제시하였다. 서울시 BMS에서 수집되는 버스 운행자료를 활용하여 본 연구에서 제시된 모형의 신뢰성과 적정성을 평가하였다. 모형의 검증은 서울시에서 운행 중인 간선버스 노선 중 서대문역${\rightarrow}$독립문역 구간을 운행하는 노선을 대상으로 하였으며, 서울역방향(직진), 충정로방향(좌회전), 광화문방향(우회전) 등 버스노선을 진행방향과 구간별로 그룹화하여 모형에 적용하였다. 모형의 비교평가를 위해 RMSE를 효과척도로 하여 기존 개별노선단위 모형과 본 연구에서 제시한 노선그룹단위 모형을 비교한 결과, 관측 값의 개수가 4인 경우 구간별 평균 14.8, 관측 값의 개수가 5인 경우 구간별 평균 16.8의 차이로 본 연구에서 제시한 노선그룹단위 버스도착시간 및 정류소간 통행시간 추정모형이 기존 모형보다 우수한 것으로 분석되었다.

UDT 플로우 간 공평성 향상을 위한 혼잡도 기반의 가용대역폭 추정 기법 (Congestion Degree Based Available Bandwidth Estimation Method for Enhancement of UDT Fairness)

  • 박종선;장현희;조기환
    • 전자공학회논문지
    • /
    • 제52권7호
    • /
    • pp.63-73
    • /
    • 2015
  • End to end 데이터 전송프로토콜에서 가용대역폭을 정확하게 추정하는 것은 매우 중요하다. UDT (UDP based Data Transfer)는 송신자에서 주기적으로 보낸 패킷 쌍을 이용하여 수신자에서 현재 링크의 최대 전송 가능한 속도 (MTR: Maximum Transfer Rate)를 추정하고 송신자에서 EWMA 알고리즘을 통해 MTR을 결정한다. 가용대역폭의 크기는 MTR과 현재 전송속도 차이로 구하기 때문에 정확한 가용대역폭 추정을 위해서는 정확한 MTR 추정이 우선시된다. 하지만 트래픽 영향으로 인한 혼잡상황에서 다수의 UDT 플로우가 경쟁하는 경우 심각한 공평성 문제를 초래한다. 본 논문에서는 혼잡도를 기반으로 한 MTR 추정 알고리즘을 제안한다. 혼잡도는 병목구간에서 트래픽 영향으로 인한 혼잡상태를 나타내는 상대적인 지수이며 패킷 쌍들의 도착간격을 이용하여 구할 수 있다. 그리고 혼잡도에 따라 EWMA 알고리즘을 세분화함으로써 실제에 근접한 가용대역폭 추정이 가능하다. Ns-2 시뮬레이션 실험 결과 제안기법은 다수의 경쟁플로우가 동일 링크를 점유하는 상황에서 데이터 전송거리에 따라 UDT 보다 확연하게 높은 공평성을 보이는 것을 확인하였다.