• 제목/요약/키워드: flow monitoring

검색결과 1,252건 처리시간 0.021초

Hierarchical Attention Network를 이용한 복합 장애 발생 예측 시스템 개발 (Development of a complex failure prediction system using Hierarchical Attention Network)

  • 박영찬;안상준;김민태;김우주
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.127-148
    • /
    • 2020
  • 데이터 센터는 컴퓨터 시스템과 관련 구성요소를 수용하기 위한 물리적 환경시설로, 빅데이터, 인공지능 스마트 공장, 웨어러블, 스마트 홈 등 차세대 핵심 산업의 필수 기반기술이다. 특히, 클라우드 컴퓨팅의 성장으로 데이터 센터 인프라의 비례적 확장은 불가피하다. 이러한 데이터 센터 설비의 상태를 모니터링하는 것은 시스템을 유지, 관리하고 장애를 예방하기 위한 방법이다. 설비를 구성하는 일부 요소에 장애가 발생하는 경우 해당 장비뿐 아니라 연결된 다른 장비에도 영향을 미칠 수 있으며, 막대한 손해를 초래할 수 있다. 특히, IT 시설은 상호의존성에 의해 불규칙하고 원인을 알기 어렵다. 데이터 센터 내 장애를 예측하는 선행연구에서는, 장치들이 혼재된 상황임을 가정하지 않고 단일 서버를 단일 상태로 보고 장애를 예측했다. 이에 본 연구에서는, 서버 내부에서 발생하는 장애(Outage A)와 서버 외부에서 발생하는 장애(Outage B)로 데이터 센터 장애를 구분하고, 서버 내에서 발생하는 복합적인 장애 분석에 중점을 두었다. 서버 외부 장애는 전력, 냉각, 사용자 실수 등인데, 이와 같은 장애는 데이터 센터 설비 구축 초기 단계에서 예방이 가능했기 때문에 다양한 솔루션이 개발되고 있는 상황이다. 반면 서버 내 발생하는 장애는 원인 규명이 어려워 아직까지 적절한 예방이 이뤄지지 못하고 있다. 특히 서버 장애가 단일적으로 발생하지 않고, 다른 서버 장애의 원인이 되기도 하고, 다른 서버부터 장애의 원인이 되는 무언가를 받기도 하는 이유다. 즉, 기존 연구들은 서버들 간 영향을 주지 않는 단일 서버인 상태로 가정하고 장애를 분석했다면, 본 연구에서는 서버들 간 영향을 준다고 가정하고 장애 발생 상태를 분석했다. 데이터 센터 내 복합 장애 상황을 정의하기 위해, 데이터 센터 내 존재하는 각 장비별로 장애가 발생한 장애 이력 데이터를 활용했다. 본 연구에서 고려되는 장애는 Network Node Down, Server Down, Windows Activation Services Down, Database Management System Service Down으로 크게 4가지이다. 각 장비별로 발생되는 장애들을 시간 순으로 정렬하고, 특정 장비에서 장애가 발생하였을 때, 발생 시점으로부터 5분 내 특정 장비에서 장애가 발생하였다면 이를 동시에 장애가 발생하였다고 정의하였다. 이렇게 동시에 장애가 발생한 장비들에 대해서 Sequence를 구성한 후, 구성한 Sequence 내에서 동시에 자주 발생하는 장비 5개를 선정하였고, 선정된 장비들이 동시에 장애가 발생된 경우를 시각화를 통해 확인하였다. 장애 분석을 위해 수집된 서버 리소스 정보는 시계열 단위이며 흐름성을 가진다는 점에서 이전 상태를 통해 다음 상태를 예측할 수 있는 딥러닝 알고리즘인 LSTM(Long Short-term Memory)을 사용했다. 또한 단일 서버와 달리 복합장애는 서버별로 장애 발생에 끼치는 수준이 다르다는 점을 감안하여 Hierarchical Attention Network 딥러닝 모델 구조를 활용했다. 본 알고리즘은 장애에 끼치는 영향이 클 수록 해당 서버에 가중치를 주어 예측 정확도를 높이는 방법이다. 연구는 장애유형을 정의하고 분석 대상을 선정하는 것으로 시작하여, 첫 번째 실험에서는 동일한 수집 데이터에 대해 단일 서버 상태와 복합 서버 상태로 가정하고 비교분석하였다. 두 번째 실험은 서버의 임계치를 각각 최적화 하여 복합 서버 상태일 때의 예측 정확도를 향상시켰다. 단일 서버와 다중 서버로 각각 가정한 첫 번째 실험에서 단일 서버로 가정한 경우 실제 장애가 발생했음에도 불구하고 5개 서버 중 3개의 서버에서는 장애가 발생하지 않은것으로 예측했다. 그러나 다중 서버로 가정했을때에는 5개 서버 모두 장애가 발생한 것으로 예측했다. 실험 결과 서버 간 영향이 있을 것이라고 추측한 가설이 입증된 것이다. 연구결과 단일 서버로 가정했을 때 보다 다중 서버로 가정했을 때 예측 성능이 우수함을 확인했다. 특히 서버별 영향이 다를것으로 가정하고 Hierarchical Attention Network 알고리즘을 적용한 것이 분석 효과를 향상시키는 역할을 했다. 또한 각 서버마다 다른 임계치를 적용함으로써 예측 정확도를 향상시킬 수 있었다. 본 연구는 원인 규명이 어려운 장애를 과거 데이터를 통해 예측 가능하게 함을 보였고, 데이터 센터의 서버 내에서 발생하는 장애를 예측할 수 있는 모델을 제시했다. 본 연구결과를 활용하여 장애 발생을 사전에 방지할 수 있을 것으로 기대된다.

2020년 하계 장강 저염수가 이어도 해양과학기지 주변 해역의 식물플랑크톤 다양성 및 개체수 변화에 미치는 영향 (Phytoplankton Diversity and Community Structure Driven by the Dynamics of the Changjiang Diluted Water Plume Extension around the Ieodo Ocean Research Station in the Summer of 2020)

  • 김지훈;최동한;이하은;정진용;정종민;노재훈
    • 해양환경안전학회지
    • /
    • 제27권7호
    • /
    • pp.924-942
    • /
    • 2021
  • 여름철 장강 저염수의 확장은 북부 동중국해의 환경 및 식물플랑크톤 다양성과 군집구조에 영향을 미치는 주요 요인으로 알려져 있다. 2020년 하계는 장강 저염수의 방류량이 매우 높았던 시기로 환경 특성 변화에 따라 식물플랑크톤 다양성 및 군집구조에 미치는 동력을 이해하기 위해 현장관측을 수행하였다. 2020년 8월 16일~17일 이어도호 승선조사와 2020년 8월 15일~21일 이어도 해양과학기지(IORS)에서 체류조사를 실시하였다. 조사 정점들에서 CTD로 측정한 결과 조사 수역 남서쪽은 장강 저염수의 영향을 받아 염분이 낮고 엽록소 형광값이 높았으며, 대마난류의 영향을 받은 남동수역은 염분이 높고 엽록소 형광값이 낮았다. 12개 정점의 표층수 시료의 엽록소 a 농도는 미소형(20~3 ㎛) 및 소형(> 20 ㎛) 식물플랑크톤의 생체량이 우점함을 나타냈으며, 대마난류수의 영향을 받은 정점에서만 초미소 식물플랑크톤(< 3 ㎛) 생체량이 약 50%를 차지하였다. 이러한 표층수의 식물플랑크톤 크기 분포는 영양염류 공급과 관련되어 장강 저염수의 높은 질산염 공급을 받는 정점들은 소형 식물플랑크톤의 생체량 기여율이 높았다. 형태분류 결과 미소형 및 소형 식물플랑크톤은 총 45종이며, 이들 중 우점 분류군은 규조류인 Guinardia flaccida, Nitzschia spp.와 와편모조류인 Gonyaulax monacantha, Noctiluca scintillans, Gymnodinium spirale, Heterocapsa spp., Prorocentrum micans, Tripos furca 등이었다. 대마난류의 영향을 받으며 질산염 농도가 낮은 정점들은 광합성 초미소 진핵생물(PPE)의 개체수와 광합성 초미소 원핵생물(PPP)인 Synechococcus의 개체수가 높았다. 질산염/인산염 비는 대부분 정점에서 인산염 제한을 받고 있음을 나타냈다. 유세포 분석 결과 Synechococcus 개체수는 난류의 영향을 받는 빈영양 수역의 정점들에서 높은 개체수를 보였다. NGS 분석 결과 PPP 중 Synechococcus는 29개의 clades가 나타났고, 이 중 한 시료에서 한 번이라도 1% 이상의 우점율을 보인 clade는 11개로 나타났다. 표층수에선 clade II가 우점분류군이었으며 SCM 층에서 다양한 clades(I과 IV 등)가 차우점군들로 분포하였다. Prochlorococcus 속은 난류 수역에서 high light adapted 생태형이 출현하는 양상을 보였으며 북쪽 수역에선 출현하지 않았다. PPE는 총 163개의 높은 operational taxonomic units(OTUs) 다양성을 보였으며, 이 중 한 시료에서 한 번이라도 5% 이상의 우점률을 나타낸 OTU는 총 11개였다. 장강 저염수의 영향을 받는 정점의 표층수에선 Amphidinium testudo가 우점 분류군이었으며, SCM 층에서 녹조류가 최우점하였다. 대마난류의 영향을 받는 해역에서는 다양한 분류군의 착편모조류가 우점하였다. IORS에서의 관측 결과도 주변 정점들과 식물플랑크톤 생체량, 크기분포, 다양성에서 유사한 수준을 나타냈다. 이번 연구 결과는 장강 저염수의 영향에 따른 식물플랑크톤의 반응을 다양한 분야에서 확인할 수 있었다. 또한, IORS와 승선조사를 비교하여 IORS 관측이 장강 저염수의 식물플랑크톤 동적 역학 모니터링에 활용할 수 있음을 확인하였다. 향후 기후변화에 따라 나타날 동중국해 하계 환경 및 생태계의 변화에 대비하여 IORS의 효과적 이용 방안 수립이 필요할 것으로 판단된다.