• Title/Summary/Keyword: Units

검색결과 9,746건 처리시간 0.037초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

협업 필터링 및 하이브리드 필터링을 이용한 동종 브랜드 판매 매장간(間) 취급 SKU 추천 시스템 (SKU recommender system for retail stores that carry identical brands using collaborative filtering and hybrid filtering)

  • 조용민;남기환
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.77-110
    • /
    • 2017
  • 최근 인터넷 기반의 웹 및 모바일 기기를 통한 소비 패턴의 다양화와 개성화가 급진전됨에 따라 전통적 유통채널인 오프라인 매장의 효율적 운영이 더욱 중요해졌다. 매장의 매출과 수익 모두를 제고하기 위해 매장은 소비자에게 가장 매력적인 상품을 적시에 공급-판매 해야 하는데 많은 상품들 중에서 어떤 SKU를 취급하는 것이 판매 확률을 높이고 재고 비용을 낮출 수 있는지에 대한 연구가 부족한 실정이다. 특히, 여러 지역에 걸쳐 다수의 오프라인 매장을 통해 상품을 판매하는 기업의 경우 고객에게 매력적인 적절한 SKU를 추천 받아 취급할 수 있다면 매장의 매출 및 수익률 제고에 도움이 될 것이다. 본 연구에서는 개인화 추천에 이용되어 왔던 협업 필터링과 하이브리드 필터링 등의 추천 시스템(Recommender System)을 국가별, 지역별로 복수의 판매 매장을 통해 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하였다. 각 매장의 취급 품목별 구매 데이터를 활용하여 각 매장 별 유사성(Similarity)을 계산하고 각 매장의 SKU별 판매 이력에 따라 협업 필터링을 하여 최종적으로 매장에 개별 SKU를 추천하였다. 또한 매장 프로파일 데이터를 활용하여 주변수 분석 (PCA : Principal Component Analysis) 및 군집 분석(Clustering)을 통하여 매장을 4개의 군집으로 분류한 뒤 각 군집 내에서 협업 필터링을 적용한 하이브리드 필터링 방식으로 추천 시스템을 구현하고 실제 판매 데이터를 바탕으로 두 방식의 성능을 측정하였다. 현존하는 대부분의 추천 시스템은 사용자에게 영화, 음악 등의 아이템을 추천하는 방식으로 연구가 진행되어 왔고 실제로 산업계에서의 적용 또한 개인화 추천 시스템이 주류를 이루고 있다. 그 동안 개인화 서비스 영역에서 주로 다루어져 왔던 이러한 추천 시스템을 동종 브랜드를 취급하는 유통 기업의 매장 단위에 적용하여 각 매장의 취급 SKU를 추천하는 방식에 대한 연구는 거의 이루어지지 않고 있는 실정이다. 기존 추천 방법론의 추천 적용 대상이 '개인의 영역이었다면 본 연구에서는 국가별, 지역별로 복수의 판매 매장을 통해 개인의 영역을 넘어 매장의 영역으로 확대하여 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하고 있다. 또한 기존의 추천시스템은 온라인에 한정되었다면 이를 오프라인으로 활용 범위를 넓히고, 기존 개인을 기반으로 분석을 하는 것보다 매장영역으로 확대 적용하기에 적합한 알고리즘을 개발하기 위해 데이터마이닝 기법을 적용하여 추천 방법을 제안한다. 본 연구의 결과가 갖는 의의는 개인화 추천 알고리즘을 동일 브랜드를 취급하는 복수의 판매 매장에 적용하여 의미 있는 결과를 도출하고 실제 기업을 대상으로 시스템으로 구축하여 활용할 수 있는 구체적 방법론을 제시했다는 데에 있다. 개인화 영역을 위주로 이루어졌던 기존의 추천 시스템과 관련한 학계의 연구 영역을 동종 브랜드를 취급하는 기업의 판매 매장으로 확장시킨 첫 시도라는 데에도 의미가 있다. 2014년 03주차 ~ 05주차 전(全) 매장 판매 수량 실적 Top 100개 SKU로 추천의 대상을 한정하여 협업 필터링과 하이브리드 필터링 방식으로 52개 매장 별로 취급 SKU를 추천하고, 추천 받은 SKU에 대한 2014년 06주차 매장별 판매 실적을 집계하여 두 추천 방식의 성과를 비교하였다. 두 추천 방식을 비교한 이유는 본 연구의 추천 방법이 기존 추천 방식 보다 높은 성과를 입증하기 위해 단순히 오프라인에 협업필터링을 적용한 것을 기준 모델로 정의하였다. 이 기준 모델에 오프라인 매장 관점의 특성을 잘 반영한 본 연구 모델인 하이브리드 필터링 방법과 비교 함으로써 성과를 입증한다. 연구에서 제안한 방식은 기존 추천 방식보다 높은 성과를 나타냈으며, 이는 국내 대기업 의류업체의 실제 판매데이터를 활용하여 입증하였다. 본 연구는 개인 수준의 추천시스템을 그룹수준으로 확장하여 효율적으로 접근하는 방법을 이론적인 프레임 워크를 만들었을 뿐 아니라 실제 데이터를 기반으로 분석하여 봄으로써 실제 기업들이 적용해 볼 수 있다는 점에서 연구의 가치가 크다.

병원 간호사의 선호근무시간대에 관한 연구 (A Study on Hoslital Nurses' Preferred Duty Shift and Duty Hours)

  • 이경식;정금희
    • 대한간호
    • /
    • 제36권1호
    • /
    • pp.77-96
    • /
    • 1997
  • The duty shifts of hospital nurses not only affect nurses' physical and mental health but also present various personnel management problems which often result in high turnover rates. In this context a study was carried out from October to November 1995 for a period of two months to find out the status of hospital nurses' duty shift patterns, and preferred duty hours and fixed duty shifts. The study population was 867 RNs working in five general hospitals located in Seoul and its vicinity. The questionnaire developed by the writer was used for data collection. The response rate was 85.9 percent or 745 returns. The SAS program was used for data analysis with the computation of frequencies, percentages and Chi square test. The findings of the study are as follows: 1. General characteristics of the study population: 56 percent of respondents was (25 years group and 76.5 percent were "single": the predominant proportion of respondents was junior nursing college graduates(92.2%) and have less than 5 years nursing experience in hospitals(65.5%). For their future working plan in nursing profession, nearly 50% responded as uncertain The reasons given for their career plan was predominantly 'personal growth and development' rather than financial reasons. 2. The interval for rotations of duty stations was found to be mostly irregular(56.4%) while others reported as weekly(16.1%), monthly(12.9%), and fixed terms(4.6%). 3. The main problems related to duty shifts particularly the evening and night duty nurses reported were "not enough time for the family, " "afraid of security problems after the work when returning home late at night." and "lack of leisure time". "problems in physical and physiological adjustment." "problems in family life." "lack of time for interactions with fellow nurses" etc. 4. The forty percent of respondents reported to have '1-2 times' of duty shift rotations while all others reported that '0 time'. '2-3 times'. 'more than 3 times' etc. which suggest the irregularity in duty shift rotations. 5. The majority(62.8%) of study population found to favor the rotating system of duty stations. The reasons for favoring the rotation system were: the opportunity for "learning new things and personal development." "better human relations are possible. "better understanding in various duty stations." "changes in monotonous routine job" etc. The proportion of those disfavor the rotating 'system was 34.7 percent. giving the reasons of"it impedes development of specialization." "poor job performances." "stress factors" etc. Furthermore. respondents made the following comments in relation to the rotation of duty stations: the nurses should be given the opportunity to participate in the. decision making process: personal interest and aptitudes should be considered: regular intervals for the rotations or it should be planned in advance. etc. 6. For the future career plan. the older. married group with longer nursing experiences appeared to think the nursing as their lifetime career more likely than the younger. single group with shorter nursing experiences ($x^2=61.19.{\;}p=.000;{\;}x^2=41.55.{\;}p=.000$). The reason given for their future career plan regardless of length of future service, was predominantly "personal growth and development" rather than financial reasons. For further analysis, the group those with the shorter career plan appeared to claim "financial reasons" for their future career more readily than the group who consider the nursing job as their lifetime career$(x^2$= 11.73, p=.003) did. This finding suggests the need for careful .considerations in personnel management of nursing administration particularly when dealing with the nurses' career development. The majority of respondents preferred the fixed day shift. However, further analysis of those preferred evening shift by age and civil status, "< 25 years group"(15.1%) and "single group"(13.2) were more likely to favor the fixed evening shift than > 25 years(6.4%) and married(4.8%)groups. This differences were statistically significant ($x^2=14.54, {\;}p=.000;{\;}x^2=8.75, {\;}p=.003$). 7. A great majority of respondents(86.9% or n=647) found to prefer the day shifts. When the four different types of duty shifts(Types A. B. C, D) were presented, 55.0 percent of total respondents preferred the A type or the existing one followed by D type(22.7%). B type(12.4%) and C type(8.2%). 8. When the condition of monetary incentives for the evening(20% of salary) and night shifts(40% of. salary) of the existing duty type was presented. again the day shift appeared to be the most preferred one although the rate was slightly lower(66.4% against 86.9%). In the case of evening shift, with the same incentive, the preference rates for evening and night shifts increased from 11.0 to 22.4 percent and from 0.5 to 3.0 percent respectively. When the age variable was controlled. < 25 yrs group showed higher rates(31.6%. 4.8%) than those of > 25 yrs group(15.5%. 1.3%) respectively preferring the evening and night shifts(p=.000). The civil status also seemed to operate on the preferences of the duty shifts as the single group showed lower rate(69.0%) for day duty against 83. 6% of the married group. and higher rates for evening and night duties(27.2%. 15.1%) respectively against those of the married group(3.8%. 1.8%) while a higher proportion of the married group(83. 6%) preferred the day duties than the single group(69.0%). These differences were found to be statistically all significant(p=.001). 9. The findings on preferences of three different types of fixed duty hours namely, B, C. and D(with additional monetary incentives) are as follows in order of preference: B type(12hrs a day, 3days a wk): day shift(64.1%), evening shift(26.1%). night shift(6.5%) C type(12hrs a day. 4days a wk) : evening shift(49.2%). day shift(32.8%), night shift(11.5%) D type(10hrs a day. 4days a wk): showed the similar trend as B type. The findings of higher preferences on the evening and night duties when the incentives are given. as shown above, suggest the need for the introductions of different patterns of duty hours and incentive measures in order to overcome the difficulties in rostering the nursing duties. However, the interpretation of the above data, particularly the C type, needs cautions as the total number of respondents is very small(n=61). It requires further in-depth study. In conclusion. it seemed to suggest that the patterns of nurses duty hours and shifts in the most hospitals in the country have neither been tried for different duty types nor been flexible. The stereotype rostering system of three shifts and insensitiveness for personal life aspect of nurses seemed to be prevailing. This study seems to support that irregular and frequent rotations of duty shifts may be contributing factors for most nurses' maladjustment problems in physical and mental health. personal and family life which eventually may result in high turnover rates. In order to overcome the increasing problems in personnel management of hospital nurses particularly in rostering of evening and night duty shifts, which may related to eventual high turnover rates, the findings of this study strongly suggest the need for an introduction of new rostering systems including fixed duties and appropriate incentive measures for evenings and nights which the most nurses want to avoid, In considering the nursing care of inpatients is the round-the clock business. the practice of the nursing duty shift system is inevitable. In this context, based on the findings of this study. the following are recommended: 1. The further in-depth studies on duty shifts and hours need to be undertaken for the development of appropriate and effective rostering systems for hospital nurses. 2. An introduction of appropriate incentive measures for evening and night duty shifts along with organizational considerations such as the trials for preferred duty time bands, duty hours, and fixed duty shifts should be considered if good quality of care for the patients be maintained for the round the clock. This may require an initiation of systematic research and development activities in the field of hospital nursing administration as a part of permanent system in the hospital. 3. Planned and regular intervals, orientation and training, and professional and personal growth should be considered for the rotation of different duty stations or units. 4. In considering the higher degree of preferences in the duty type of "10hours a day, 4days a week" shown in this study, it would be worthwhile to undertake the R&D type studies in large hospital settings.

  • PDF

사용자 행동 기반의 사회적 관계를 결합한 사용자 협업적 여과 방법 (Incorporating Social Relationship discovered from User's Behavior into Collaborative Filtering)

  • 타이쎄타;하인애;조근식
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.1-20
    • /
    • 2013
  • 소셜 네트워크는 사용자들의 공통된 관심사, 경험, 그리고 일상 생활들을 함께 공유하기 위해 소셜 네트워크 상 사람들을 서로 연결시켜주는 거대한 커뮤니케이션 플랫폼이다. 소셜 네트워크상의 사용자들은 포스팅, 댓글, 인스턴스 메시지, 게임, 소셜 이벤트 외에도 다양한 애플리케이션을 통해 다른 사용자들과 소통하고 개인 정보 관리하는데 많은 시간을 소비한다. 소셜 네트워크 상의 풍부한 사용자 정보는 추천시스템이 추천 성능을 향상시키기 위해 필요한 큰 잠재력이 되었다. 대부분의 사용자들은 어떤 상품을 구매하기 전 가까운 관계이거나 같은 성향을 가진 사람들의 의견을 반영하여 의사 결정을 하게 된다. 그러므로 소셜 네트워크에서의 사용자 관계는 추천시스템을 위한 사용자 선호도 예측을 효율적으로 높이는데 중요한 요소라 할 수 있다. 일부 연구자들은 소셜 네트워크에서의 사용자와 다른 사용자들 사이의 상호작용 즉, 소셜 관계(social relationship)와 같은 소셜 데이터가 추천시스템에서 추천의 질에 어떠한 영향을 미치는가를 연구하고 있다. 추천시스템은 아마존, 이베이, Last.fm과 같은 큰 규모의 전자상거래 사이트 또한 채택하여 사용되는 시스템으로, 추천시스템을 위한 방법으로는 협업적 여과 방법과 내용 기반 여과 방법이 있다. 협업적 여과 방법은 사용자들의 선호도 학습에 의해 사용자가 아직 평가하지 않은 아이템 중 선호할 수 있는 아이템을 정확하게 제안하기 위한 추천시스템 방법 중 하나이다. 협업적 여과는 사용자들의 데이터에 초점을 맞춘 방법으로 유사한 배경과 선호도를 가지는 사용자들로부터 정보를 수집하여 사용자들의 선호도 예측을 자동으로 발생시킨다. 특히 협업적 여과는 근접한 이웃 사용자들에 의해서 목적 사용자가 선호할 수 있는 아이템을 제시하는 것으로 유사한 이웃 사용자를 찾는 것이 중요하다. 좋은 이웃 사용자 발견은 사용자와 아이템을 고려하는 방법이 일반적이다. 각 사용자는 아이템 즉, 영화, 상품, 책 등에 자신의 선호도를 나타내기 위하여 평가 값을 입력하고, 시스템은 이를 바탕으로 사용자-평가 행렬을 구축한다. 이 사용자-평가 행렬은 목적 사용자와 유사하게 아이템을 평가한 사용자 그룹을 찾기 위한 것으로, 목적 사용자가 아직 평가하지 않은 아이템에 대하여 사용자-평가 매트릭스를 통해 그 평가 값을 예측한다. 현재 이 협업적 여과 방법은 전자상거래와 정보 검색에서 적용되어 개인화 시스템에 효율적으로 사용되고 있다. 하지만 초기 사용자 문제, 데이터 희박성 문제와 확장성 그리고 예측 정확도 향상 등 해결해야 할 과제가 여전히 남아 있다. 이러한 문제들을 해소하기 위해 많은 연구자들은 하이브리드, 신뢰기반, 소셜 네트워크 기반 협업적 여과와 같은 다양한 방법을 제안하였다. 본 논문에서는 전통적인 협업적 여과 방식의 예측 정확도와 추천 성능을 향상시키기 위해 소셜 네트워크에 존재하는 소셜 관계를 이용한 협업적 여과 시스템을 제안한다. 소셜 관계는 소셜 네트워크 서비스 중 하나인 페이스북 사용자들이 남긴 포스팅과 사용자의 소셜 네트워크 친구와 의견 교류 중 남긴 코멘트와 같은 사용자 행동을 기반으로 정의된다. 소셜 관계를 구축하기 위해 소셜 네트워크 사용자의 포스팅과 댓글을 추출하고, 추출된 텍스트에 불용어 및 특수 기호 제거와 스테밍 등 전처리를 수행하였다. 특징 벡터는 TF-IDF를 이용하여 전처리된 텍스트에 나타난 각 단어에 대한 특징 점수를 계산함으로써 구축된다. 본 논문에서 이웃 사용자를 결정하기 위해 사용되는 사용자 간 유사도는 특징 벡터를 이용한 사용자 행동 유사도와 사용자의 영화 평가를 기반으로 한 전통적 방법의 유사도를 결합하여 계산된다. 제안하는 시스템은 목표 사용자와 제안한 방법을 통해 결정된 이웃 사용자 집단을 기반으로 목표 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고 Top-N 아이템을 선별하여 사용자에게 아이템을 추천하게 된다. 본 논문에서 제안하는 방법을 확인하고 평가하기 위하여 IMDB에서 제공하는 영화 정보 기반으로 영화 평가 시스템을 구축하였다. 예측 정확도를 평가하기 위해 MAE 값을 이용하여 제안하는 알고리즘이 얼마나 정확한 추천을 수행하는지에 대한 예측 정확도를 측정하였다. 그리고 정확도, 재현율 및 F1값 등을 활용하여 시스템의 성능을 평가하였으며, 시스템의 추천 품질은 커버리지를 이용하여 평가되었다. 실험 결과로부터 본 논문에서 제안한 시스템이 보다 더 정확하고 좋은 성능으로 사용자에게 아이템을 추천하는 것을 볼 수 있었다. 특히 소셜 네트워크에서 사용자 행동을 기반으로 한 소셜 관계를 이용함으로써 추천 정확도를 6% 향상시킴을 보였다. 또한 벤치마크 알고리즘과의 성능비교 실험을 통해 7% 향상된 추천 성능의 결과를 보여준다. 그러므로 사용자의 행동으로부터 관찰된 소셜 관계를 CF방법과 결합한 제안한 방법이 정확한 추천시스템을 위해 유용하며, 추천시스템의 성능과 품질을 향상시킬 수 있음을 알 수 있다.

Hierarchical Attention Network를 이용한 복합 장애 발생 예측 시스템 개발 (Development of a complex failure prediction system using Hierarchical Attention Network)

  • 박영찬;안상준;김민태;김우주
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.127-148
    • /
    • 2020
  • 데이터 센터는 컴퓨터 시스템과 관련 구성요소를 수용하기 위한 물리적 환경시설로, 빅데이터, 인공지능 스마트 공장, 웨어러블, 스마트 홈 등 차세대 핵심 산업의 필수 기반기술이다. 특히, 클라우드 컴퓨팅의 성장으로 데이터 센터 인프라의 비례적 확장은 불가피하다. 이러한 데이터 센터 설비의 상태를 모니터링하는 것은 시스템을 유지, 관리하고 장애를 예방하기 위한 방법이다. 설비를 구성하는 일부 요소에 장애가 발생하는 경우 해당 장비뿐 아니라 연결된 다른 장비에도 영향을 미칠 수 있으며, 막대한 손해를 초래할 수 있다. 특히, IT 시설은 상호의존성에 의해 불규칙하고 원인을 알기 어렵다. 데이터 센터 내 장애를 예측하는 선행연구에서는, 장치들이 혼재된 상황임을 가정하지 않고 단일 서버를 단일 상태로 보고 장애를 예측했다. 이에 본 연구에서는, 서버 내부에서 발생하는 장애(Outage A)와 서버 외부에서 발생하는 장애(Outage B)로 데이터 센터 장애를 구분하고, 서버 내에서 발생하는 복합적인 장애 분석에 중점을 두었다. 서버 외부 장애는 전력, 냉각, 사용자 실수 등인데, 이와 같은 장애는 데이터 센터 설비 구축 초기 단계에서 예방이 가능했기 때문에 다양한 솔루션이 개발되고 있는 상황이다. 반면 서버 내 발생하는 장애는 원인 규명이 어려워 아직까지 적절한 예방이 이뤄지지 못하고 있다. 특히 서버 장애가 단일적으로 발생하지 않고, 다른 서버 장애의 원인이 되기도 하고, 다른 서버부터 장애의 원인이 되는 무언가를 받기도 하는 이유다. 즉, 기존 연구들은 서버들 간 영향을 주지 않는 단일 서버인 상태로 가정하고 장애를 분석했다면, 본 연구에서는 서버들 간 영향을 준다고 가정하고 장애 발생 상태를 분석했다. 데이터 센터 내 복합 장애 상황을 정의하기 위해, 데이터 센터 내 존재하는 각 장비별로 장애가 발생한 장애 이력 데이터를 활용했다. 본 연구에서 고려되는 장애는 Network Node Down, Server Down, Windows Activation Services Down, Database Management System Service Down으로 크게 4가지이다. 각 장비별로 발생되는 장애들을 시간 순으로 정렬하고, 특정 장비에서 장애가 발생하였을 때, 발생 시점으로부터 5분 내 특정 장비에서 장애가 발생하였다면 이를 동시에 장애가 발생하였다고 정의하였다. 이렇게 동시에 장애가 발생한 장비들에 대해서 Sequence를 구성한 후, 구성한 Sequence 내에서 동시에 자주 발생하는 장비 5개를 선정하였고, 선정된 장비들이 동시에 장애가 발생된 경우를 시각화를 통해 확인하였다. 장애 분석을 위해 수집된 서버 리소스 정보는 시계열 단위이며 흐름성을 가진다는 점에서 이전 상태를 통해 다음 상태를 예측할 수 있는 딥러닝 알고리즘인 LSTM(Long Short-term Memory)을 사용했다. 또한 단일 서버와 달리 복합장애는 서버별로 장애 발생에 끼치는 수준이 다르다는 점을 감안하여 Hierarchical Attention Network 딥러닝 모델 구조를 활용했다. 본 알고리즘은 장애에 끼치는 영향이 클 수록 해당 서버에 가중치를 주어 예측 정확도를 높이는 방법이다. 연구는 장애유형을 정의하고 분석 대상을 선정하는 것으로 시작하여, 첫 번째 실험에서는 동일한 수집 데이터에 대해 단일 서버 상태와 복합 서버 상태로 가정하고 비교분석하였다. 두 번째 실험은 서버의 임계치를 각각 최적화 하여 복합 서버 상태일 때의 예측 정확도를 향상시켰다. 단일 서버와 다중 서버로 각각 가정한 첫 번째 실험에서 단일 서버로 가정한 경우 실제 장애가 발생했음에도 불구하고 5개 서버 중 3개의 서버에서는 장애가 발생하지 않은것으로 예측했다. 그러나 다중 서버로 가정했을때에는 5개 서버 모두 장애가 발생한 것으로 예측했다. 실험 결과 서버 간 영향이 있을 것이라고 추측한 가설이 입증된 것이다. 연구결과 단일 서버로 가정했을 때 보다 다중 서버로 가정했을 때 예측 성능이 우수함을 확인했다. 특히 서버별 영향이 다를것으로 가정하고 Hierarchical Attention Network 알고리즘을 적용한 것이 분석 효과를 향상시키는 역할을 했다. 또한 각 서버마다 다른 임계치를 적용함으로써 예측 정확도를 향상시킬 수 있었다. 본 연구는 원인 규명이 어려운 장애를 과거 데이터를 통해 예측 가능하게 함을 보였고, 데이터 센터의 서버 내에서 발생하는 장애를 예측할 수 있는 모델을 제시했다. 본 연구결과를 활용하여 장애 발생을 사전에 방지할 수 있을 것으로 기대된다.

시스템분석(分析)에 의(依)한 삼림수확조절(森林收穫調節)에 관(關)한 연구(硏究) (A Study on the Forest Yield Regulation by Systems Analysis)

  • 조응혁
    • 농업과학연구
    • /
    • 제4권2호
    • /
    • pp.344-390
    • /
    • 1977
  • 본(本) 연구(硏究)는 계획기간내(計劃期間內)의 재적수확량(材積收穫量)을 최대화(最大化)하고 각분기(各分期)의 수확량(收穫量)과 수확면적(收穫面積)을 일정(一定) 범위(範圍)로 제약(制約)하여 계획기간내(計劃期間內)의 보속수확(保續收穫)을 도모(圖謀)하는 동시(同時)에 후계림(後繼林)의 법정영급배치(法正令級配置)가 유도(誘導)될 수 있는 적정수확안(適正收穫案)을 선형계획법(線型計劃法)에 의하여 선정(選定)하고, 제약량(制約量)의 변화(變化)가 총수확량(總收穫量) 및 분기별(分期別) 수확량(收穫量)과 수확면적(收穫面積)에 미치는 영향(影響)을 구명(究明)하는데 목적(目的)이 있다. 서울 대학교(大學校) 농과대학(農科大學) 부속연습림중(附屬演習林中) 개벌작업급(皆伐作業級)에 속하는 219개(個) 소반(小班)을 대상(對象)으로 하였으며, 이 삼림(森林)은 영급구성면(令級構成面)에서 볼 때 유영급(幼令級) 임분(林分)이 많다는 점(點)에서 전국(全國) 삼림(森林)을 대표(代表)한다고 할 수 있다. 본(本) 연구(硏究)에서는 한 분기년수(分期年數)를 5년(年), 계획기간(計劃期間)을 10분기(分期), 1영급(令級)을 5영개(令皆)로 하였으며, 벌채영급(伐採令級)의 범위(範圍)는 5~9영급(令級)이다. 한편, 후계림(後繼林)은 현실림(現實林)이 수확(收穫)되는 즉시 조림(造林)되고, 미립목지(未立木地)는 1분기내(分期內)에 조림(造林)되며 다음 벌기(伐期)까지 충분(充分)한 입목도(立木度)가 이루어지는 것으로 전제(前提)하였다. 소반(小班)을 벌구(伐區)로 하여, 각벌구(各伐區)가 계획기간내(計劃期間內)에 벌채(伐採)될 수 있는 모든 가능(可能)한 대체수확안(代替收穫案)을 그의 영급(令級)에 따라 작성(作成)하고, 여기에 현실림(現實林)과 후계림(後繼林)의 벌기예상수확량(伐期豫想收穫量)을 대입(代入)하여 각대체안(各代替案)의 계획(計劃) 기간내(期間內) 수확량(收穫量)($V_{i,\;k}$)을 산정(算定)하였다. 이때 각벌구(各伐區)의 벌기예상수확량(伐期豫想收穫量)은 기존(旣存) 임분수확표(林分收穫表)와 산림조사부(山林調査簿) 자료(資料)를 이용(利用)하는 범위내(範圍內)에서 추정(推定)하였으며, 각벌구(各伐區)에 소속(所屬)되는 대체수확안중(代替收穫案中)에서 $V_{i,\;k}$가 가장 큰 수확안(收穫案)을 적정수확안(適正收穫案)으로 선정(選定)하였다. 우선 제약조건(制約條件)이 없을 때의 적정수확안(適正收穫案)을 선정(選定)하여 분기별(分期別) 수확량(收穫量)과 수확면적(收穫面積), 총수확량(總收穫量)을 계산(計算)한 다음, 이를 기준(基準)으로 하여 분기별(分期別) 수확량(收穫量)의 상한(上限)($V_{j-max}$)과 하한(下限)($V_{j-min}$) 및 수확면적(收穫面積)의 상한(上限)($A_{j-max}$)과 하한(下限)($A_{j-min}$)을 결정(決定)하였다. 이러한 여러가지 제약조건하(制約條件下)의 적정수확안(適正收穫案)은 LP수확조절(收穫調節)모델을 유도(誘導)하여 선정(選定)하였으며, 제약조건(制約條件) 및 벌채영급범위(伐採令級範圍)의 변화(變化)가 총수확량(總收穫量)에 미치는 영향(影響)을 분석(分析)하고자 감응도분석(感應度分析)을 실시(實施)하였다. 본(本) 연구(硏究) 결과(結果)를 요약(要約)하면 다음과 같다. 1. 제약조건(制約條件) 없이 적정수확안(適正收穫案)을 선정(選定)한 결과(結果), 수확면적(收穫面積)이 분기별(分期別)로 큰 차이(差異)를 보였다. 즉, 총수확량(總收穫量)의 68.8%가 10분기(分期)에 편재(偏在)되어 있고 6~7분기(分期)에는 전(全)혀 수확량(收穫量)이 없으며, 분기별(分期別) 수확면적(收穫面積)도 이와 유사(類似)한 경향(傾向)을 보였다. 이와 같이 분기별(分期別) 수확량(收穫量) 및 수확면적(收穫面積)에 차이(差異)가 많은 것은 현실림(現實林)의 영급구성(令級構成)과 입목축적(立木蓄積)이 대단히 불규칙(不規則)하기 때문이다. 2. 수확량(收穫量)과 수확면적(收穫面積)의 분기별(分期別) 변동폭(變動幅)을 줄이면서 계획기간내(計劃期間內)의 재적수확량(材積收穫量)을 최대화(最大化)하고자, LP수확조절(收穫調節) 모델에 의하여 $A_{min}=150ha$ $A_{max}=400ha$, $V_{min}=5,000m^3$, $V_{max}=50,000m^3$일 때의 적정수확안(適正收穫案)을 선정(選定)한 결과(結果), 대체(大體)로 5분기(分期) 이후(以後)부터 보속수확(保續收穫)과 법정영급배치(法正令級配置)가 가능(可能)하게 되었다. 3. LP수확조절(收穫調節)모델에 간벌계획(間伐計劃)을 포함(包含)시켜 최적해(最適解)를 구(求)하면, 총수확량(總收穫量)이 증가(增加)함은 물론, 간벌계획(間伐計劃)을 포함(包含)시키지 않았을 경우(境遇)에 비하여 분기별(分期別) 보속수확(保續收穫)의 실현(實現)에 유리(有利)한 적정수확안(適正收穫案)을 선정(選定)해 주는 효과(效果)가 있다. 4. 보속수확(保續收穫)과 법정영급배치(法正令級配置)가 실현(實現)될 수 있는 시기(時期)는 제약량(制約量)의 강도(强度)가 높아짐에 따라서 빨라지며, 분기별(分期別) 수확량(收穫量)은 수확면적(收穫面積)에 비하여 제약량(制約量)의 변화(變化)에 따른 평준화(平準化) 경향(傾向)이 뚜렷하고, 분기별(分期別) 수확량(收穫量)의 평준화(平準化)가 이루어지면 분기별(分期別) 수확면적(收穫面積)은 이에 종속(從屬)되어 평준화(平準化)하는 경향(傾向)이 있다. 5. 제약조건(制約條件)의 강도(强度)가 높아짐에 따라 총수확량(總收穫量)은 점감적(漸減的)으로 감소(減少)하므로 빠른 시기(時期)에 엄정보속(嚴正保續)과 엄정영급배치(嚴正令級配置)를 의도(意圖)할 수록 총수확량(總收穫量)의 손실(損失)은 그만큼 더 증가(增加)한다. 6. 같은 계획기간(計劃期間) 및 제약조건하(制約條件下)에서의 총수확량(總收穫量)은 벌채영급(伐採令級)을 낮추고, 그 범위(範圍)를 넓힐수록 증가(增加)한다. 또한 벌채영급(伐採令級) 범위(範圍)의 상한(上限)을 고정(固定)하고, 그 하한(下限)을 1영급(令級)씩 높였을 때에 총수확량(總收穫量)이 감소(減少)되는 속도(速度)는, 그 범위(範圍)의 하한(下限)을 고정(固定)하고 상한(上限)을 1영급(令級)씩 낮추었을 때의 감소(減少) 속도(速度)보다 크다. 7. 본(本) 연구(硏究)에 제시(提示)된 LP수확조절(收穫調節)모델은 영급구성(令級構成)이 복잡(複雜)한 임분(林分)에 적용(適用) 가능(可能)하며, 간벌계획(間伐計劃)을 간단히 포함(包含)시킬 수 있고, 제약량(制約量)의 변화(變化)에 따른 총수확량(總收穫量)의 손실(損失)을 쉽게 계측(計測)할 수 있는 등 여러가지 장점(長點)이 있으므로, 우리나라의 현행(現行) 삼림수확조절법(森林收穫調節法)을 보완(補完)하기 위해서도 이 기법(技法)이 유효(有效)하게 이용(利用)될 수 있을 것으로 보인다.

  • PDF