• 제목/요약/키워드: log collection system

검색결과 47건 처리시간 0.026초

소프트웨어 개발 프로세스 교육을 위한 웹기반 로그 시스템의 구현 및 분석 (Analysis and Implementation of Web Based Log System for The Education of Software Developing Process)

  • 박지연;유욱성
    • 컴퓨터교육학회논문지
    • /
    • 제9권4호
    • /
    • pp.55-61
    • /
    • 2006
  • PSP(personal software process)는 소프트웨어 개발자들이 양질의 코드를 생산할 수 있도록 개발된 정밀하면서도 계량적인 수치를 기반으로 한 소프트웨어공학 기법이다. PSP의 효과적 학습을 위해서는 프로젝트에서 발생하는 많은 양의 데이터를 계산하고 기록하는 작업을 필수적으로 행해야만 한다. 이 작업은 많은 시간이 소요될 뿐 아니라, 오류의 발생이 쉬워 PSP 학습의 동기와 효과를 감소시키는 결과를 초래한다. 이를 개선하기 위해서 본 연구에서는 데이터의 정리, 검증 및 분석을 처리할 수 있도록 웹 기반의 PSP 로그 시스템을 설계하고 구현하였다. 3년간의 실험 결과는 이 시스템이 생산성과 정밀도를 높일 뿐만 아니라, 데이터의 처리보다는 PSP 기법의 프로세스에 대한 학습과 교수에 더 집중할 수 있게 해주었음을 보여주었다.

  • PDF

이기종 네트워크 장치를 사용하는 시스템의 효율적인 관리를 위한 로그 수집 방법 (Log Collection Method for Efficient Management of Systems using Heterogeneous Network Devices)

  • 양재호;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권3호
    • /
    • pp.119-125
    • /
    • 2023
  • IT 인프라 운영이 고도화하면서 시스템을 관리하는 방식이 널리 보급되어 있으며, 최근에는 Syslog를 활용한 개선방법들이 연구되고 있다. 그러나 이러한 방법으로 수집한 로그 데이터를 활용하여 시스템 관제를 할 경우 다양한 형식으로 추출되는 로그를 전문 인력이 분석해야 하는 어려움이 있다. 본 논문은 엣지 컴퓨팅을 활용하여 Syslog 데이터를 분산 수집하고 중복 데이터를 전처리하여 중앙 데이터베이스에 적재하는 시스템을 구축 방법을 제시하고자 한다. 또한, 데이터사전을 구성하여 실시간으로 데이터를 분류하고 카운팅하는 기능을 제공하며, 데이터사전에 등록된 데이터에 대해서는 중앙 데이터베이스로의 전송을 제한하는 시스템을 구현한다. 이를 통해 데이터 사전의 정의어 패턴을 유지하며, 중복 데이터와 시간 중복을 제어하여 중앙 데이터베이스에 정제된 데이터를 적재함으로써 빅데이터 분석을 위한 기초 자료를 확보할 수 있다. 시뮬레이션결과 제안된 알고리즘과 프로시저를 구체적인 예시와 함께 설명하고, syslog 데이터를 활용하여 그 성능을 검증하였다. syslog 데이터는 실제 로그 데이터에서 추출한 예시를 포함하고 있으며 이를 통해 로그 데이터로부터 필요한 정보를 정확하게 추출하였고, 분류 및 적재 과정에서 정상적인 처리가 이루어지는지를 확인하였다. 이러한 시스템은 엣지 환경에서 로그 데이터를 효율적으로 수집하고 관리하기 위한 솔루션으로 활용하여 기술의 확산 측면에서도 효과를 기대할 수 있다.

부하테스트를 이용한 금융 시스템의 성능개선 사례 (A Case Study for Improving Performance of A Banking System Using Load Test)

  • 김태석;이종윤;김종수
    • 한국멀티미디어학회논문지
    • /
    • 제18권12호
    • /
    • pp.1501-1508
    • /
    • 2015
  • In this paper, we describe a case study to improve performance through the load testing of multi-tired system for financial accounts before the system opening. The load test was conducted after the data collection tools(Performance Monitor, DB PSSDiag) were installed. By analyzing the collected log, we were able to identify the main sector requiring performance improvements among the presentation tier, web tier, business logic tier and data tier. The ASP.NET server-down on the web tier could be improved by modifying the parameter values in the configuration file. Some server downs occurred on the business logic tier when a large number of users access at the same time, were more difficult to be solved. By analyzing the hang-dump at the server-down time, we were able to find a process that caused the problem. and we had to modify the relevant codes. For major performance improvements of the data-tier, indices of some queries was optimized by using the built-in DBMS query analyzer, after analyzing the log of long-response-time queries. The problems and solutions considered in this case study will be a reference for the performance improvement of a multi-layer system with the similar structure.

중소제조기업 협업지원 시스템의 도입 및 활용 효과 분석 프레임워크 (A Framework for Analyzing the Effectiveness of a Collaboration Support System for Small and Medium-sized Enterprises)

  • 김정연;안재형;신동민;문용마
    • 산업공학
    • /
    • 제25권1호
    • /
    • pp.13-20
    • /
    • 2012
  • Recently, the collaboration among small and medium-sized enterprises(SMEs) has been recognized as an effective competitive tool. As several systems have been developed to boost the collaboration, it is necessary to analyze the effectiveness of the systems in terms of their contribution to enhance operational performance of SMEs through objective and quantitative validation. In particular, the analysis for SMEs rather than large-scaled enterprises has not received much attention due to lack of relevant information and difficulty of collecting data. This paper presents a framework for analyzing the effectiveness of the collaboration support system, called i-manufacturing hub, which has been implemented by Korean government. Identification of influential factors to the effectiveness of collaboration hub, and constructing necessary hypotheses are proposed. To overcome the difficulty in data collection only by means of surveys through subjective questionnaires, we exploit system log data that are generated while SMEs use the system. As an initial phase to analyze the effectiveness through hypothesis validation, we discuss several interesting observations and challenges in the direction of enhancing collaboration among SMEs for better operational performance improvement and more participation in the collaboration hub.

LFS의 쓰기 성능 최적화를 위한 세그먼트 공간 재활용 기법 (A Segment Space Recycling Scheme for Optimizing Write Performance of LFS)

  • 오용석;김은삼;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권12호
    • /
    • pp.963-967
    • /
    • 2009
  • LFS(Log-structured File System)는 쓰기 요청을 세그먼트 버퍼에 모으고, 세그먼트 단위로 순차 기록함으로써 무작위 쓰기에서도 최적의 성능을 보여준다. 그러나 디스크의 공간이 유한하여, LFS는 여유 세그먼트를 생성하는 클리닝을 수행해야 한다. 파일 시스템의 사용률이 증가함에 따라 세그먼트 클리닝 비용이 급격히 증가하는 단점이 있다. 본 논문에서는 LPS의 쓰기 성능 최적화를 위한 세그먼트 공간 재활용 기법을 설명한다. 이 기법은 유효 세그먼트를 재활용하여 여유 공간을 생성하는 방법으로 빈 세그먼트가 없이 쓰기요청을 처리 할 수 있다. 따라서 높은 비용의 클리닝 동작 없이, 데이터를 세그먼트 내 여유공간에 동적 재배치하여 쓰기요청을 처리한다. 또한 효율적인 세그먼트 공간 재활용을 위해 데이터 및 세그먼트의 지역성을 고려하는 분류기법을 설명한다. 실험 결과에서 이 기법은 파일 시스템의 사용률이 90%인 경우에도 기존 WOLF 기법을 사용한 LFS 보다 HDD에서 1.9배, SSD에서 1.6배의 성능향상을 보여준다.

농촌 소도시의 CSOs 발생패턴분석 및 관리대책에 관한 연구 (Pattern Analysis of CSOs Generation in a Small Rural City and Control Schemes)

  • 김영철;안익성;이명재
    • 한국물환경학회지
    • /
    • 제23권4호
    • /
    • pp.543-550
    • /
    • 2007
  • In this study, combined sewer overflows (CSOs) from five independent rainfall events in rural city area were collected and investigated. First flush effect in sewage pumping station located near the WWTP was retarded 30 to 60 minutes from booster pumping station. The ratios between SS, COD and TP concentrations prior to rainfall and peak concentrations during the period of rainfall were highly increased but nitrogen was relatively constant, which indicates that it is not associated with particles washed off from the surface of watershed. Mass balance results show that 30% of CSO was generated from booster pump station and 66.5% of CSO was from the whole runoff area. In the area of newly constructed sewer system, CSO problem was related with pump and sewer capacities, but in other old sewer system equipped area, it was due to the collection efficiency. Finally, Log-Log pollutant rating equations were suggested.

빅데이터 플랫폼을 이용한 보안로그 분석 시스템 구현 모델 연구 (A Study on implementation model for security log analysis system using Big Data platform)

  • 한기형;정형종;이두식;채명희;윤철희;노규성
    • 디지털융복합연구
    • /
    • 제12권8호
    • /
    • pp.351-359
    • /
    • 2014
  • 보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

클릭스트림 분석을 위한 웹 서버 시스템의 설계 및 구현 (Design and Implementation of Web Server for Analyzing Clickstream)

  • 강미정;정옥란;조동섭
    • 정보처리학회논문지D
    • /
    • 제9D권5호
    • /
    • pp.945-954
    • /
    • 2002
  • 인터넷을 통한 비즈니스에 수익 모델에 대한 관심이 높아지면서 방문자별로 개인화된 서비스를 제공하려는 노력이 커지고 있다. 개인화(Personalization)란 고객 한 명을 대상으로 하여 그 고객 한 사람을 위한 정보나 제품을 제공해주는 작업을 말한다. 개인화 서비스를 위해서 전 처리과정인 사용자 프로파일 생성과정이 필요하며, 적극적인 개인화 서비스를 제공하기 위해서는 충분한 고객 데이터가 필요하다. 본 논문에서는 웹사이트 상에서 사용자 행위 패턴을 파악할 수 있는 클릭스트림 정보를 모듈화 하였으며, 이를 이용하여 확장된 웹 로그 시스템을 구현하였다. 클릭스트림 정보를 웹 로그정보에 포함시켜 사용자의 행위 패턴을 파악할 수 있도록 웹 서버 시스템을 설계하고 구현하였다. 그리고 이 웹 서버는 웹사이트로부터 얻은 클릭스트림 정보를 분류하고 저장하여 관리자가 쉽게 분석할 수 있다. 이때 데이터베이스 저장 기술로 OLE DB Provider상에서 수행되는 ADO(ActiveX Data Object)기술을 사용함으로써 확장된 웹 로그 처리 시스템을 설계하였다. 확장된 웹 로그 DB를 패턴분석, 군집분석 등의 마이닝(Mining) 기법을 통하여 맞춤서비스에 대한 사용자 프로파일을 구축할 수 있다.

Shannon의 정보이론과 문헌정보 (Shannon's Information Theory and Document Indexing)

  • 정영미
    • 한국문헌정보학회지
    • /
    • 제6권
    • /
    • pp.87-103
    • /
    • 1979
  • Information storage and retrieval is a part of general communication process. In the Shannon's information theory, information contained in a message is a measure of -uncertainty about information source and the amount of information is measured by entropy. Indexing is a process of reducing entropy of information source since document collection is divided into many smaller groups according to the subjects documents deal with. Significant concepts contained in every document are mapped into the set of all sets of index terms. Thus index itself is formed by paired sets of index terms and documents. Without indexing the entropy of document collection consisting of N documents is $log_2\;N$, whereas the average entropy of smaller groups $(W_1,\;W_2,...W_m)$ is as small $(as\;(\sum\limits^m_{i=1}\;H(W_i))/m$. Retrieval efficiency is a measure of information system's performance, which is largely affected by goodness of index. If all and only documents evaluated relevant to user's query can be retrieved, the information system is said $100\%$ efficient. Document file W may be potentially classified into two sets of relevant documents and non-relevant documents to a specific query. After retrieval, the document file W' is reclassified into four sets of relevant-retrieved, relevant-not retrieved, non-relevant-retrieved and non-relevant-not retrieved. It is shown in the paper that the difference in two entropies of document file Wand document file W' is a proper measure of retrieval efficiency.

  • PDF

다양한 기기로부터의 데이터 단일 표현을 통한 개인 미멕스 시스템 (A Personal Memex System Using Uniform Representation of the Data from Various Devices)

  • 민영근;이복주
    • 정보처리학회논문지B
    • /
    • 제16B권4호
    • /
    • pp.309-318
    • /
    • 2009
  • 한 개인이 일상 생활을 하면서 겪는 사건을 자동으로 기록하고 탐색하는 시스템은 비교적 최근에 활발히 연구되고 있는 분야이다. 개인 미멕스(personal memex) 또는 라이프로그(life log)라 불리는 이러한 시스템은 MyLifeBits 프로젝트의 센스캠(SenseCam)처럼 보통 이를 위한 전용 디지털 기기를 수반한다. 본 연구에서는 개인의 일상 생활을 담는 매체로서 이러한 현대인이 일상적으로 사용하는 휴대폰, 신용카드, 디지털 카메라 등의 매체를 주목하였다. 이러한 매체에 직접 기록되는 일상 생활 또는 이러한 매체를 통해 상용 서비스를 제공하는 업체의 사이트 (예를 들면 휴대폰 회사 통화 기록)에 기록되는 일상 생활을 전송받아 체계적으로 저장하고 추후 빠르게 참조할 수 있도록 하였다. MyMemex라 불리는 본 시스템의 데이터 수집 에이전트는 이러한 싸이트에서 제공하는 웹 서비스를 이용하여 개인의 라이프로그 '웹 데이터'를 수집하여 서버에 저장한다. 또한 디지털 기기에 저장되는 '파일 데이터'를 로드하여 서버에 저장한다. 본 연구에서는 이러한 웹 데이터 또는 파일 데이터를 4W1H로 기술되는 하나의 미멕스 사건으로 보아 각 서비스마다 다른 형태를 가지는 데이터를 4 W1H 미멕스 사건 데이터로 변환한다. 이러한 변환에는 미멕스 사건 온톨로지를 사용한다. 웹 기반으로 제공되는 본 시스템에서 사용자는 자신의 일상 기록을 시간 순으로 볼 수 있고 특정 키워드를 이용하여 검색할 수 있다. 또한 미멕스 사건들이 문장으로 변환되어 일기 또는 이야기 형식으로 전개될 수 있다. 관련된 일련의 미멕스 사건들은 '에피소드'로 자동으로 군집화되어 보여진다. 저자 중 한명의 실제 라이프로그 데이터를 사용하여 에피소드 군집화를 실험한 결과 높은 정확도를 보였다.