• 제목/요약/키워드: log data analysis

검색결과 975건 처리시간 0.032초

프로세스 마이닝 기법을 이용한 해양플랜트 배관재 제작 공정 관리 방법에 관한 연구 (A Study on Process Management Method of Offshore Plant Piping Material using Process Mining Technique)

  • 박중구;김민규;우종훈
    • 대한조선학회논문집
    • /
    • 제56권2호
    • /
    • pp.143-151
    • /
    • 2019
  • This study describes a method for analyzing log data generated in a process using process mining techniques. A system for collecting and analyzing a large amount of log data generated in the process of manufacturing an offshore plant piping material was constructed. The analyzed data was visualized through various methods. Through the analysis of the process model, it was evaluated whether the process performance was correctly input. Through the pattern analysis of the log data, it is possible to check beforehand whether the problem process occurred. In addition, we analyzed the process performance data of partner companies and identified the load of their processes. These data can be used as reference data for pipe production allocation. Real-time decision-making is required to cope with the various variances that arise in offshore plant production. To do this, we have built a system that can analyze the log data of real - time system and make decisions.

대규모 로그를 사용한 유저 행동모델 분석 방법론 (The Analysis Framework for User Behavior Model using Massive Transaction Log Data)

  • 이종서;김성국
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

  • PDF

Web Log Analysis System Using SAS/AF

  • Koh, Bong-Sung;Lee, Gu-Eun
    • Journal of the Korean Data and Information Science Society
    • /
    • 제15권2호
    • /
    • pp.317-329
    • /
    • 2004
  • The Web log has caught much attraction for tracing of customer activity. So many researches have been carried on it. As a result, Web log analysis solutions has been developed and launched lately. It has been in the spotlight to the website administrators and people in practical marketing business. In this paper, we made an analysis on the various behavior patterns of customers in cooperation with SAS/AF and SCL modules, based on development of GUI from SAS package for disposal of statistical data.

  • PDF

시스템 보안 강화를 위한 로그 분석 도구 ILVA와 실제 적용 사례 (ILVA: Integrated audit-log analysis tool and its application.)

  • 차성덕
    • 정보보호학회논문지
    • /
    • 제9권3호
    • /
    • pp.13-26
    • /
    • 1999
  • 인터넷의 급속한 발전과 함께 정보 시스템의 보안 위협인 침입 사고도 급증하고 있다. 보다 강 화된 보안 메커니즘이 요구되고 있다. 시스템 로그 분석은 이런 침입 사실을 탐지하고 침입 자를 추적하 기 위해 필수적인 과정이나 로그 자료의 종류와 형태의 다양함으로 인해 자동화된 로그 수 집 및 분석이 현실적으로 어려운 상태이다. 우리는 침입 추적에 필요한 로그 자료의 형태를 정의하고 방 대한 로그 자 료로부터 효율적으로 로그수집, 분석할수 있는 도구를 설계 및 구현하였다. 이 논문에서는 개발된 도구 를 사용하여 실제 침입 추적을 한 경험을 소개하고 도구의 향후 개선 방향을 제시한다 Widespread use of Internet despite numerous positive aspects resulted in increased number of system intrusions and the need for enhanced security mechanisms is urgent. Systematic collection and analysis of log data are essential in intrusion investigation. Unfortunately existing logs are stored in diverse and incompatible format thus making an automated intrusion investigation practically impossible. We examined the types of log data essential in intrusion investigation and implemented a tool to enable systematic collection and efficient analysis of voluminous log data. Our tool based on RBDMS and SQL provides graphical and user-friendly interface. We describe our experience of using the tool in actual intrusion investigation and explain how our tool can be further enhanced.

로그자료 분석을 통한 인터넷 서버의 용량 분석 (Capacity Analysis of Internet Servers Based on Log-Data Analysis)

  • 김수진;윤복식;이용주;강금석
    • 경영과학
    • /
    • 제19권1호
    • /
    • pp.29-38
    • /
    • 2002
  • Due to the rapid increase In the Internet traffic volume, ISPs are faced with the definite need of the expansion of server capacity. In order to Provide prompt services for customers and still prevent excessive facility cost, it is critical to determine the optimum level of internet server capacity. The purpose of this Paper is to provide a simple but effective strategy on the expansion of servers capacity according to the increase in internet traffic. We model an internet server as an M/G/m/m queueing system and derive an efficient method to compute the loss probability which, In turn, Is used as a basis to determine proper server capacity. The Process of estimating the traffic parameter values at each server based on log data analysis is also given. All the procedures are numerically demonstrated through the process of analyzing actual log data collected from a game company.

Log Analysis System Design using RTMA

  • 박희창;명호민
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2004년도 춘계학술대회
    • /
    • pp.225-236
    • /
    • 2004
  • Every web server comprises a repository of all actions and events that occur on the server. Server logs can be used to quantify user traffic. Intelligent analysis of this data provides a statistical baseline that can be used to determine server load, failed requests and other events that throw light on site usage patterns. This information provides valuable leads on marketing and site management activities. In this paper, we propose a method of design for log analysis system using RTMA(realtime monitoring and analysis) technique.

  • PDF

프로세스 마이닝을 이용한 웹 로그 분석 프레임워크 (A Framework for Web Log Analysis Using Process Mining Techniques)

  • 안윤하;오규협;김상국;정재윤
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.25-32
    • /
    • 2014
  • 웹 마이닝은 사용자의 웹 이용 분석을 위해 웹에서 발생한 데이터를 대상으로 유용한 패턴을 찾아내는 기법이다. 하지만 기존의 웹 마이닝은 웹 로그의 연속적인 특성을 충분히 반영하여 분석하지 못하였다. 이를 보완하기 위하여 본 연구에서는 프로세스 마이닝을 활용하여 프로세스 모델에 의한 순차적인 관계에 따른 웹 접속 로그를 분석하는 프레임워크를 제시한다. 프로세스 모델에 기반한 웹 로그 분석은 웹 페이지들을 이동한 사용자들의 행위를 이해하고 문제점과 개선방안을 도출하는 데 유용하게 사용될 수 있다. 본 연구에서는 제안한 방법론을 이용하여 대학정보시스템의 웹 로그를 분석하여 적용 가능성과 그 분석 결과를 제시하였다.

보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안 (For Improving Security Log Big Data Analysis Efficiency, A Firewall Log Data Standard Format Proposed)

  • 배춘석;고승철
    • 정보보호학회논문지
    • /
    • 제30권1호
    • /
    • pp.157-167
    • /
    • 2020
  • 최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.

Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템 (Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort)

  • 백나은;신재환;장진수;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.48-59
    • /
    • 2018
  • 최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.

APT 해킹 공격에 대한 전조현상 분석 및 IP역추적 (A Precursor Phenomena Analysis of APT Hacking Attack and IP Traceback)

  • 노정호;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.275-278
    • /
    • 2013
  • Log는 시스템을 사용하는 모든 자료에 남는 시스템 파일이다. 지금 IT에 이슈화 되고 있는 농협사태, Nate On 정보 유출, 언론기관 서버마비 등 해킹에 의한 범죄가 많이 일어나고 있다. 이에 로그를 전문적으로 분석하는 소프트웨어를 통해 일어나고 있는 해킹 사태에 대해 전문분석이 필요하다. 본 연구는 지능적으로 일어나는 APT 공격에 대해 로그분석으로 패턴을 분석해 이상 Log 발생 시 역추적 하여 사전에 예방하는 기술에 대해 기술한다.

  • PDF