• 제목/요약/키워드: Log Data

검색결과 2,130건 처리시간 0.026초

THE STUDY OF FLOOD FREQUENCY ESTIMATES USING CAUCHY VARIABLE KERNEL

  • Moon, Young-Il;Cha, Young-Il;Ashish Sharma
    • Water Engineering Research
    • /
    • 제2권1호
    • /
    • pp.1-10
    • /
    • 2001
  • The frequency analyses for the precipitation data in Korea were performed. We used daily maximum series, monthly maximum series, and annual series. For nonparametric frequency analyses, variable kernel estimators were used. Nonparametric methods do not require assumptions about the underlying populations from which the data are obtained. Therefore, they are better suited for multimodal distributions with the advantage of not requiring a distributional assumption. In order to compare their performance with parametric distributions, we considered several probability density functions. They are Gamma, Gumbel, Log-normal, Log-Pearson type III, Exponential, Generalized logistic, Generalized Pareto, and Wakeby distributions. The variable kernel estimates are comparable and are in the middle of the range of the parametric estimates. The variable kernel estimates show a very small probability in extrapolation beyond the largest observed data in the sample. However, the log-variable kernel estimates remedied these defects with the log-transformed data.

  • PDF

Prediction of Cognitive Ability Utilizing a Machine Learning approach based on Digital Therapeutics Log Data

  • Yeojin Kim;Jiseon Yang;Dohyoung Rim;Uran Oh
    • International journal of advanced smart convergence
    • /
    • 제12권2호
    • /
    • pp.17-24
    • /
    • 2023
  • Given the surge in the elderly population, and increasing in dementia cases, there is a growing interest in digital therapies that facilitate steady remote treatment. However, in the cognitive assessment of digital therapies through clinical trials, the absence of log data as an essential evaluation factor is a significant issue. To address this, we propose a solution of utilizing weighted derived variables based on high-importance variables' accuracy in log data utilization as an indirect cognitive assessment factor for digital therapies. We have validated the effectiveness of this approach using machine learning techniques such as XGBoost, LGBM, and CatBoost. Thus, we suggest the use of log data as a rapid and indirect cognitive evaluation factor for digital therapy users.

Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템 (Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort)

  • 백나은;신재환;장진수;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.48-59
    • /
    • 2018
  • 최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.

프로세스 마이닝을 이용한 웹 로그 분석 프레임워크 (A Framework for Web Log Analysis Using Process Mining Techniques)

  • 안윤하;오규협;김상국;정재윤
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.25-32
    • /
    • 2014
  • 웹 마이닝은 사용자의 웹 이용 분석을 위해 웹에서 발생한 데이터를 대상으로 유용한 패턴을 찾아내는 기법이다. 하지만 기존의 웹 마이닝은 웹 로그의 연속적인 특성을 충분히 반영하여 분석하지 못하였다. 이를 보완하기 위하여 본 연구에서는 프로세스 마이닝을 활용하여 프로세스 모델에 의한 순차적인 관계에 따른 웹 접속 로그를 분석하는 프레임워크를 제시한다. 프로세스 모델에 기반한 웹 로그 분석은 웹 페이지들을 이동한 사용자들의 행위를 이해하고 문제점과 개선방안을 도출하는 데 유용하게 사용될 수 있다. 본 연구에서는 제안한 방법론을 이용하여 대학정보시스템의 웹 로그를 분석하여 적용 가능성과 그 분석 결과를 제시하였다.

빅데이터 관리를 위한 문서형 DB 기반 로그관리 시스템 설계 (Design of Log Management System based on Document Database for Big Data Management)

  • 류창주;한명호;한승조
    • 한국정보통신학회논문지
    • /
    • 제19권11호
    • /
    • pp.2629-2636
    • /
    • 2015
  • 최근 IT 분야에서 빅데이터 관리에 대한 관심이 급증하고 있으며, 빅데이터의 실시간 처리 문제를 해결하기 위해 많은 연구가 진행되고 있다. 네트워크상에서 주고받는 데이터를 실시간으로 저장하는 기능으로 인해 리소스가 많이 필요한 반면, 높은 비용적 측면 때문에 분석 시스템 도입에 문제가 야기 되고 있으며 이러한 문제점 해결을 위해 저비용 고효율성을 만족하는 시스템 재설계의 필요성이 증가되고 있다. 본 논문에서는 빅 데이터 관리를 위한 문서형 DB기반 로그관리 시스템을 설계하기 위해서 문서형 데이터베이스인 MongoDB를 사용하였으며, 제안하는 로그관리 시스템을 통해 고효율의 로그 수집 및 처리와 위,변조에 안전한 로그 데이터 저장을 확인한다.

Outlying Cell Identification Method Using Interaction Estimates of Log-linear Models

  • Hong, Chong Sun;Jung, Min Jung
    • Communications for Statistical Applications and Methods
    • /
    • 제10권2호
    • /
    • pp.291-303
    • /
    • 2003
  • This work is proposed an alternative identification method of outlying cell which is one of important issues in categorical data analysis. One finds that there is a strong relationship between the location of an outlying cell and the corresponding parameter estimates of the well-fitted log-linear model. Among parameters of log-linear model, an outlying cell is affected by interaction terms rather than main effect terms. Hence one could identify an outlying cell by investigating of parameter estimates in an appropriate log-linear model.

로지스틱회귀모형의 변수선택에서 로그-오즈 그래프를 통한 로그-밀도비 연구 (A study on log-density with log-odds graph for variable selection in logistic regression)

  • 강명욱;신은영
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권1호
    • /
    • pp.99-111
    • /
    • 2012
  • 반응변수가 주어졌을 때 설명변수의 조건부 확률분포의 로그-밀도비는 로지스틱회귀모형에서 어떤 설명변수가 어떻게 모형에 포함되는지에 대한 변수선택문제에서 유용한 정보를 제공한다. 설명변수의 조건부 확률분포가 좌우대칭이 아닌 경우 감마분포로 가정하는 것이 적절하고 이 경우 x항과 log(x)항이 모형에 포함되어야 한다. 로그-오즈 그래프는 변수선택문제를 연구하는데 매우 중요한 도구가 된다. 이러한 그래픽적 연구에 의하면, x|y = 0과 x|y = 1의 두 분포가 겹치는 경우에서는 x항과 log(x)항 모두 필요하다. 그리고 두 분포가 분리된 경우에는 x항 또는 log(x)항 중 하나만 필요하다.

EDF: An Interactive Tool for Event Log Generation for Enabling Process Mining in Small and Medium-sized Enterprises

  • Frans Prathama;Seokrae Won;Iq Reviessay Pulshashi;Riska Asriana Sutrisnowati
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권6호
    • /
    • pp.101-112
    • /
    • 2024
  • 본 논문에서는 프로세스 마이닝을 위한 이벤트 로그 생성을 지원하도록 설계된 대화형 도구인 EDF(Event Data Factory)를 소개한다. EDF는 다양한 데이터 커넥터를 통합하여 사용자가 다양한 데이터 소스에 연결할 수 있도록 지원한다. 이 도구는 그래프 기반 시각화와 함께 로우 코드/노코드 기술을 사용하여 비전문가 사용자가 프로세스 흐름을 이해하도록 돕고, 사용자 경험을 향상시킨다. EDF는 메타데이터 정보를 활용하여 사용자가 case, activity 및 timestamp 속성을 포함하는 이벤트 로그를 효율적으로 생성할 수 있도록 한다. 로그 품질 메트릭을 통해 사용자는 생성된 이벤트 로그의 품질을 평가할 수 있다. 우리는 클라우드 기반 아키텍처에서 EDF를 구현하고 성능평가를 실행했으며, 본 연구와 결과는 EDF의 사용성과 적용 가능성을 보여주었다. 마지막으로 관찰 연구를 통해 EDF가 사용하기 쉽고 유용하여 프로세스 마이닝 애플리케이션에 대한 중소기업(SME)의 접근을 확장한다는 사실을 확인했다.

방화벽 로그를 이용한 침입탐지기법 연구 (A Study on the Intrusion Detection Method using Firewall Log)

  • 윤성종;김정호
    • Journal of Information Technology Applications and Management
    • /
    • 제13권4호
    • /
    • pp.141-153
    • /
    • 2006
  • According to supply of super high way internet service, importance of security becomes more emphasizing. Therefore, flawless security solution is needed for blocking information outflow when we send or receive data. large enterprise and public organizations can react to this problem, however, small organization with limited work force and capital can't. Therefore they need to elevate their level of information security by improving their information security system without additional money. No hackings can be done without passing invasion blocking system which installed at the very front of network. Therefore, if we manage.isolation log effective, we can recognize hacking trial at the step of pre-detection. In this paper, it supports information security manager to execute isolation log analysis very effectively. It also provides isolation log analysis module which notifies hacking attack by analyzing isolation log.

  • PDF

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.