• Title/Summary/Keyword: 로그 전처리

Search Result 50, Processing Time 0.032 seconds

Page Logging System for Web Mining Systems (웹마이닝 시스템을 위한 페이지 로깅 시스템)

  • Yun, Seon-Hui;O, Hae-Seok
    • The KIPS Transactions:PartC
    • /
    • v.8C no.6
    • /
    • pp.847-854
    • /
    • 2001
  • The Web continues to grow fast rate in both a large aclae volume of traffic and the size and complexity of Web sites. Along with growth, the complexity of tasks such as Web site design Web server design and of navigating simply through a Web site have increased. An important input to these design tasks is the analysis of how a web site is being used. The is paper proposes a Page logging System(PLS) identifying reliably user sessions required in Web mining system PLS consists of Page Logger acquiring all the page accesses of the user Log processor producing user session from these data, and statements to incorporate a call to page logger applet. Proposed PLS abbreviates several preprocessing tasks which spends a log of time and efforts that must be performed in Web mining systems. In particular, it simplifies the complexity of transaction identification phase through acquiring directly the amount of time a user stays on a page. Also PLS solves local cache hits and proxy IPs that create problems with identifying user sessions from Web sever log.

  • PDF

Directed Graph by Integrating Web Document Hyperlink and Web Access Log for Web Mining (웹 마이닝을 위한 웹 문서 하이퍼링크와 웹 접근로그를 통합한 방향그래프)

  • Park, Chul-Hyun;Lee, Seong-Dae;Kwak, Yong-Won;Jeon, Sung-Hwan;Park, Hyu-Chan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.16-18
    • /
    • 2005
  • 웹은 사용자가 원하는 정보를 쉽고 정확하게 검색할 수 있도록 웹 문서를 자료구조화하여 보다 신뢰성 있는 패턴을 추출하고 사용자의 특성과 행동 패턴을 적용하여 개인화 하여야한다. 본 논문에서는 개인화하기 위한 전처리 과정으로서 웹 문서를 구조화 하는 방법을 제안한다. 제안 방법은 기본적으로 웹 문서 태그의 하이퍼링크를 깊이 우선 탐색 알고리즘을 사용하여 방향그래프를 만드는 것이다. 이때 웹 문서 태그 탐색 시 플래시, 스크립트 등의 찾기 힘든 하이퍼링크를 찾는 문제와 '뒤로' 버튼 사용 시 웹 접근로그에 기록되지 않는 문제점을 보완한다. 이를 위해 클릭 스트림을 스택에 저장하여 이미 만들어진 방향그래프와 비교하여 새롭게 찾은 정점과 간선을 추가함으로써 보다 신뢰성높은 방향그래프를 만든다.

  • PDF

Techniques for Improving Host-based Anomaly Detection Performance using Attack Event Types and Occurrence Frequencies

  • Juyeon Lee;Daeseon Choi;Seung-Hyun Kim
    • Journal of the Korea Society of Computer and Information
    • /
    • v.28 no.11
    • /
    • pp.89-101
    • /
    • 2023
  • In order to prevent damages caused by cyber-attacks on nations, businesses, and other entities, anomaly detection techniques for early detection of attackers have been consistently researched. Real-time reduction and false positive reduction are essential to promptly prevent external or internal intrusion attacks. In this study, we hypothesized that the type and frequency of attack events would influence the improvement of anomaly detection true positive rates and reduction of false positive rates. To validate this hypothesis, we utilized the 2015 login log dataset from the Los Alamos National Laboratory. Applying the preprocessed data to representative anomaly detection algorithms, we confirmed that using characteristics that simultaneously consider the type and frequency of attack events is highly effective in reducing false positives and execution time for anomaly detection.

Waveform Estimation from Seismic Records (탄성파 기록으로부터 기본 파형 추출에 관한 연구)

  • Lee, Doo-Sung
    • Geophysics and Geophysical Exploration
    • /
    • v.1 no.3
    • /
    • pp.183-187
    • /
    • 1998
  • Seismic waveform estimation is based on the assumption that the seismic trace tying a well is one dimensional convolution of the propagating seismic waveform and the reflectivity series derived from well logs (sonic and density). With this assumption, the waveform embedded in a seismic trace can be estimated using a Wiener match filter. In this paper, I experimented a preprocessing procedure that applies both on the seismic trace and on the reflectivity series. The procedure is based on the assumption that the travel time can be estimated better from the seismic trace and that the instantaneous reflectivity values can be measured better on the well log. Thus the procedure is, 1) start-time adjustment and dynamic differential stretches are applied on the sonic log, and 2) seismic amplitudes are balanced such that the low frequency part of the seismic are matched to that of the reflectivities derived from well logs.

  • PDF

The Comparison of features for Speech/Music Discrimination (음성/음악 분류를 위한 특징 비교)

  • Lee Kyong Rok;Seo Bong Su;Kim Jin Young
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • spring
    • /
    • pp.157-160
    • /
    • 2000
  • 본 논문에서는 멀티미디어 정보에서 원하는 정보를 추출하는 멀티미디어 인덱싱 중 오디오 인덱싱의 전처리 부격인 음성/음악 분류실험을 하였다. 오디오 인덱싱에 있어서 음성/음악 분류기는 원 오디오 신호에서 정보를 가진 음성 부분을 분리하는 역할을 한다. 실험에서는 음성/음악 분류에서 널리 쓰이는 멜캡스트럼(Mel Cepstrum), 정규화 로그 에너지(normalized log energy), 영교차(Zero-Crossings)를 특징 파라미터로 사용하였다[l, 2, 3]. 특징공간은 GMM(Gaussian Mixture Model)에 의해 모델링 되었고, 오디오 신호의 분류는 각각 3가지 분류항목(음성, 음악, 음성+음악)과 2가지 분류항목(음성, 음악)을 적용하였다. 실험결과 3가지 분류항목 적용시와 2가지 분류항목 적용시 모두 멜캡스트럼을 사용하였을 때 가장 좋은 결과를 보였다.

  • PDF

An Android App Development - 'Noonchi Coaching' Which has function of recommendation based on machine learning (기계 학습형 사용자 맞춤 추천 앱 '눈치 코칭_문화' 개발)

  • Jeon, Jae Hwan;Lee, dae young;Kang, Hyun-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.242-247
    • /
    • 2017
  • 논문은 공공 데이터 Open API와 사용자의 과거 행동과 주변 상황정보를 토대로 사용자가 선호하는 문화를 맞춤 추천하는 어플리케이션인 '눈치 코칭_문화'의 설계 및 구현에 대하여 서술한다. '눈치 코칭_문화'는 사용자가 쉽게 문화를 추천 받을 수 있도록 만들어진 어플리케이션으로 기존의 필터링 방식으로 사용자가 검색하는 방식의 어플리케이션들과 달리 사용자의 주변 상황과 사용자의 취향 분석을 통해 최적의 문화 Contents를 어플리케이션을 통해 제공한다. 사용자의 별도의 상세검색이나 검색, 좋아요 기능, 주변 위치와 같은 상황 정보를 어플리케이션 사용 로그를 저장 후 데이터 전처리를 하여 사용자에게 다시금 피드백 되는 어플리케이션이다. 지속적인 알림을 통해 사용자에게 문화를 추천하도록 만들었다. 또한, 사용자에게 문화의 날 정보와 사용자 주변 위치의 문화센터를 추천하여 사용자의 문화 활동을 지향한다.

  • PDF

An Android App Development - 'Noonchi Coaching' Which has function of recommendation based on machine learning (기계 학습형 사용자 맞춤 추천 앱 '눈치 코칭_문화' 개발)

  • Jeon, Jae Hwan;Lee, dae young;Kang, Hyun-Kyu
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.242-247
    • /
    • 2017
  • 본 논문은 공공 데이터 Open API와 사용자의 과거 행동과 주변 상황정보를 토대로 사용자가 선호하는 문화를 맞춤 추천하는 어플리케이션인 '눈치 코칭_문화'의 설계 및 구현에 대하여 서술한다. '눈치 코칭_문화'는 사용자가 쉽게 문화를 추천 받을 수 있도록 만들어진 어플리케이션으로 기존의 필터링 방식으로 사용자가 검색하는 방식의 어플리케이션들과 달리 사용자의 주변 상황과 사용자의 취향 분석을 통해 최적의 문화 Contents를 어플리케이션을 통해 제공한다. 사용자의 별도의 상세검색이나 검색, 좋아요 기능, 주변 위치와 같은 상황 정보를 어플리케이션 사용 로그를 저장 후 데이터 전처리를 하여 사용자에게 다시금 피드백 되는 어플리케이션이다. 지속적인 알림을 통해 사용자에게 문화를 추천하도록 만들었다. 또한, 사용자에게 문화의 날 정보와 사용자 주변 위치의 문화센터를 추천하여 사용자의 문화 활동을 지향한다.

  • PDF

Analysis of Workflow Log Using Data Mining Techniques (데이터 마이닝 기법을 이용한 워크플로우 로그 분석)

  • 김승;김영호;김규동;곽병권
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2002.05a
    • /
    • pp.32-36
    • /
    • 2002
  • 본 논문에서는 워크플로우 시스템의 관리에 유용한 잠재 규clr을 도출하기 위한 프레임워크를 제안한다. 워크플로우 시스템의 전반적인 수행과정 관리에는 워크플로우 시스템의 모니터링 기능이 이용된다. 그러나 기존의 모니터링 기능은 시스템 수행과정에 대만 관리가 해당 시점에 한정된다는 문제점과, 모니터링 툴이 제공하는 이력 정보는 가공되지 않은 단순한 데이터베이스 필드 수준이라는 문제점이 있다. 따라서 본 연구에서는 워크플로우 시스템에 데이터 마이닝 기법을 이용해 누적된 데이터로부터 얻을 수 잇는 공통의 잠재 규칙에 대한 정보를 제공함으로써 기존의 모니터링 기능을 보완한다. 제안된 방법론은 분석 데이터 추출. 전처리. 연관관계 분석등의 단계를 거치며. 이러한 과정을 통해 워크플로우 시스템 관리에 유용한 잠재 규칙이 도출된다. 도출된 잠재 규칙은 추후 워크플로우 시스템에서 BPR(Business Process Reengineering)의 근거로 사용될 수 있다.

  • PDF

An Implementation Strategy of WOL(Wake On LAN) for Enhancing the Computer Security (컴퓨터 보안 강화를 위한 WOL(Wake On LAN) 기능 구현 전략)

  • Kang, Koohong;Gyeong, Gyuyeol
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.467-468
    • /
    • 2014
  • 본 논문에서는 컴퓨터 보안 강화를 위해 WOL(Wake On LAN) 기능을 출입문 제어시스템에 탑재하여 RFID 카드를 소지한 사용자만이 컴퓨터에 일차적으로 접근 가능한 전략을 제안한다. 이러한 전략은 컴퓨터 사용을 위해 단순히 비밀번호를 이용해 로그온 하는 기존의 방법과 비교해 사전에 자신의 RFID 카드를 이용한 물리보안 인증 단계를 전처리 과정으로 포함함으로써 컴퓨터 보안이 한층 강화되었다고 볼 수 있다. 뿐만 아니라 출입문 제어시스템에 탑재된 WOL 기능에 의해 사용자가 자신의 컴퓨터에 실질적으로 접근하기 이전에 일부 부팅과정에 완료됨에 따라 사용자가 컴퓨터 부팅 과정동안 기다려야하는 대기시간을 줄임으로써 업무효율을 기대할 수 있다. 본 논문에서는 RFID 리더기와 라즈베리파이(Rasqberry Pi)사용해 WOL 기능을 탑재한 출입문 제어시스템을 직접 구현하고 실제 컴퓨팅 환경을 구현해 실험을 실시하였다.

  • PDF

Log Collection Method for Efficient Management of Systems using Heterogeneous Network Devices (이기종 네트워크 장치를 사용하는 시스템의 효율적인 관리를 위한 로그 수집 방법)

  • Jea-Ho Yang;Younggon Kim
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.23 no.3
    • /
    • pp.119-125
    • /
    • 2023
  • IT infrastructure operation has advanced, and the methods for managing systems have become widely adopted. Recently, research has focused on improving system management using Syslog. However, utilizing log data collected through these methods presents challenges, as logs are extracted in various formats that require expert analysis. This paper proposes a system that utilizes edge computing to distribute the collection of Syslog data and preprocesses duplicate data before storing it in a central database. Additionally, the system constructs a data dictionary to classify and count data in real-time, with restrictions on transmitting registered data to the central database. This approach ensures the maintenance of predefined patterns in the data dictionary, controls duplicate data and temporal duplicates, and enables the storage of refined data in the central database, thereby securing fundamental data for big data analysis. The proposed algorithms and procedures are demonstrated through simulations and examples. Real syslog data, including extracted examples, is used to accurately extract necessary information from log data and verify the successful execution of the classification and storage processes. This system can serve as an efficient solution for collecting and managing log data in edge environments, offering potential benefits in terms of technology diffusion.