• Title/Summary/Keyword: 트랜잭션 로그 분석

Search Result 28, Processing Time 0.023 seconds

Applications of Transaction Log Analysis for the Web Searching Field (웹 검색 분야에서의 로그 분석 방법론의 활용도)

  • Park, So-Yeon;Lee, Joon-Ho
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.41 no.1
    • /
    • pp.231-242
    • /
    • 2007
  • Transaction logs capture the interactions between online information retrieval systems and the users. Given the nature of the Web and Web users, transaction logs appear to be a reasonable and relevant method to collect and investigate information searching behaviors from a large number of Web users. Based on a series of research studies that analyzed Naver transaction logs, this study examines how transaction log analysis can be applied and contributed to the field of web searching and suggests future implications for the web searching field. It is expected that this study could contribute to the development and implementation of more effective Web search systems and services.

Design of the web data mining system and definition of useful access patterns (웹 마이닝 시스템 설계 및 유용한 접근 패턴 정의)

  • 김종달;김성민;남도원;이동하;이전영
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2000.04a
    • /
    • pp.283-291
    • /
    • 2000
  • 인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

  • PDF

Design and Implementation of Web Analyzing System based on User Create Log (사용자 생성 로그를 이용한 웹 분석시스템 설계 및 구현)

  • Go, Young-Dae;Lee, Eun-Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.264-267
    • /
    • 2007
  • 인터넷 사이트가 증가하면서 서비스 제공자는 사용자의 요구나 행동패턴을 파악하기 위하여 웹 마이닝 기법을 활용한다. 하지만 서버에 저장된 웹 로그 정보를 활용한 마이닝 기법은 전처리 과정에 많은 노력이 필요하고 사용자의 행동패턴이나 요구를 정확하게 파악하는데 한계가 있다. 이를 극복하기 위해 본 논문에서는 사용자 생성 로그정보를 이용한 방법을 제안한다. 제안 방법은 기존 서버에 저장되는 로그파일이 아닌 사용자의 행동에 의해 웹 페이지가 로딩될 때 마다 웹 마이닝에 필요한 정보를 수집하여 DB 에 저장하는 방법을 사용하였다. 이때 기존 로그파일에 로딩시간과 조회시간, 파라메타 정보를 추가하여 보다 사실적으로 사용자의 행동패턴을 파악하고자 하였다. 이렇게 생성된 로그파일을 기 등록된 메뉴정보, 쿼리정보와 조합하면 웹 마이닝에 필수적인 데이터정제, 사용자식별, 세션식별, 트랜잭션 식별등 전처리 과정의 효율성을 향상시키고 사용자의 행동패턴파악을 위한 정보 수집을 용이하게 해준다.

Efficient Binary Join Processing for Large Data Streams (대용량 데이터 스트림을 처리하기 위한 효율적 이진 조인 처리 기법)

  • Park, Hong-Kyu;Lee, Won-Suk
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2008.06a
    • /
    • pp.189-192
    • /
    • 2008
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석등과 관련된 대용량 데이터 스트림을 실시간으로 처리하는 것에 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 조인 처리에 대한 관심이 증가하고 있다. 본 논문에서는 조인 연산을 빠르게 처리하기 위한 효율적인 해시 구조와 조인 방법에 대해서 연구하고 다양한 환경에서 제안 방법을 검증한다.

  • PDF

Design of a Preprocessor for Web Log Analysis (웹 로그 분석을 위한 전처리기의 설계)

  • Kim, Geon-Lyang;Lee, Do-Heon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10a
    • /
    • pp.47-50
    • /
    • 2000
  • 최근 들어 인터넷 쇼핑몰의 활성화로 인한 고객의 행동 패턴 분석의 필요성이 증가하고 있다. 본 논문에서는 고객의 행동 패턴 분석 방법 중의 하나로 데이터마이닝 기법을 이용한 웹 로그 분석을 소개한다. 웹 로그에는 고객의 접근 시간, 접근한 웹 페이지, 접근 시 사용한 브라우저 등 많은 정보가 포함되어 있는데, 마이닝 기법을 적용하기 위해서는 우리에게 필요한 정보만을 추출하고 적용하기 편리한 형태로 변환해야 한다. 본 논문에서는 마이닝 기법을 적용하기 위해 필요한 정보를 추출하고 적절한 형태로 변환하는 작업을 수행하는 전처리기의 설계를 제안한다. 본 논문에서 제안하는 전처리기로 구축된 트랜잭션을 통하여 원하는 항목과 범위에 대해서 연관 규칙을 얻을 수 있다.

  • PDF

Processing Multiple Continuous Queries by sharing common join operations (공통 조인 작업 공유를 통한 다중 연속 질의 처리)

  • Park, Hong-Kyu;Lee, Won-Suk
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2008.11a
    • /
    • pp.187-190
    • /
    • 2008
  • 데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.

  • PDF

Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams (데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석)

  • Park, Hong-Kyu;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

Applying Datamining and OLAP for CRM to Travel Agency (Travel Agency에서 CRM을 위한 DataMining, OLAP 적용)

  • 김민정;박승수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.152-154
    • /
    • 2000
  • World Wide Web(WWW) 데이터가 폭발적으로 증가하고 있는 시점에서, WWW의 데이터로부터 유용한 정보를 찾아내고 분석하는 일이 필요해졌다. 또한 WWW의 데이터만으로는 얻을 수 없는 기업의 의사결정을 위한 정보를 얻기 위해, 웹 페이지 접근 기록에서 얻어진 웹 로그기록들과 기업의 판매 트랜잭션 데이터베이스, 광고 데이터베이스 그리고 고객 정보를 통합하여 데이터 웨어하우스를 구축한다. 이러한 과정은 기업활동의 결과로 축적된 데이터 자원과 WWW의 데이터를 통합하여 체계적인 정보기반을 구축하고, 이러한 자원을 전략적으로 재활용하는 것이 목적이다. 본 논문에서는 WWW의 데이터와 기업의 데이터베이스를 통합하여 웨어하우스를 설계하고 여기에 데이터마이닝, OLAP을 적용하여 CRM에 활용하는 방안을 제안하고자 한다.

  • PDF

Application Performance Evaluation in Main Memory Database System (메인메모리 데이터베이스시스템에서의 어플리케이션 성능 평가)

  • Kim, Hee-Wan;Ahn, Yeon S.
    • Journal of Digital Contents Society
    • /
    • v.15 no.5
    • /
    • pp.631-642
    • /
    • 2014
  • The main memory DBMS is operated which the contents of the table that resides on a disk at the same time as the drive is in the memory. However, because the main memory DBMS stores the data and transaction log file using the disk file system, there are a limit to the speed at which the CPU accesses the memory. In this paper, I evaluated the performance through analysis of the application side difference the technology that has been implemented in Altibase system of main memory DBMS and Sybase of disk-based DBMS. When the application performance of main memory DBMS is in comparison with the disk-based DBMS, the performance of main memory DBMS was outperformed 1.24~3.36 times in the single soccer game, and was outperformed 1.29~7.9 times in the soccer game / special soccer. The result of sale transaction response time showed a fast response time of 1.78 ~ 6.09 times.

The Method of Feature Selection for Anomaly Detection in Bitcoin Network Transaction (비트코인 네트워크 트랜잭션 이상 탐지를 위한 특징 선택 방법)

  • Baek, Ui-Jun;Shin, Mu-Gon;Jee, Se-Hyun;Park, Jee-Tae;Kim, Myung-Sup
    • KNOM Review
    • /
    • v.21 no.2
    • /
    • pp.18-25
    • /
    • 2018
  • Since the development of block-chain technology by Satoshi Nakamoto and Bitcoin pioneered a new cryptocurrency market, a number of scale of cryptocurrency have emerged. There are crimes taking place using the anonymity and vulnerabilities of block-chain technology, and many studies are underway to improve vulnerability and prevent crime. However, they are not enough to detect users who commit crimes. Therefore, it is very important to detect abnormal behavior such as money laundering and stealing cryptocurrency from the network. In this paper, the characteristics of the transactions and user graphs in the Bitcoin network are collected and statistical information is extracted from them and presented as plots on the log scale. Finally, we analyze visualized plots according to the Densification Power Law and Power Law Degree, as a result, present features appropriate for detection of anomalies involving abnormal transactions and abnormal users in the Bitcoin network.