• Title/Summary/Keyword: 로그 데이터

Search Result 893, Processing Time 0.036 seconds

Experimental Evaluation of Recursive Query Processing in Datalog Systems (데이터로그 시스템들의 재귀 질의 처리 성능 평가)

  • Lee, Yukyoung;Kim, Hyeonji;Hong, Ki-Jae;Kang, Hyuk Kyu;Han, Wook-Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.729-732
    • /
    • 2019
  • 데이터로그는 논리형 선언형 프로그래밍 언어로, 특히 재귀적인(recursion) 알고리즘을 표현하기 편리한 언어이다. 대표적인 데이터로그 시스템으로는 CORAL, LogicBlox, XSB, Soufflé가 있다. 본논문에서는 이 네 가지 시스템의 특징을 설명하고, 세 가지 벤치마크, 이행적 폐쇄(Transitive closure), 동세대(same generation), 포인터 분석(pointer analysis)으로 데이터로그 시스템들의 재귀 질의(recursive query) 처리 성능을 비교하였다.

A selective recovery scheme considering the size of spatial object in spatial database system (공간 데이터베이스 시스템의 공간 데이터 크기에 의한 선별적 회복 기법)

  • Kim, Myung-Keun;Kim, Sung-Hee;Cho, Sook-Kyoung;Kim, Jae-Hong;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04a
    • /
    • pp.89-92
    • /
    • 2001
  • 본 논문에서는 공간 데이터베이스 시스템의 공간 데이터 크기에 의한 선별적 회복 기법을 제안하고자 한다. 기존의 대용량 데이터베이스를 위한 회복 관리 기법에는 쉐도우 기법과 변형된 로그 기법이 쓰여지고 있다. 쉐도우 기법은 물리적 응집과 잠금 경쟁 문제가 있으며, 변형된 로그 기법은 공간 데이터의 가변 크기 특성에 대한 고려가 없기 때문에 디스크 입출력이 빈번히 발생하는 문제가 있다. 본 논문에서 제안하는 회복 기법은 공간데이터 크기에 따라 각각 다른 회복 기법을 적용하여, 로그 파일에 기록되는 로그의 양을 줄이며, 또한 트랜잭션 철회시 회복 연산으로 인한 시스템의 부하를 줄이는 장점을 갖는다.

  • PDF

A Study on Web-log Analysis for CRM based on Internet Business (인터넷 비즈니스 기반의 고객관계관리(CRM)을 위한 웹 로그 분석에 관한 연구)

  • Kim, Jae-Hyung;Noh, Hyo-Won;Kim, Nam-Ho;Chong, Jong-Wha
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.04a
    • /
    • pp.10-15
    • /
    • 2000
  • 개별화 웹 마케팅은 본질적으로 고객지향의 패러다임이다. 즉, 개별 고객의 특수한 니즈를 개별적으로 파악해서 각각의 고객에게 차별화된 서비스를 제공하는 것이 그 핵심이다. 웹 서버의 로그파일에 데이터마이닝의 연관규칙 기술을 이용하게 되면 고객행동 패턴의 파악 및 예측을 위한 기법으로 활용할 수 있다. 본 연구에서는 웹 사용자의 교차 판매를 위한 원투원 마케팅에 필요한 접근패턴을 분석하고자 하며, 이는 웹서버 로그파일 분석을 통하여 이루어진다. 분석하고자 하는 웹서버 로그파일은 기존의 데이터웨어하우스의 원천 데이터들과는 다르게 비정형적인 데이터 구조를 가지고있다. 이들 비정형 데이터 처리와 교차판매 지원을 위한 데이터마이닝 모델링, 이를 통한 원투원 마케팅 모델 제시, 그리고 이의 활용이 고객관계관리(CRM)에 미치는 효과를 제시한다.

  • PDF

User Access Patterns Discovery based on Apriori Algorithm under Web Logs (웹 로그에서의 Apriori 알고리즘 기반 사용자 액세스 패턴 발견)

  • Ran, Cong-Lin;Joung, Suck-Tae
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.12 no.6
    • /
    • pp.681-689
    • /
    • 2019
  • Web usage pattern discovery is an advanced means by using web log data, and it's also a specific application of data mining technology in Web log data mining. In education Data Mining (DM) is the application of Data Mining techniques to educational data (such as Web logs of University, e-learning, adaptive hypermedia and intelligent tutoring systems, etc.), and so, its objective is to analyze these types of data in order to resolve educational research issues. In this paper, the Web log data of a university are used as the research object of data mining. With using the database OLAP technology the Web log data are preprocessed into the data format that can be used for data mining, and the processing results are stored into the MSSQL. At the same time the basic data statistics and analysis are completed based on the processed Web log records. In addition, we introduced the Apriori Algorithm of Web usage pattern mining and its implementation process, developed the Apriori Algorithm program in Python development environment, then gave the performance of the Apriori Algorithm and realized the mining of Web user access pattern. The results have important theoretical significance for the application of the patterns in the development of teaching systems. The next research is to explore the improvement of the Apriori Algorithm in the distributed computing environment.

Personalized Private Information Security Method on Smartphone. (스마트폰 환경에서 개인정보 보안 기법)

  • Jeong, MinKyoung;Choi, Okkyung;Yeh, HongJin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.751-754
    • /
    • 2011
  • 최근 개인이 작성한 글과 사진, 동영상 등의 자료를 시간과 장소에 따라 저장 할 수 있는 라이프 로그 서비스들이 증가하고 있다. 이러한 정보들은 개인의 일상생활을 기록하는 것으로 민감한 프라이버시임에도 불구하고 관리에 취약하다. 스마트폰 환경에서 데이터를 저장하기 위해 SQLite를 이용하고, 이를 암호화하기 위한 방안으로 SEE와 SQLCipher가 있지만 전체 데이터를 암호화하는 방식으로 중요하지 않은 데이터까지 암호화하여 저장한다. 본 논문은 개인 정보 보호를 위한 방안으로 SQLite에서 SEED 암호를 이용하여 주요한 개인 정보를 컬럼 단위로 암호화한다. 즉 라이프로그 데이터를 개인 프라이버시 중요도에 따라 분류하고, 분류된 데이터 중에서 중요한 데이터만 선택적으로 암복호화 함으로써 기존 데이터 암호화 방식에 비해 암복호화에 소모되는 연산 시간을 감소시키고 라이프로그 데이터의 개인 정보 보안을 강화시키고자 한다.

Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort (Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템)

  • Baek, Na-Eun;Shin, Jae-Hwan;Chang, Jin-Su;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.4
    • /
    • pp.48-59
    • /
    • 2018
  • Recently, network technology has been used in various fields due to development of network technology. However, there has been an increase in the number of attacks targeting public institutions and companies by exploiting the evolving network technology. Meanwhile, the existing network intrusion detection system takes much time to process logs as the amount of network log increases. Therefore, in this paper, we propose a Spark-based network log analysis system that detects unstructured network attack pattern. by using Snort. The proposed system extracts and analyzes the elements required for network attack pattern detection from large amount of network log data. For the analysis, we propose a rule to detect network attack patterns for Port Scanning, Host Scanning, DDoS, and worm activity, and can detect real attack pattern well by applying it to real log data. Finally, we show from our performance evaluation that the proposed Spark-based log analysis system is more than two times better on log data processing performance than the Hadoop-based system.

Development of User-customized Device Intelligent Character using IoT-based Lifelog data in Hyper-Connected Society (초연결사회에서 IoT 기반의 라이프로그 데이터를 활용한 사용자 맞춤형 디바이스 지능형 캐릭터 개발)

  • Seong, Ki Hun;Kim, Jung Woo;Sul, Sang Hun;Kang, Sung Pil;Choi, Jae Boong
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.18 no.6
    • /
    • pp.21-31
    • /
    • 2018
  • In Hyper-Connected Society, IoT-based Lifelog data is used throughout the Internet and is an important component of customized services that reflect user requirements. Also, Users are using social network services to easily express their interests and feelings, and various life log data are being accumulated. In this paper, Intelligent characters using IoT based lifelog data have been developed and qualitative/quantitative data are collected and analyzed in order to systematically grasp emotions of users. For this, qualitative data through the social network service used by the user and quantitative data through the wearable device are collected. The collected data is verified for reliability by comparison with the persona through esnography. In the future, more intelligent characters will be developed to collect more user life log data to ensure data reliability and reduce errors in the analysis process to provide personalized services.

Security Log collection and analysis System Design Using Big Data System (빅 데이터 시스템을 이용한 보안 로그 수집 및 분석 시스템 설계)

  • Kim, Du-Hoe;Shin, Dong-Kyoo;Shin, Dong-Il
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.321-323
    • /
    • 2016
  • 최근 SNS, 클라우드 서비스, IoT 등 신기술이 발전함에 따라서 개인 정보 보호와 보안에 관심이 대두 되었다. 때문에 기업들은 고객 정보 보호를 위한 보안 솔루션 구축이 필수불가결해졌다. 이러한 기업의 니즈를 충족시키기 위해 ESM이라는 보안 관리 시스템이 등장하고 최근에는 SIEM으로 넘어가고 있는 추세이다. SIEM은 관리자가 로그들을 모니터링 하는 방식으로 많은 양의 로그가 발생하거나 축적된 로그들을 분석하는 것은 한계가 있다. 따라서 본 논문에서는 빅 데이터 시스템을 이용하여 로그들을 축적하고 머하웃을 이용하여 축적된 로그들을 분석하는 자동화 시스템을 제안한다.

A Method for Improving Stability of Log Storage in Digital Content Trade Monitoring System (디지털 콘텐츠 거래 모니터링 시스템에서 로그 저장 장치의 안정성 증진 방안)

  • Min, Jihong;Song, Kwangho;Kim, Yoo-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1215-1218
    • /
    • 2015
  • 본 논문에서는 디지털 콘텐츠 거래 모니터링 시스템의 로그 저장 장치의 안정성을 개선하는 방법을 제안한다. 디지털 콘텐츠 거래 모니터링 시스템은 디지털 콘텐츠의 거래 내용을 정확하게 파악하기 위해서 콘텐츠 거래 로그를 영속적으로 관리할 수 있어야 한다. 그러나 최근에 본 연구팀에 의해서 개발된 프로토타입 시스템에서는 대량의 트랜잭션이 실행될 경우에 저장 로그 데이터의 안정성이 훼손되는 경우가 발생할 수 있음이 보고되었다. 따라서 본 연구에서는 디지털 콘텐츠 거래 모니터링 시스템에 동시에 다수의 트랜잭션이 발생하여 검색엔진에 문제가 생기더라도 저장하고 있는 데이터의 안정성을 보장하면서 다수의 이용자들로부터 수집한 로그를 처리할 수 있도록 로그 저장시스템의 안정성 증진 방안을 제안한다.

Diminishing FTL Log Area Searching Cost Using the Counting Bloom Filter (카운팅 블룸 필터를 활용한 FTL 로그영역 탐색 비용 감소)

  • Kang, Woon-Hak;Lee, Sang-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.71-72
    • /
    • 2009
  • 플래시 메모리은 많은 부분에서 기존의 저장장치인 HDD에 비해 좋은 성능을 지녔다. 하지만 HDD와는 달리 데이터의 덮어쓰기가 허용 되지 않는다. 이 문제를 해결하기 위해 플래시 메모리는 FTL(Flash Translation Layer)을 사용하고 있으며, FTL을 통해 기존의 저장장치와 동일하게 사용할 수 있다. FTL들 중 로그영역을 사용하여 성능을 개선한 것들이 많은데, 로그영역의 사용으로 인해 읽기/쓰기 작업시 반드시 로그영역을 탐색을 해야만 했다. 본 논문에서는 카운팅 블룸필터(Counting bloom filter)를 활용하여 불필요한 로그영역 탐색을 줄이는 기법을 제안하였고, 실험을 통해 로그영역에 최신 데이터가 없는 경우 탐색횟수를 크게 줄일 수 있는 것을 확인하였다.