• Title/Summary/Keyword: 로그 처리

Search Result 652, Processing Time 0.026 seconds

Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams (데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석)

  • Park, Hong-Kyu;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

Development of Log-Based Testing Framework for Unit Testing of Embedded Software (임베디드 소프트웨어의 단위 테스팅을 위한 로그 기반 테스팅 프레임워크 개발)

  • Ryu, Hodong;Jeong, Sooyong;Lee, Woo Jin;Kim, Hwangsoo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.4 no.9
    • /
    • pp.419-424
    • /
    • 2015
  • As Internet of Things (IoT) is recently serviced in several fields, the reliability and safety issues for IoT embedded systems are emerged. During the development of embedded systems, it is not easy to build the virtual execution environment and to test the developing version. Therefore, it is difficult to ensure its reliability due to lack of unit testing. In this paper, we propose a log-based unit testing framework for embedded software, which performs on real target board by extracting information of function execution. And, according to execution paths, duplicated logs are eliminated to keep a minimal log size. As a result, during system testing, testers can efficiently decide whether the executed paths of each function are correctly performed or not.

Design and Implementation of Advanced Web Log Preprocess Algorithm for Rule based Web IDS (룰 기반 웹 IDS 시스템을 위한 효율적인 웹 로그 전처리 기법 설계 및 구현)

  • Lee, Hyung-Woo
    • Journal of Internet Computing and Services
    • /
    • v.9 no.5
    • /
    • pp.23-34
    • /
    • 2008
  • The number of web service user is increasing steadily as web-based service is offered in various form. But, web service has a vulnerability such as SQL Injection, Parameter Injection and DoS attack. Therefore, it is required for us to develop Web IDS system and additionally to offer Rule-base intrusion detection/response mechanism against those attacks. However, existing Web IDS system didn't correspond properly on recent web attack mechanism because they didn't including suitable pre-processing procedure on huge web log data. Therfore, we propose an efficient web log pre-processing mechanism for enhancing rule based detection and improving the performance of web IDS base attack response system. Proposed algorithm provides both a field unit parsing and a duplicated string elimination procedure on web log data. And it is also possible for us to construct improved web IDS system.

  • PDF

OLAP System and Performance Evaluation for Analyzing Web Log Data (웹 로그 분석을 위한 OLAP 시스템 및 성능 평가)

  • 김지현;용환승
    • Journal of Korea Multimedia Society
    • /
    • v.6 no.5
    • /
    • pp.909-920
    • /
    • 2003
  • Nowadays, IT for CRM has been growing and developed rapidly. Typical techniques are statistical analysis tools, on-line multidimensional analytical processing (OLAP) tools, and data mining algorithms (such neural networks, decision trees, and association rules). Among customer data, web log data is very important and to use these data efficiently, applying OLAP technology to analyze multi-dimensionally. To make OLAP cube, we have to precalculate multidimensional summary results in order to get fast response. But as the number of dimensions and sparse cells increases, data explosion occurs seriously and the performance of OLAP decreases. In this paper, we presented why the web log data sparsity occurs and then what kinds of sparsity patterns generate in the two and t.he three dimensions for OLAP. Based on this research, we set up the multidimensional data models and query models for benchmark with each sparsity patterns. Finally, we evaluated the performance of three OLAP systems (MS SQL 2000 Analysis Service, Oracle Express and C-MOLAP).

  • PDF

Design of Log Management System based on Document Database for Big Data Management (빅데이터 관리를 위한 문서형 DB 기반 로그관리 시스템 설계)

  • Ryu, Chang-ju;Han, Myeong-ho;Han, Seung-jo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.11
    • /
    • pp.2629-2636
    • /
    • 2015
  • Recently Big Data management have a rapid increases interest in IT field, much research conducting to solve a problem of real-time processing to Big Data. Lots of resources are required for the ability to store data in real-time over the network but there is the problem of introducing an analyzing system due to aspect of high cost. Need of redesign of the system for low cost and high efficiency had been increasing to solve the problem. In this paper, the document type of database, MongoDB, is used for design a log management system based a document type of database, that is good at big data managing. The suggested log management system is more efficient than other method on log collection and processing, and it is strong on data forgery through the performance evaluation.

도계육의 시료 채취방법에 따른 세균의 검출량 비교

  • Yun, Hye-Suk
    • Bulletin of Food Technology
    • /
    • v.18 no.1
    • /
    • pp.127-135
    • /
    • 2005
  • 상업적으로 시판되는 10주 미만의 식용 영계육을 처리하는 공정에서 25 그룹의 내장적출하지 않은 것 또는 내장적출한 도계육을 도계공정의 네지점에서 채취하였다. 도계 공정 각 지점의 계육으로부터 무작위로 선택된 부위에서 껍질을 잘라낸 것, 목의 껍질을 잘라낸 것, 셀룰로스 아세테이트 스폰지 재질의 스왑봉으로 계육을 스왑법으로 채취한 것, 또는 도계육을 통째로 세척한 세척액이다. 총균수, 대장균군, 대장균을 각 시료로부터 증균하였다. 사방 1 cm 안의 평균 로그값(log A)과 사방 25cm안에서 측정된 전체 측값치들의 로그값(N)은각 그룹 당 25개였다. 동일한 처리공정 단계에서 얻은 계육으로부터 얻은 같은 그룹의 세균의 측정값의 경우에, 무작위로 선택한 부위에서 잘라낸 껍질 또는 목에서 벗겨낸 껍질, 세척액 샘플에서 측정한 균수의 집합인 N의 세 값 또는 log A의 세 값은 <0.5 logunit 차이였다.그러나 스왑법으로 측정한 사방 1 cm안의 평균로그값(log A)과 사방 25 cm 안에서 측정된 전체측정치의 로그값(N)의 대략 절반이 다른 방법들로 측정한 동일한 측정항목의 값과 >0.5 log unit 까지 차이가 났다. 이런 결과로부터 도계육에서 무작위로 선택한 부위나 목에서 껍질을 잘라내는 방법, 또는 세척액 채취 등의 샘플링 방법은 도계육 표면의 단위영역 당 유사한 양의 세균이 검출될 것이라는 것을 나타낸다.

  • PDF

XML-based Modeling for Semantic Retrieval of Syslog Data (Syslog 데이터의 의미론적 검색을 위한 XML 기반의 모델링)

  • Lee Seok-Joon;Shin Dong-Cheon;Park Sei-Kwon
    • The KIPS Transactions:PartD
    • /
    • v.13D no.2 s.105
    • /
    • pp.147-156
    • /
    • 2006
  • Event logging plays increasingly an important role in system and network management, and syslog is a de-facto standard for logging system events. However, due to the semi-structured features of Common Log Format data most studies on log analysis focus on the frequent patterns. The extensible Markup Language can provide a nice representation scheme for structure and search of formatted data found in syslog messages. However, previous XML-formatted schemes and applications for system logging are not suitable for semantic approach such as ranking based search or similarity measurement for log data. In this paper, based on ranked keyword search techniques over XML document, we propose an XML tree structure through a new data modeling approach for syslog data. Finally, we show suitability of proposed structure for semantic retrieval.

Implementation of a Multiprotocol Linkage and Monitoring System Using FTP Adapters (FTP 어댑터를 이용한 다중프로토콜 연동 및 모니터링 시스템 구현)

  • Yang, Joon Mo;Park, Cheol Hyung;Lee, Su Jin;Baek, Se In;Song, Yang-Eui;Lee, Yong Kyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.30-33
    • /
    • 2016
  • 다중 서버 환경에서 파일전송 프로토콜들이 혼용되어 사용되면서 프로토콜 간의 연동이 원활하지 않으며, 파일 송수신 로그 관리의 부재로 생기는 버전 관리의 문제점이 있다. 따라서 본 논문에서는 FTP(File Transfer Protocol) 어댑터를 이용하여 다중프로토콜 연동을 해결하고, 파일 송수신 로그를 관리하는 파일 버전 모니터링 시스템을 구현하고자 한다. 각 서버에서는 어댑터를 통해 중앙서버로부터 각 서버의 가용 프로토콜 정보를 받아 프로토콜 혼용 문제를 해결하고, 파일 송수신 로그를 중앙서버로 송신하여 파일 버전 관리의 문제를 해결한다. 본 시스템을 통해 프로토콜의 연동과 파일 송수신 로그를 관리함으로써 서버의 효율적인 관리를 할 수 있다.

Overview of Intelligent Gadget Technology for Life Log Service (라이프 로그 서비스를 위한 지능형 가젯 기술 동향)

  • Bae, C.S;Won, J.H.;Ryoo, D.W.;Noh, K.J.;Lee, G.H.;Choi, E.J.
    • Electronics and Telecommunications Trends
    • /
    • v.21 no.5 s.101
    • /
    • pp.81-92
    • /
    • 2006
  • 최근 미니홈피, 블로그 등의 개인 홈페이지가 활성화되면서 개인의 생활 경험 정보를 기록으로 남기고자 하는 욕구가 증대되고 있다. 이와 같은 시도는 주로 영상이나 텍스트에 의존한 기록이 주를 이루고 있다. 정보 통신 기술의 급속한 발전은 디지털 라이프로그라는 개념으로 개인의 전반적인 일상 생활을 디지털 미디어로 기록해 두고자 하는 시도를 가능하게 하고 있다. 라이프 로그에서 저장되는 정보는 단순히 개인이 보고 듣는 정보뿐 아니라 개인의 주변상황 및 신체상태 등 그 다양성이 더욱 커질 수 있다. 이러한 다양한 정보를 개인의 실생활에서 수집하기 위해 개인이 일상 생활에서 사용하는 사물에 정보 수집 및 처리 기능을 부가하자는 연구가 활발히 진행되고 있다. 본 고에서는 이와 같이 지능화된 사물을 지능형 가젯(gadget)이라 부른다. 지능형 가젯은 단순한 사용자의 개인 생활 정보를 수집하는 수단 외에도 가젯들 간의 상호 정보 교환으로 사용자의 현재 상황 정보를 인지할 수 있으며 라이프 로그가 저장된 서버와의 정보 교환으로 사용자의 과거 경험 정보로부터 사용자의 의도나 취향을 분석할 수 있다. 이러한 정보를 활용하여 사용자에게 가장 적합하고 특화된 서비스를 제공할 수 있는 환경을 구현할 수 있다. 본 고에서는 이를 위한 기본이 되는 라이프 로그 서비스를 위한 지능형 가젯의 각 구성 모듈인 지능형 가젯 플랫폼, 지능형 가젯 네트워크, 그리고 지능형가젯 미들웨어의 기술 동향과 라이프 로그 서비스의 연구 사례에 대해 살펴본다.

High Precision Logarithm Converters for Binary Floating Point Approximation Operations (고속 부동소수점 근사연산용 로그변환 회로)

  • Moon, Sang-Ook
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2010.05a
    • /
    • pp.809-811
    • /
    • 2010
  • In most floating-point operations related with 3D graphic applications for mobile devices, properly approximated data calculations with reduced complexity and low power are preferable to exactly rounded floating-point operations with unnecessary preciseness with cost. Among all the sophisticated floating-point arithmetic operations, multiplication and division are the most complicated and time-consuming, and they can be transformed into addition and subtraction repectively by adopting the logarithmic conversion. In this process, the most important factor for performance is how high we can make an approximation of the logarithm conversion. In this paper, we cover the trends in studying the logarithm conversion circuit designs. We also discuss the important factor in design issues and the applicable fields in detail.

  • PDF