• 제목/요약/키워드: 로그 처리

검색결과 644건 처리시간 0.033초

인과적 메시지 로깅 기법에서 부가적 메시지 교환 없는 메시지 로그 쓰레기 처리 기법 (A Garbage Collection of Message Logs without Additional Messages on Causal Message Logging Protocol)

  • 정광식;유헌창;백맹순;손진곤;황종선
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제28권7호
    • /
    • pp.331-340
    • /
    • 2001
  • 이 논문은 인과적 메시지 로깅 기법에서 결함 포용을 목적으로 안전 저장 장치(stable storage)에 저장되는 메시지 내용 로그와 메시지 순서 로그의 쓰레기 처리 기법을 제안한다. 기존의 인과적 메시지 로깅을 기반으로 한 메시지 로그 쓰레기 처리 기법은 메시지 순서 로그의 쓰레기만을 처리하였다. 메시지 내용 로그는 불필요한 복귀를 피하기 위해 유지해야 하며, 메시지내용 로그의 쓰레기 처리를 위해서는 부가적인 메시지를 필요로 하였다. 이 논문은 인과적 메시지 로깅 기법에서 메시지 내용 로그와 메시지 순서 로그가 쓰레기 처리되어지기 위해 필요한 조건을 새롭게 정의하며, 이 정의를 기반으로 한 메시지 내용 로그와 메시지 순서 로그의 쓰레기 처리 알고리즘을 제안한다. 제시된 조건을 기반으로 한 메시지 내용 로그와 메시지 순서 로그의 쓰레기 처리는 송수신 메시지에 부가된 MAG(Modified Antecednce Graph)를 이용하므로 쓰레기 처리를 위한 부가적인 메시지를 발생시키지 않는다. 하지만 제안된 기법은 일반 메시지가 송수신되기 전까지 쓰레기 처리가 지연되는 '지연 쓰레기 처리 현상(lazy garbage collection)'을 발생시킨다. 하지만 '지연 쓰레기 처리 현상'은 분산 시스템의 일관성을 위배하지 않으며, 쓰레기 처리를 위한 부가적인 메시지 교환을 필요로 하지 않는다.

  • PDF

중요도에 따른 분산 로그분석 스케줄링 (A Study on Scheduling of Distributed Log Analysis by the importance of the measure)

  • 백봉현;안병철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.1511-1514
    • /
    • 2009
  • 이기종(異機種) 시스템환경에서 발생하는 수많은 로그 데이터는 중요도에 따라 실시간 로그 분석이 필요하고 대용량의 로그 데이터의 경우 특정 시간내에 로그 분석 처리를 종료해야만 한다. 보안에 관련된 로그 정보의 경우 실시간 분석과 빠른 통계 처리를 요구할 것이며, 대용량의 비실시간성 로그 분석의 경우 로그 분석 및 통계처리를 주어진 특정 시간 내에 하여야 한다. 본 논문에서는 로그 데이터의 중요도에 따른 실시간 로그 분석 처리와 비실시간 대용량 통계 로그의 로그 분석 처리 마감 시간을 충족하는 로그 분석 스케줄링 정책을 제안한다.

인과적 메시지 로깅 기법에서 부가적 메시지 교환없는 메시지 로그 쓰레기 처리 기법 (Garbage Collection of Message Log without Additional Message on Causal Message Logging Protocol)

  • Chung, Kwang-Sik;Hwang, Seung-Hee;Yu, Heon-Chang;Hwang, Jong-Sun
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.73-75
    • /
    • 2000
  • 이 논문은 인과적 메시지 로깅 기법에서 결함 포용을 목적으로 완전 저장 장치(stable storage)에 저장되는 메시지 로그와 메시지 순서 로그의 쓰레기 처리 기법을 제안한다. 메시지 로그와 메시지 순서 로그는 메시기 순서 정보에 부가되는 검사점 정보를 기반으로 쓰레기 처리되어질 수 있으며, 이를 위해 메시지 로그와 메시기 순서 로그의 쓰레기 처리 조건을 제시한다. 제시된 조건을 기반으로 한 메시지 로그와 메시지 순서 로그의 쓰레기 처리는 송수신 메시지에 부가된 정보를 이용하므로 제안된 알고리즘은 '지연 쓰레기 처리 현상(lazy garbage collection)'를 발생시킨다. 하지만 '지연 쓰레기 처리 현상'은 분산 시스템의 일관성을 위배하지 않으며, 쓰레기 처리를 위한 부가적인 메시지 교환을 필요로 하지 않는다.

  • PDF

Hadoop Ecosystem 기반 대용량 보안로그 수집 시스템 설계 및 구축 (Design and implementation of a Large-Scale Security Log Collection System based on Hadoop Ecosystem)

  • 이종윤;이봉환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.461-463
    • /
    • 2014
  • 네트워크 공격이 다양해지고 빈번하게 발생함에 따라 이에 따라 해킹 공격의 유형을 파악하기 위해 다양한 보안 솔루션이 생겨났다. 그 중 하나인 통합보안관리시스템은 다양한 로그 관리와 분석을 통해 보안 정책을 세워 차후에 있을 공격에 대비할 수 있지만 기존 통합보안관리시스템은 대부분 관계형 데이터베이스의 사용으로 급격히 증가하는 데이터를 감당하지 못한다. 많은 정보를 가지는 로그데이터의 유실 방지 및 시스템 저하를 막기 위해 대용량의 로그 데이터를 처리하는 방식이 필요해짐에 따라 분산처리에 특화되어 있는 하둡 에코시스템을 이용하여 늘어나는 데이터에 따라 유연하게 대처할 수 있고 기존 NoSQL 로그 저장방식에서 나아가 로그 저장단계에서 정규화를 사용하여 처리, 저장 능력을 향상시켜 실시간 처리 및 저장, 확장성이 뛰어난 하둡 기반의 로그 수집 시스템을 제안하고자 한다.

디지틀 이동통신의 최근 부품 개발 동향

  • 한경호
    • 전기의세계
    • /
    • 제43권1호
    • /
    • pp.20-22
    • /
    • 1994
  • 이동통신은 그 방식이 아날로그든 디지틀이든 같은 기능의 음성신호를 송신하고 수신하는 것이다. 아나로그형은 크게 RF 수신부, RF 송신부, 신호처리부 제어부 그리고 전원부로 나누어 진다. 통화시 송,수신이 동시에 이루어지므로 송신신호와 수신신호가 서로 간섭하지 않도록 정교환 신호 여과기가 필요하다. Philips사의 경우 몇개의 칩으로 RF/IF 변환, 아나로그 신호처리 그리고 신호제어를 할 수 있도록 설계하였고 몇몇 선두회사들은 하나의 아나로그 처리기로 baseband 아나로그 신호를 처리 할 수 있도록 설계하였다. RF 부분은 아직 별도의 PCB에 제작되는데 이유는 IF 부분의 송.수신부가 공간을 많이 차지하며, RF 부분에는 가격을 내리기 위해 개별 소자들이 많이 쓰이기 때문이다.

  • PDF

MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템 개발 (Real-time log analysis system for detecting network attacks in a MapReduce environment)

  • 장진수;신재환;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.37-40
    • /
    • 2017
  • 네트워크 기술의 발전으로 인터넷의 보급률이 증가함에 따라, 네트워크 사용량 또한 증가하고 있다. 그러나 네트워크 사용량이 증가함에 따라 악의적인 네트워크 접근 또한 증가하고 있다. 이러한 악의적인 접근은 네트워크에서 발생하는 보안 로그를 분석함으로써 탐지가 가능하다. 그러나 대규모의 네트워크 트래픽이 발생함에 따라, 보안 로그의 처리 및 분석에 많은 시간이 소요된다. 본 논문에서는 MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템을 개발한다. 이를 위해, Hadoop의 MapReduce를 통해 보안 로그의 속성을 추출하고 대용량의 보안 로그를 분산 처리한다. 아울러 처리된 보안 로그를 분석함으로써 실시간으로 발생하는 네트워크 공격 패턴을 탐지하고, 이를 시각적으로 표현함으로써 사용자가 네트워크 상태를 보다 쉽게 파악할 수 있도록 한다.

클릭스트림과 서버사이드 이벤트에 의한 확장된 웹 로그 처리시스템 (Extended Web Log Processing System by using Click-Stream and Server Side Events)

  • 강미정;조동섭
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.460-462
    • /
    • 2001
  • 인터넷 사용자가 급증하고, 인터넷을 통한 비즈니스에 수익 모델에 대한 관심이 높아지면서 방문자별로 맞춤 정보를 제공하는 퍼스널라이제이션이 인터넷 개발자 및 사용자들의 관심을 모으고 있다. 이러한 퍼스널라이제이션을 위해서 전처리과정인 사용자 프로파일 생성과정을 확장된 웹 로그 처리 시스템을 통해서 구현해본다. 웹사이트 서버의 확장된 이벤트 처리, 즉 사용자의 행위정보를 로그에 포함시켜 로그정보를 웹 로그 서버에 전송하도록 설계하였다. 그리고 이 웹 로그 정보를 쉽게 분석할 수 있다. 이때 데이터베이스 저장 기술로 OLE DB Provider상에서 수행되는 ADO 기술을 사용함으로써 확장된 웹 로그 처리 시스템을 설계하였다. 확장된 웹 로그 DB를 패턴분석, 군집분석 등의 마이닝(Mining) 기법을 통하여 맞춤 서비스에 대한 사용자 프로파일을 구축할 수 있다.

  • PDF

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안 (Improving Performance based on Processing Analysis of Big data log file)

  • 이재한;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.539-541
    • /
    • 2016
  • 최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

ALTIBASE에서의 윈도 이벤트 로그 기법 구현 (Windows Event Logging in ALTIBASE)

  • 전호원;최재남;이상원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.211-214
    • /
    • 2008
  • (주)알티베이스에서 개발한 메모리상주형 관계형 DBMS인 ALTIBASE는 로그 정보를 자체 로그파일에 기록한다. 하지만 로그 발생 모듈과 중요도로 각각 분류되어 별개의 로그 파일에 기록되기 때문에 사용자가 참조하는데 불편함이 따른다. 본 논문에서는 윈도 운영체제의 이벤트 로그 기능을 데이터베이스 시스템의 로그 기록 방법으로 구현하여 사용자 편의성을 제공하는 방법을 제시한다.

MapReduce 환경에서 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템 (Real-time Network Attack Pattern Analysis System using Snort Log on MapReduce Environment)

  • 강문환;장진수;신영성;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.75-77
    • /
    • 2017
  • 최근 급격히 증가하고 있는 네트워크 로그 상에서 보안위협에 신속히 대응하기 위해 기업들은 방화벽, IDS 등의 네트워크 보안 로그를 분석하여 보안 위협을 파악한다. Snort는 이러한 보안 위협에 대응하기 위해 네트워크 로그를 수집하는 도구 중 하나이다. 그러나 보안 관제 담당자는 방대한 양의 보안 관련 로그를 분석하기 위해 많은 시간이 필요하기 때문에, 관제 결과를 보고하고 대응하기까지 시간이 지체되는 문제가 존재한다. 이러한 문제를 해결하기 위해, 본 논문에서는 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템을 제안한다. 제안하는 시스템은 대용량 데이터 처리에 효과적인 MapReduce 분산 처리를 활용하여 방대한 네트워크 로그를 추출 및 분석하기 때문에 보안 위협 상황 발생 여부를 실시간으로 빠르게 인지할 수 있다.