• 제목/요약/키워드: 로그 수집

검색결과 340건 처리시간 0.048초

사이트간 웹 사용 마이닝을 위한 데이터 전처리의 성능 향상 (Performance Improvement of Data Preprocessing for Intersite Web Usage Mining)

  • 현우석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.357-361
    • /
    • 2006
  • 매일 새롭게 생기는 웹 페이지 수가 수천만 개, 온라인 문서들의 수가 수십억 개에 이르게 되자, 웹 사이트를 설계함에 있어서 웹 서버 로그 파일에 기록된 사용자의 행동을 분석하는 것이 중요한 부분이 되어가고 있다. 분석가들은 전체 웹 사이트에서 사용자 행동의 완전한 개요를 알기 원하기 때문에 고객이 방문했던 모든 다른 웹 서버를 통하여 사용자의 패스(path)를 다시 수집해야만 한다. 본 연구에서는 모든 로그 파일을 연결해서 방문했던 곳을 재구성하는 향상된 데이터 전처리 방법에 의하여 실험을 하여 로그 파일 크기를 감소시키게 되어 데이터 전처리의 성능이 향상되었음을 보였다.

  • PDF

기자직의 웹 정보탐색행위 패턴 분석 (Analyzing Patterns in News Reporters' Information Seeking Behavior on the Web)

  • 권혜진;정동열
    • 정보관리학회지
    • /
    • 제27권4호
    • /
    • pp.109-130
    • /
    • 2010
  • 본 연구의 목적은 기자직의 웹 행동 분석을 통해 웹 정보탐색행위 패턴의 특성을 규명하는 것이다. 이를 위해 본 연구는 기자직 23명을 대상으로 트랜잭션로그를 수집하여 분석하였다. 데이터 수집을 위하여 분석 대상의 컴퓨터에 웹 트래킹 소프트웨어를 설치하였으며, 2주 동안 총 39,860개의 웹 로그가 수집되었다. 세션의 시작과 종료 패턴, 단계별 이행 패턴, 순차규칙 모형이 분석되었으며, 기자직과 일반인의 웹 이용 패턴을 비교하였다. 이를 토대로 기자직의 웹 정보탐색행위 패턴을 사실확인형 탐색, 사실확인형 검색, 조사형 탐색, 조사형 검색 등 4가지 형태로 유형화하였다.

클라우드 포렌식을 위한 오픈스택 플랫폼에서 로그데이터 수집 (Log Acquisition of the OpenStack Platform for Cloud Forensic)

  • 한수빈;이병도;심종보;신상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.460-463
    • /
    • 2014
  • 클라우드 컴퓨팅의 많은 장점에도 불구하고 클라우드 컴퓨팅은 보안이슈는 줄어들지 않으며, 특히 디지털 포렌식은 실질적인 기능을 수행하기에 미비한 실정이다. 최근, 다양한 사이버 범죄가 증가하면서 클라우드 컴퓨팅 환경은 사이버 범죄에 노출되어 있으며 악의적인 공격의 위험을 가지고 있다. 클라우드 포렌식은 자원이 가상공간에 존재할 수 있고, 증거 데이터가 물리적으로 분산되어 있기 때문에 기존의 포렌식 수사와는 다르게 접근해야 한다. 또한, 클라우드 기반 포렌식에서 획득 가능한 증거 데이터에 대한 정의가 되어 있지 않아서 증거 데이터를 수집하는데 어려움을 겪는다. 이에 본 논문에서는 오픈스택 플랫폼을 이용한 클라우드 환경을 구축하고, 클라우드 플랫폼 기반 포렌식을 위해 획득 가능한 로그 데이터에 대해 정리하고, 실제 획득 가능한 로그를 수집 및 분석하고, 클라우드 컴퓨팅 플랫폼기반 포렌식의 한계점과 해결방안을 알아본다.

다중로그 플랫폼을 위한 딥러닝 기반 경로 분류 기술 개발 (Development of deep learning base trajectory classification technology for multilog platform)

  • 신원재;권은정;박현호;정의석;변성원;장동만;이용태
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.71-72
    • /
    • 2019
  • 최근 공공안전 분야에서는 국민의 위험상황을 분석하여 선제적으로 예측을 하여 국민의 안전을 보장하기 위한 요구사항이 대두대고 있다. 또한 스마트폰 및 스마트워치와 같은 고성능 모바일 단말 기기들의 대중화로 인해 해당 기기들에 부착된 다양한 센서 데이터들을 융복합하여 분석할 경우, 수집한 센서 데이터의 잠재적 가치를 안전보장 측면에서 사용할 수 있는 장점이 있다. 본 논문에서는 대인, 대물, 장소에 해당하는 로그 데이터들을 융복합 분석하여 보호대상자의 안전을 지원하는 다중로그 플랫폼 기반 이동경로 분석 기법을 제안한다. 다중로그 플랫폼에서 수집하는 보호대상자의 이동 경로 궤적을 활용하여 과거에 축적된 이동경로 패턴과 비교를 통해 현재 경로가 평소에 이용하던 경로와의 유사도를 추천하게 된다. 해당 이동 경로 분석 시스템은 위치기반 멀티모달 센서 데이터를 융복합 하여 보호대상자의 안전을 보장하는데 기여 할 것으로 예상된다.

  • PDF

Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계 (Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark)

  • 유지훈;윤호상;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

지역특화산업의 정보센터 구축전략에 관한 비교연구 (A Comparative Study on Building Strategies for Industry Information Center of the for Locally-focused Industries)

  • 고일상;전건수;조나미
    • 한국정보기술응용학회:학술대회논문집
    • /
    • 한국정보기술응용학회 2002년도 추계공동학술대회 정보환경 변화에 따른 신정보기술 패러다임
    • /
    • pp.108-117
    • /
    • 2002
  • 본 연구에서는 지역진흥기반구축사업을 추진중인 광주광산업, 경남기계산업, 대구섬유산업, 부산 신발산업을 대상으로 정보지원센터, 전자카달로그 구축사업 사례를 비교하고 그 차이점을 분석하여 본다. 이론적 고찰과 문헌연구를 통해 사례연구모델을 제시하고 지역특화산업과 정보지원센터, 전자카달로그 대한 자료를 수집하여, 본 논문에서 제시된 사례연구 모델에 입력하고 지역특화산업과 정보지원센터, 전자 카달로그 구축사업과의 연계성을 알아본다. 본 논문은 국가에서 정책적으로 추진 중인 지역진흥기반구축사업을 배경으로 하고 있는 광주광산업, 경남기계산업, 대구섬유산업, 부산신발산업을 대상으로 정보지원센터와 전자카달로그 사업을 비교하여 차이점을 분석한 것으로 현재 사업을 주관하고 있는 사업추진기관에게 좋은 자료가 될 것이며, 특화산업 정보지원센터나 전자카달로그를 이용하여 전자거래를 하고자 하는 기업이나 사용자에게도 좋은 자료가 될 것이다.

  • PDF

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안 (Improving Performance based on Processing Analysis of Big data log file)

  • 이재한;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.539-541
    • /
    • 2016
  • 최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

지역특화산업의 정보센터 구축전략에 관한 비교연구 (A Comparative Study on Building Strategies for Industry Information Center of the for Locally -focused Industries)

  • 고일상;전건수;조나미
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2002년도 추계공동학술대회
    • /
    • pp.108-117
    • /
    • 2002
  • 본 연구에서는 지역진흥기반구축사업을 추진중인 광주광산업, 경남기계산업, 대구섬유산업, 부산 신발산업을 대상으로 정보지원센터, 전자카달로그 구축사업 사례를 비교하고 그 차이점을 분석하여 본다. 이론적 고찰과 문헌연구를 통해 사례연구모델을 제시하고 지역특화산업과 정보지원센터, 전자카달로그 대한 자료를 수집하여, 본 논문에서 제시된 사례연구 모델에 입력하고 지역특화산업과 정보지원센터, 전자카달로그 구축사업과의 연계성을 알아본다. 본 논문은 국가에서 정책적으로 추진 중인 지역진홍기반구축사업을 배경으로 하고 있는 광주광산업, 경남기계산업, 대구섬유산업, 부산신발산업을 대상으로 정보지원센터와 전자카달로그 사업을 비교하여 차이점을 분석한 것으로 현재 사업을 주관하고 있는 사업추진기관에게 좋은 자료가 될 것이며, 특화산업 정보지원센터나 전자카달로그를 이용하여 전자거래를 하고자 하는 기업이나 사용자에게도 좋은 자료가 될 것이다.

  • PDF

이기종 네트워크 장치를 사용하는 시스템의 효율적인 관리를 위한 로그 수집 방법 (Log Collection Method for Efficient Management of Systems using Heterogeneous Network Devices)

  • 양재호;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권3호
    • /
    • pp.119-125
    • /
    • 2023
  • IT 인프라 운영이 고도화하면서 시스템을 관리하는 방식이 널리 보급되어 있으며, 최근에는 Syslog를 활용한 개선방법들이 연구되고 있다. 그러나 이러한 방법으로 수집한 로그 데이터를 활용하여 시스템 관제를 할 경우 다양한 형식으로 추출되는 로그를 전문 인력이 분석해야 하는 어려움이 있다. 본 논문은 엣지 컴퓨팅을 활용하여 Syslog 데이터를 분산 수집하고 중복 데이터를 전처리하여 중앙 데이터베이스에 적재하는 시스템을 구축 방법을 제시하고자 한다. 또한, 데이터사전을 구성하여 실시간으로 데이터를 분류하고 카운팅하는 기능을 제공하며, 데이터사전에 등록된 데이터에 대해서는 중앙 데이터베이스로의 전송을 제한하는 시스템을 구현한다. 이를 통해 데이터 사전의 정의어 패턴을 유지하며, 중복 데이터와 시간 중복을 제어하여 중앙 데이터베이스에 정제된 데이터를 적재함으로써 빅데이터 분석을 위한 기초 자료를 확보할 수 있다. 시뮬레이션결과 제안된 알고리즘과 프로시저를 구체적인 예시와 함께 설명하고, syslog 데이터를 활용하여 그 성능을 검증하였다. syslog 데이터는 실제 로그 데이터에서 추출한 예시를 포함하고 있으며 이를 통해 로그 데이터로부터 필요한 정보를 정확하게 추출하였고, 분류 및 적재 과정에서 정상적인 처리가 이루어지는지를 확인하였다. 이러한 시스템은 엣지 환경에서 로그 데이터를 효율적으로 수집하고 관리하기 위한 솔루션으로 활용하여 기술의 확산 측면에서도 효과를 기대할 수 있다.

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.