• The Transactions of the Korea Information Processing Society
• /
• v.7 no.8S
• /
• pp.2735-2747
• /
• 2000

클라이언트/서버 데이터베이스 시스템에서 로깅 기법을 사용하는 기존 회복 기법은 서버에서만 전체 로그를 관리한다. 이는 잠재적으로 각 클라이언트에서 수행되는 트랜잭션에 대한 로그 레코드의 전송 비용을 내포하고 있고, 네트워크 트래픽을 증가시킨다. 본 논문에서는 로그 레코드의 전송 비용을 제거하기 위해서 클라이언트 기반 로깅(client-based logging)을 지원하고, 중복된 before-image를 제거하고 재수행 전용 로그(redo-only log)만을 로깅하는 방법을 제안한다. 그리고 클라이언트 파손 시 클라이언트에서 자치적으로 한번의 후방향 클라이언트 로그 분석을 이용한 재수행 회복을 하고, 서버 파손 시 각 클라이언트에서는 병행적으로 후방향 클라이언트 로그 분석을 이용하여 회복해야 하는 페이지의 after-image만을 서버에 전송하며, 서버에서는 수신된 after-image와 후방향 서버 로그 분석을 이용하여 재수행 회복을 수행한다.

• Proceedings of the KIEE Conference
• /
• 2001.07d
• /
• pp.2798-2800
• /
• 2001

인터넷 사용자가 급증하고, 인터넷을 통한 비즈니스에 수익 모델에 대한 관심이 높아지면서 방문자별로 맞춤 정보를 제공하는 퍼스널라이제이션이 인터넷 개발자 및 사용자들의 관심을 모으고 있다. 원투원 마케팅은 개별 고객의 성별, 나이, 소득 등 인구 통계 정보와 고객의 취미, 레저 등에 관한 정보 및 구매 패턴을 DB화하여 고객에게 가장 적절한 상품, 정보, 광고를 제공하는 것이다. 원투원 마케팅을 기본으로 개인과의 끊임없는 상호교류를 통해 고객에게 맞춤 서비스를 제공할수 있다. 본 논문에서는 맞춤 서비스 제공을 위한 전처리과정으로 클릭스트림 분석을 통한 확장된 웹 로그 정보를 통해서 고객들의 성향을 분석하였다. 그리고 이 웹 로그서버는 웹사이트로부터 얻은 로그정보를 분류하고 저장하여 관리자가 확장된 웹 로그 정보를 쉽게 분석할 수 있다. 이때 데이터베이스 저장 기술로 OLE DB Provider상에서 수행되는 ADO 기술을 사용함으로써 확장된 웹 로그 처리 시스템을 설계하였다. 확장된 웹 로그 DB를 패턴분석, 군집분석 등의 마이닝(Mining) 기법을 통하여 맞춤 서비스에 대한 사용자 프로파일을 구축 할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.194-196
• /
• 2015

시스템에 이상 징후가 발생하거나 해킹을 당했을 때, 전문가들은 가장 먼저 로그 파일을 확인한다. 이처럼 로그파일을 관리하고 분석하는 것은 시스템을 관리 하는 것에 있어서 필수불가결하다. 하지만 보안을 담당하는 장비에서 발생하는 로그들은 저장 공간의 한계 때문에 일부만 저장되었다가 사라지거나 HDD가 없는 보안장비들은 로그를 남길 수 없다. 따라서 이러한 단점을 해결하기 위해 본 논문에서는 보안 로그 수집과 분석에 하둡 에코 시스템을 접목시켜 방대한 로그를 저장하고, 이를 R프로그래밍으로 분석 할 수 있는 시스템 모델을 제안한다. 제안한 시스템 모델을 구현하기 위한 아키텍처에 대해서도 상세한 결과를 서술하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.22 no.2
• /
• pp.382-389
• /
• 2018

Recently cyber attacks can cause serious damage on various information systems. Log data analysis would be able to resolve this problem. Security log analysis system allows to cope with security risk properly by collecting, storing, and analyzing log data information. In this paper, a security log analysis system is designed and implemented in order to analyze security log data using the Logstash in the Elasticsearch, a distributed search engine which enables to collect and process various types of log data. The Kibana, an open source data visualization plugin for Elasticsearch, is used to generate log statistics and search report, and visualize the results. The performance of Elasticsearch-based security log analysis system is compared to the existing log analysis system which uses the Flume log collector, Flume HDFS sink and HBase. The experimental results show that the proposed system tremendously reduces both database query processing time and log data analysis time compared to the existing Hadoop-based log analysis system.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10a
• /
• pp.58-60
• /
• 2001

하루에도 수십 수백 메가 바이트까지 증가하는 웹 로그 데이터를 이용하여 실시간에 다차원분석을 가능하게 하기 위해서는 OLAP의 적용이 필요하다. 하지만 OLAP을 적용하는데 있어서 빠른 응답시간을 얻기 위해 사전처리(Precomputation)를 수행 할 시 심각한 데이터의 희박성으로 인해 데이터 폭발 현상이 발생된다. 본 논문에서는 실제 웹 로그 데이터를 사용하여 OLAP적용 시 희박성을 일으키는 원인들을 밝히고, 2, 3 차원에서의 희박성 형태를 분석함으로써 웹 로그 데이터의 희박성 처리 방식 및 성능평가에 기반이 되게 한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.9
• /
• pp.589-594
• /
• 2013

As the concept of web characteristics represented by openness and mind sharing grows more and more popular, device log data generated by both users and developers have become increasingly complicated. For such reasons, a log data processing mechanism that automatically produces meaningful data set from large amount of log records have become necessary for mobile device UX(User eXperience) analysis. In this paper, we define the attributes of to-be-analyzed log data that reflect the characteristics of a mobile device and collect real log data from mobile device users. Along with the MapReduce programming paradigm in Hadoop platform, we have performed a mobile device User eXperience analysis in a distributed processing environment using the collected real log data. We have then demonstrated the effectiveness of the proposed analysis mechanism by applying the various combinations of Map and Reduce steps to produce a simple data schema from the large amount of complex log records.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.217-219
• /
• 2017

나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10b
• /
• pp.1053-1056
• /
• 2001

시스템들은 시스템에서 발생한 일들에 대한 기록을 로그의 형식으로 남긴다. 이러한 로그들은 여러가지 목적으로 작성되어지며 이용되어진다. 그러나 로그 기록은 침입탐지뿐 아니라 여러 가지 목적을 가지고 이루어진다. 그러한 로그들 역시 침입 탐지에 사용한 수 있는 많은 정보가 있음에도 불구하고 사용되지 않고 버려지고 있음이 현실이다. 본 논문에서는 침입 탐지를 위하여 이러한 로그들을 적극적으로 이용함을 목적으로 한다. 또한 최근의 공격형태의 변화로 인해 하나의 시스템관점이 아닌 네트워크 관점에서의 탐지와 대응이 필요하게 되었다. 이를 위해 공격에 이용된 시스템들을 파악하고 그들의 정보를 이용한 수 있게 함으로써 상호 협력이 가능케 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.1056-1059
• /
• 2007

본 논문은 웹 서버에 저장되어 있는 로그관리 시스템을 이용하여 방문자들의 방문 기록을 관리하는 로그관리 시스템을 구현하였는데 첫째, 사용자 로그인 표시에 사용자 정보와 패스워드를 입력하고 서버에 접속하여 사용자를 확인하는 절차를 적용하였다. 둘째, 개인 정보보호 같은 취약점을 보완하기 위하여 클라이언트의 웹 브라우저에 포함된 로그관리시스템을 사용함으로써 서버와 안전한 사용자 로그인을 위한 채널을 생성하도록 하였다. 셋째, 사이트 접속 에러 분석시 웹사이트 관리할 때 방문자들이 불편함을 느끼지 않고 사이트에서 필요한 정보를 빠르고 쉽게 찾을 수 있도록 제공해 주고 허가된 비인가자의 접근 체크 기능을 부여하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.321-323
• /
• 2016

최근 SNS, 클라우드 서비스, IoT 등 신기술이 발전함에 따라서 개인 정보 보호와 보안에 관심이 대두 되었다. 때문에 기업들은 고객 정보 보호를 위한 보안 솔루션 구축이 필수불가결해졌다. 이러한 기업의 니즈를 충족시키기 위해 ESM이라는 보안 관리 시스템이 등장하고 최근에는 SIEM으로 넘어가고 있는 추세이다. SIEM은 관리자가 로그들을 모니터링 하는 방식으로 많은 양의 로그가 발생하거나 축적된 로그들을 분석하는 것은 한계가 있다. 따라서 본 논문에서는 빅 데이터 시스템을 이용하여 로그들을 축적하고 머하웃을 이용하여 축적된 로그들을 분석하는 자동화 시스템을 제안한다.