• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.541-542
• /
• 2017

본 논문에서는 복잡하고 다양한 클라우드 환경을 통합하여 간편하게 운영할 수 있는 통합관리 솔류션을 개발하고자 한다. 이는 빅데이터 기반의 정형로그데이터와 비정형로그데이터를 수집하고 분석하여 실시간으로 통합 모니터링이 가능하여 사용자와 관리자가 편리하게 문제를 해결할 수 있다는 장점을 가지고 있다. Hypervisor 로그패턴 분석 기술을 통해 기존의 복잡하고 다양한 클라우드 환경을 좀 더 효율적으로 운용 관리할 수 있는 솔루션이라 하겠다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
• /
• pp.10-15
• /
• 2000

개별화 웹 마케팅은 본질적으로 고객지향의 패러다임이다. 즉, 개별 고객의 특수한 니즈를 개별적으로 파악해서 각각의 고객에게 차별화된 서비스를 제공하는 것이 그 핵심이다. 웹 서버의 로그파일에 데이터마이닝의 연관규칙 기술을 이용하게 되면 고객행동 패턴의 파악 및 예측을 위한 기법으로 활용할 수 있다. 본 연구에서는 웹 사용자의 교차 판매를 위한 원투원 마케팅에 필요한 접근패턴을 분석하고자 하며, 이는 웹서버 로그파일 분석을 통하여 이루어진다. 분석하고자 하는 웹서버 로그파일은 기존의 데이터웨어하우스의 원천 데이터들과는 다르게 비정형적인 데이터 구조를 가지고있다. 이들 비정형 데이터 처리와 교차판매 지원을 위한 데이터마이닝 모델링, 이를 통한 원투원 마케팅 모델 제시, 그리고 이의 활용이 고객관계관리(CRM)에 미치는 효과를 제시한다.

• 한국콘텐츠학회논문지
• /
• 제18권4호
• /
• pp.48-59
• /
• 2018

최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.57-58
• /
• 2017

사물인터넷 환경의 다양한 기기에서는 매초마다 시스템 로그 데이터, 온도, 습도, 조도 및 위치 정보 등과 같은 데이터를 지속적으로 생성한다. 이렇게 생성된 데이터는 기기 안에서 대부분 소멸되거나 수집된다 하더라도 시스템 개선의 일부 목적으로 활용하는데 그칠 뿐이다. 본 논문에서는 각각의 사물인터넷 기기에서 발생하는 비정형 데이터를 스트리밍 방식을 통해 수집 서버로 전송하고 이를 유연한 스키마 구조를 가지는 NoSQL 데이터베이스에 적재하는 프레임워크 설계를 제안한다. 이렇게 수많은 장비로부터 수집된 로그 및 센싱 데이터는 빅데이터 분석을 통해 산업의 현장에서 생산성 향상을 위해 사용할 수 있으며 공공의 목적으로 도심지의 교통문제 해소와 재난 및 재해 예측에 활용될 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.118-120
• /
• 2017

모바일 이동통신망의 Core 노드들은 2G CDMA, 3G WCDMA, 4G LTE 교환기를 비롯하여 IMS 및 다양한 부가장비들로 이루어져 있다. 최근 5G로 진화하는 과정에는 NFV(Network Function Virtualization)가 그 중심에 서 있다. NFV 환경에서는 기존 통신 노드와 다르게 범용서버 및 범용 운영체제가 주축이 되어, 일반 IT 툴로도 통신망 내부 노드의 로그분석이 용이해 졌다. 또한 다양하고 복잡한 Core 네트워크에서 빅데이터로 발생하는 로그 또한 머신러닝으로 분석이 가능하며, 운용에 활용할 수 있다. 따라서 본 연구에서는 vDPI, vMMSGW OS 로그를 대상으로 분석하였으며, 잠재되어 있는 문제점들을 확인할 수 있었다. 또한 어플리케이션의 비정형화 된 로그에서도 비정상적인 패턴들을 발견하여 대용량 트래픽이 발생하며 SLA가 유난히 높은 통신환경에서도 비지도 머신러닝 분석이 유용함을 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2012년도 추계학술대회
• /
• pp.804-807
• /
• 2012

클라우드 서비스는 모든 자원을 서비스 제공자가 제공하고 다수의 사용자가 공유하기 때문에 서비스 제공자가 사용자의 정보를 더욱 안전하게 보호해야만 한다. 본 논문에서는 모바일 클라우드 서비스의 보안을 강화하기 위해 NoSQL 기반의 비정상 탐지 시스템을 제안한다. 다양한 보안장비에서 발생시키는 보안 로그와 클라우드 노드에서 발생시키는 데이터는 대량의 데이터가 형식이 모두 다른 비정형 데이터이기 때문에 기존의 통합보안 관리 시스템에서 사용하는 관계형 데이터베이스를 사용하여서는 실시간 처리가 어렵다. 제안하는 시스템은 분산처리 환경에서 실시간 처리 및 확장성을 제공하기 때문에 클라우드 환경에서 새롭게 대두되는 보안 문제를 해결할 수 있다.

• 디지털콘텐츠학회 논문지
• /
• 제19권1호
• /
• pp.181-191
• /
• 2018

IT발전과 함께 해킹 범죄는 지능화, 정교화 되고 있다. 침해대응에 있어 빅데이터 분석이란 정보보호 시스템에서 발생하는 정상로그 등 전체 로그를 수집, 저장, 분석 및 시각화하여 이상행위와 같은 특이점을 도출하는 것이다. 기존에 간과해왔던 데이터를 포함하는 전수 로그를 활용하여 사이버 침해의 초기단계에서부터 침해에 대한 이상 징후를 탐지 및 대응하고자 한다. 정보보호 시스템과 단말 및 서버 등에서 발생하는 비정형에 가까운 빅데이터를 분석하기 위해서 오픈소스 기술을 사용하였다. ELK Stack 오픈소스를 사용한다는 점은 해당 기관의 자체 인력으로 기업 환경에 최적화된 정보보호 관제 체계를 구축하는 것이다. 고가의 상용 데이터 통합 분석 솔루션에 의존할 필요가 없으며, 자체 인력으로 직접 정보보호 관제 체계를 구현함으로써 침해대응의 기술 노하우 축적이 가능하다.

• 디지털융복합연구
• /
• 제11권6호
• /
• pp.103-112
• /
• 2013

전통적인 방식의 예측모형 구축에서 사용되는 데이터는 주로 데이터베이스에 잘 보관되어 있는 정형데이터를 사용하였다. 하지만 지금의 상황은 스마트 시대의 도래로 인한 통신수단의 획기적인 발달로 비정형 데이터가 전체데이터의 80%를 상회하는 현실이다. 이러한 현실에서 기존의 방법대로 정형데이터 만을 이용하여 예측모형을 개발하면 예측모형의 신뢰성에 문제가 있을 것이다. 즉 전체데이터의 80%에 해당하는 비정형(SNS, 페이스북, 트위트, 이미지, 동영상 등)과 반정형(로그데이터)데이터를 반드시 포함하여 모형을 구축해야 만이 신뢰성을 현실화 시킬 수 있을 것이다. 본 논문에서는 예측모형 개발시 빅데이타 방법론을 적용하여 예측 모형의 신뢰성을 높이고, 데이터를 이용하여 제안된 방법과 전통적인 방법의 예측모형의 신뢰도를 비교 분석 하였다.

• 디지털융복합연구
• /
• 제12권8호
• /
• pp.351-359
• /
• 2014

보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.