• 제목/요약/키워드: 로그 처리

검색결과 651건 처리시간 0.036초

관계 데이터 모델 기반 라이프로그 관리 시스템과 그 응용 (A Lifelog Management System Based on the Relational Data Model and its Applications)

  • 송인철;이유원;김현규;김항규;함덕민;김명호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권9호
    • /
    • pp.637-648
    • /
    • 2009
  • 하드 디스크 저장 매체의 가격이 하락함에 따라 가까운 시일 안에 개인 컴퓨터에 1TB가 넘는 하드 디스크가 기본으로 장착될 것으로 예상된다. 한 사람이 한 달에 1GB의 데이터를 저장한다고 가정하면 대략 1TB면 그 사람의 일생 동안에 걸친 데이터를 저장할 수 있다. 이에 따라 개인이 일상 생활에서 보고들은 것을 기록한 라이프로그(lifelog)를 효과적으로 관리하는 라이프로그 관리에 대한 연구가 활발히 이루어지고 있다. 지금까지 관계 데이터 모델 기반, 온톨로지 기반, 파일 시스템 기반 라이프로그 관리 시스템(LMS: Lifelog Management System) 등 다양한 LMS들이 제안되었지만, 관계 데이터 모델 기반 LMS는 질의 처리 성능이 뛰어난 반면 복잡한 질의를 잘 처리하지 못하고 온톨로지 기반 LMS는 복잡한 질의를 처리할 수 있는 반면 질의 처리 성능이 떨어지며 파일 기반 LMS는 질의만 지원하는 등 저마다 장단점을 가진다. 또한 이들 시스템들은 라이프로그 그룹을 효과적으로 관리하기 위한 기능을 제공하지 못하고 있고 효과적인 검색을 위해 라이프로그의 태그(데타데이터)를 수정하거나 새로운 태그를 추가하기 위한 편리한 인터페이스를 제공하지 못하고 있다. 본 논문에서는 이러한 문제점들을 해결하기 위해 관계 데이터 모델 기반 라이프로그 관리 시스템을 제안한다. 제안하는 시스템은 라이프로그를 관계 데이터 모델로 모델링하고 사용자 질의를 SQL로 변환해 처리함으로써 질의 처리 성능이 뛰어나다. 또한 복잡한 질의를 잘 처리하지 못하는 관계 데이터 모델 기반 LMS의 단점을 보완하기 위해 찾으려는 라이프로그와 직접적으로 관련 있는 라이프로그에 대한 정보에 기반해 라이프로그를 검색하는 단순화된 관계 질의를 지원한다. 이와 더불어, 제안하는 시스템은 라이프로그 그룹 생성, 편집, 검색, 플레이 및 공유 기능을 제공함으로써 라이프로그 그룹에 대한 효과적인 관리를 지원한다. 마지막으로 제안하는 LMS에서 제공하는 라이프로그 태깅 도구는 태그 추상화를 통해 여러 종류의 태그를 손쉽게 수정하거나 추가할 수 있는 기능을 제공한다. 본 논문에서는 제안하는 시스템의 설계 및 구현을 설명하고 이 시스템을 활용한 다양한 응용을 소개한다.

비휘발성 캐시를 사용하는 플래시 메모리 SSD의 데이터베이스 로깅 성능 분석 (Performance Analysis of Flash Memory SSD with Non-volatile Cache for Log Storage)

  • 홍대용;오기환;강운학;이상원
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.107-113
    • /
    • 2015
  • 데이터베이스 시스템에서, 트랜잭션이 수행한 변경 사항은 커밋 전 2차 저장장치에 보존되어야 한다. 일반적 2차 저장장치는 비휘발성 미디어의 처리 지연을 보완하기 위해 휘발성 DRAM 캐시를 가지고 있다. 그러나 휘발성 DRAM에만 쓰여지는 로그들은 영구성을 보장할 수 없으므로, DRAM 캐시에서 저장매체로 로그를 쓰는 지연 시간을 감출 수 없다. 최근 이러한 단점 극복을 목적으로 DRAM 캐시에 커패시터를 장착한 플래시 SSD가 등장하였다. 이러한 비휘발성 캐시를 가지는 저장 장치는 DRAM 캐시에 로그를 쓰고 즉시 커밋 가능하므로, 커밋 대기를 줄이고 트랜잭션 처리량을 증가시킬 것이다. 본 논문은 커패시터 백업 캐시를 사용한 SSD를 로그 저장소로 사용한 경우 데이터베이스의 트랜잭션 처리 성능에 대해 실험 및 분석 한다. 로그를 낸드 플래시에 저장하지 않고 DRAM 캐시에 저장한 직후 커밋 함으로써, 3배 이상의 처리량 향상이 가능하다. 또한 적절한 튜닝을 거친 후 이상적 로그 성능의 73% 이상을 보인다.

이동 평균과 3-시그마를 이용한 하둡 로그 데이터의 이상 탐지 (Anomaly Detection of Hadoop Log Data Using Moving Average and 3-Sigma)

  • 손시운;길명선;문양세;원희선
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권6호
    • /
    • pp.283-288
    • /
    • 2016
  • 최근 빅데이터 처리를 위한 연구들이 활발히 진행 중이며, 관련된 다양한 제품들이 개발되고 있다. 이에 따라, 기존 환경에서는 처리가 어려웠던 대용량 로그 데이터의 저장 및 분석이 가능해졌다. 본 논문은 다수의 서버에서 빠르게 생성되는 대량의 로그 데이터를 Apache Hive에서 분석할 수 있는 데이터 저장 구조를 제안한다. 그리고 저장된 로그 데이터로부터 특정 서버의 이상 유무를 판단하기 위해, 이동 평균 및 3-시그마 기반의 이상 탐지 기술을 설계 및 구현한다. 또한, 실험을 통해 로그 데이터의 급격한 증가폭을 나타내는 구간을 이상으로 판단하여, 제안한 이상 탐지 기술의 유효성을 보인다. 이 같은 결과를 볼 때, 본 연구는 하둡 기반으로 로그 데이터를 분석하여 이상치를 바르게 탐지할 수 있는 우수한 결과라 사료된다.

비공유 공간 데이터베이스 클러스터에서 고가용성을 위한 병렬 회복 기법 (The Parallel Recovery Method for High Availability in Shared-Nothing Spatial Database Cluster)

  • 유병섭;장용일;이순조;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1529-1532
    • /
    • 2003
  • 최근 인터넷과 모바일 시스템이 급속히 발달함에 따라 이를 통하여 지리정보와 같은 공간데이터를 제공하는 서비스가 증가하였다. 이는 대용량 데이터에 대한 관리 및 빠른 처리와 급증하는 사용자에 대한 높은 동시처리량 및 높은 안정성을 요구하였고, 이를 해결하기 위하여 비공유 공간 데이터베이스 클러스터가 개발되었다. 비공유 공간 데이터베이스 클러스터는 고가용성을 위한 구조로서 문제가 발생할 경우 다른 백업노드가 대신하여 서비스를 지속시킨다. 그러나 기존의 비공유 공간 데이터베이스 클러스터는 클러스터 구성에 대한 회복을 위하여 로그를 계속 유지하므로 로그를 남기기 위해 보통의 질의처리 성능이 저하되었으며 로그 유지를 위한 비용이 증가하였다. 또한 노드단위의 로그를 갖기 때문에 클러스터 구성에 대한 회복이 직렬적으로 이루어져 고가용성을 위한 빠른 회복이 불가능 하였다. 따라서 본 논문에서는 비공유 공간 데이터베이스 클러스터에서 고가용성을 위한 병렬 회복 기법을 제안한다. 이를 위해 클러스터 구성에 대한 회복을 위한 클러스터 로그를 정의한다. 정의된 클러스터 로그는 마스터 테이블이 존재하는 노드에서 그룹내 다른 노드가 정지된 것을 감지할 때 남기기 시작한다. 정지된 노드는 자체회복을 마친 후 클러스터 구성에 대한 회복을 하는 단계에서 존재하는 복제본 테이블 각각에 대한 클러스터 로그를 병렬적으로 받아 회복을 한다. 따라서 정지된 노드가 발생할 경우에만 클러스터 로그를 남기므로 보통의 질의처리의 성능 저하가 없고 클러스터 로그 유지 비용이 적으며, 클러스터 구성에 대한 회복시 테이블단위의 병렬적인 회복으로 대용량 데이터인 공간데이터에 대해 빠르게 회복할 수 있어 가용성을 향상시킨다.들을 문법으로 작성하였으며, PGS를 통해 생성된 어휘 정보를 가지고 스캐너를 구성하였으며, 파싱테이블을 가지고 파서를 설계하였다. 파서의 출력으로 AST가 생성되면 번역기는 AST를 탐색하면서 의미적으로 동등한 MSIL 코드를 생성하도록 시스템을 컴파일러 기법을 이용하여 모듈별로 구성하였다.적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이용될 수 있을 것이다.었으나 움직임 보정 후 영상을 이용하여 비교한 경우, 결합능 변화가 선조체 영역에서 국한되어 나타나며 그 유의성이 움직임 보정 전에 비하여 낮음을 알 수 있었다. 결론: 뇌활성화 과제 수행시에 동반되는

  • PDF

웹 공격 탐지를 위한 고속화된 웹 로그 전처리 시스템 (High Speed Web Log Preprocess System for Web Attack Detection)

  • 서종원;조제경;이형우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.969-972
    • /
    • 2007
  • 국내 웹 사이트의 증가 및 초고속 인터넷의 보급으로 웹 사용자는 꾸준히 증가 추세에 있다. 그러나 사용자에 대한 정보 보호 실태는 심각한 수준이다. 그 피해 사항으로는 사용자 개인 신상정보의 유출, 피싱 사이트로 인한 개인정보 유출 등 그 유형 및 목적이 다양하다. 이런 웹 공격에 대한 기존의 대응책으로 IDS/IPS를 통한 네트워크 기반의 공격 탐지 및 방지가 주류를 이뤘다. 그러나 이런 대응책은 누구에게나 공개되는 웹서버 보안에는 적합한 시스템이 아니다. 본 논문에서는 웹 공격의 특성에 맞는 문자열 처리 중심의 로그 분석을 통해 대용량의 로그로부터 공격을 탐지하는 웹 로그 전처리 시스템을 제안한다.

  • PDF

인터넷 비즈니스 기반의 고객관계관리(CRM)을 위한 웹 로그 분석에 관한 연구 (A Study on Web-log Analysis for CRM based on Internet Business)

  • 김재형;노효원;김남호;정정화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.10-15
    • /
    • 2000
  • 개별화 웹 마케팅은 본질적으로 고객지향의 패러다임이다. 즉, 개별 고객의 특수한 니즈를 개별적으로 파악해서 각각의 고객에게 차별화된 서비스를 제공하는 것이 그 핵심이다. 웹 서버의 로그파일에 데이터마이닝의 연관규칙 기술을 이용하게 되면 고객행동 패턴의 파악 및 예측을 위한 기법으로 활용할 수 있다. 본 연구에서는 웹 사용자의 교차 판매를 위한 원투원 마케팅에 필요한 접근패턴을 분석하고자 하며, 이는 웹서버 로그파일 분석을 통하여 이루어진다. 분석하고자 하는 웹서버 로그파일은 기존의 데이터웨어하우스의 원천 데이터들과는 다르게 비정형적인 데이터 구조를 가지고있다. 이들 비정형 데이터 처리와 교차판매 지원을 위한 데이터마이닝 모델링, 이를 통한 원투원 마케팅 모델 제시, 그리고 이의 활용이 고객관계관리(CRM)에 미치는 효과를 제시한다.

  • PDF

패킷 필터링에서 명령어와 인자 결합 규칙을 이용한 로그 데이터의 감축 방법 (Using the Rule to Combination Commands and Arguments in Packet Filtering)

  • 서현진;박성인;이재영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.321-323
    • /
    • 1999
  • UNIX 시스템에서 로그 시스템은 공격시 쉽게 변경 및 삭제되는 위험성이 있고 제한된 시스템 및 네트워크 정보를 제공하므로, 보다 안전하고 풍부한 정보의 제공을 위해 패킷 필터링을 이용한 로그 시스템 등이 제안되어 왔다. 그러나 기존의 패킷 필터링을 이용한 로그 시스템에서는 모든 패킷을 기록하여 많은 양의 데이터가 발생하였으므로, 관리자가 그 정보를 분석하기란 어려웠다. 본 논문에서는 패킷을 처리하는 과정에서 각종 유형의 침입에 대한 사전 조사와 분석으로 얻은 명령어와 인자들의 결합에 의한 판정 규칙을 적용하여, 위험가능성이 내재된 패킷만을 수집, 기록함으로서 데이터의 양을 줄이고 보다 효율적인 로그 정보를 기록할 수 있었다.

  • PDF

머신러닝을 활용한 NFV 시스템 로그 분석 (NFV Log Analysis using Machine Learning)

  • 오성근;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.118-120
    • /
    • 2017
  • 모바일 이동통신망의 Core 노드들은 2G CDMA, 3G WCDMA, 4G LTE 교환기를 비롯하여 IMS 및 다양한 부가장비들로 이루어져 있다. 최근 5G로 진화하는 과정에는 NFV(Network Function Virtualization)가 그 중심에 서 있다. NFV 환경에서는 기존 통신 노드와 다르게 범용서버 및 범용 운영체제가 주축이 되어, 일반 IT 툴로도 통신망 내부 노드의 로그분석이 용이해 졌다. 또한 다양하고 복잡한 Core 네트워크에서 빅데이터로 발생하는 로그 또한 머신러닝으로 분석이 가능하며, 운용에 활용할 수 있다. 따라서 본 연구에서는 vDPI, vMMSGW OS 로그를 대상으로 분석하였으며, 잠재되어 있는 문제점들을 확인할 수 있었다. 또한 어플리케이션의 비정형화 된 로그에서도 비정상적인 패턴들을 발견하여 대용량 트래픽이 발생하며 SLA가 유난히 높은 통신환경에서도 비지도 머신러닝 분석이 유용함을 확인하였다.

효율적인 웹 로그 분석을 위한 웹 정보구조 설계에 관한 연구 (Information Architecture Design of Web Site for Effective Web Log Data Analysis)

  • 박홍규;강환창;최진영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.711-714
    • /
    • 2005
  • 인터넷 이용자의 급증에 따라 보다 효과적인 웹 사이트의 구현을 위한 과학적이고 체계적인 분석의 필요성은 더욱 절실해지고 있다. 웹 로그 파일은 사용자가 웹 사이트를 이용하면 서버에 남는 기록으로 이 데이터를 기반으로 다양한 정보를 추출해낼 수 있다. 본 논문은 실제 인터넷 사이트를 운영하는 기관의 로그를 상용화된 로그분석 툴을 이용하여 사이트 정보구조의 개편 전과 후를 비교 분석하고, 로그분석의 정확성을 높이기 위한 웹 사이트내 정보구조설계 방안을 제시 한다.

  • PDF

세션과 객체 정보를 이용한 개인화된 로그 추출기법 (A Personalized Extracting Method using Session and Object Information)

  • 김민숙;박명순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.89-92
    • /
    • 2004
  • 웹 로그에는 개별 사용자를 식별할 수 있는 사용자 정보와 세션 정보가 포함되어 사용자 식별과 해당 URL은 알 수 있지만, 그 URL에 해당하는 페이지내에 어느 객체에 관심이 있어 클릭하는지 알 수 없고, 페이지내에서 외부 사이트로의 링크 부분을 클릭했을 시 로그 파일에 기록이 되지 않는다. 본 연구에서는 세션과 사용자 중심의 로그 기록 방식에 객체를 추가함으로써 복잡하고 다양해지는 객체 요소(동영상, 오디오, 플래시 등)가 포함된 웹사이트에서는 객체 중심의 로그 기록 방식이 고객의 행동 패턴을 분석하여 세분화된 개인화 서비스에 보다 효율적임을 관찰하였다.

  • PDF