• 제목/요약/키워드: 로그 구조

검색결과 304건 처리시간 0.03초

Syslog 데이터의 의미론적 검색을 위한 XML 기반의 모델링 (XML-based Modeling for Semantic Retrieval of Syslog Data)

  • 이석준;신동천;박세권
    • 정보처리학회논문지D
    • /
    • 제13D권2호
    • /
    • pp.147-156
    • /
    • 2006
  • 이벤트 로깅은 시스템 및 네트워크 관리에 있어 그 역할이 증대되고 있으며, syslog는 해당 분야에 있어 사실상의 표준으로 사용되고 있다. 그러나 대부분의 로그 분석은 반구조적 특징을 보이는 로그 형식으로 인하여 빈번히 출현하는 패턴에만 집중하고 있다. XML은 syslog 데이터를 구조화하는 데 있어 유용한 방식을 제공하고 정보 탐색을 용이하게 해 준다. 하지만 이전의 XML 형식들 및 어플리케이션들은 로그 데이터를 위한 순위 기반 검색이나 유사도 측정 등과 같은 의미론적 접근에 적합하지 않다. 본 논문에서는 XML 기반의 순위 키워드 검색 기법을 기초로, 새로운 로그 데이터 모델링을 통해 syslog 데이터를 위한 XML 트리 구조를 제안한다. 그리고 기존의 XML 구조보다 의미론적 검색에 적합함을 보인다.

부분 가비지 컬렉션을 이용한 로그 구조 파일시스템의 쓰기 성능 개선 (Partial Garbage Collection Technique for Improving Write Performance of Log-Structured File Systems)

  • 곽현호;신동군
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1026-1034
    • /
    • 2014
  • 최근 플래시 저장장치의 사용이 대중화되면서 플래시 저장장치의 특성에 맞는 로그 구조 파일시스템에 대한 관심도 높아지고 있다. 로그 구조 파일시스템은 사용자의 임의 쓰기를 파일시스템에서 순차 쓰기로 바꾸어 처리한다. 이 순차 쓰기를 유지하기 위해 파일시스템에서 가비지 컬렉션(Garbage Collection)을 해 주어야 하는데, 이때 오버헤드로 인해 쓰기 성능이 감소하는 것을 막기 위한 기법으로 SSR (Slack Space Recycling)이 제시되었다. 그런데, SSR은 임의 쓰기를 발생시키기 때문에, 임의 쓰기 성능이 낮은 저가형 저장장치에서 쓰기 성능을 감소시키는 문제가 있다. 본 논문에서 제시하는 부분 가비지 컬렉션은 SSR방식으로 데이터를 기록하기 전에 유효한 블록들을 일부만 복사하여 옮김으로써 무효화 된 공간의 크기를 늘려 임의 쓰기 수를 줄여서 쓰기 성능을 증가시키는 기법으로, SD 카드에서 쓰기 성능을 최대 두 배 이상 증가시켰다.

에필로그 테일러된 프로시저를 위한 프롤로그 테일러링 기법 (Prolog Tailoring Technique on Epilog Tailored Procedures)

  • 지윤찬;김기창
    • 한국정보처리학회논문지
    • /
    • 제5권5호
    • /
    • pp.1345-1356
    • /
    • 1998
  • 본 논문은 컴파일러에 의해 생성된 목적 코드상의 프로시저의 수행 속도를 향상시키기 위한 방안으로, 프롤로그 테일러링 알고리즘을 제안한다. 레지스터의 수가 많은 기계에서 반복 수행되는 프로시저의 경우, 프롤로그와 에필로그에서 실행되는 레지스터 저장 및 복원 명령어를 줄이는 것은 프로시저 실행 속도 향상의 주요 작업이 된다. IBM XL C 컴파일러에서 제공되는 에필로그 테일러링은 실행 경로상의 레지스터 복원 명령어를 줄임으로써, 프로시저 성능 향상에 기여해왔으나, 프롤로그 테일러링에 대한 구체적 알고리즘은 현재 제안되어 있지 않다. 본 논문이 제안하는 알고리즘에 의해 생성된 프롤로그는 각각의 실행 경로에 대해 현저히 감소된 수의 레지스터 저장 명령을 실행하도록 함으로써, 프로시저의 실행 속도를 개선시킨다. 테일러된 프롤로그를 갖는 프로시저가 바르게 실행되기 위해서는, 다이아몬드 구조나 반복 구조 내분에 레지스터 저장 명령을 생성해서는 안된다. 그러므로, 본 논문은 다이아몬드 구조나 반복 구조 내부가 아닌 최적의 위치에 레지스터 저장 명령을 생성하는 알고리즘을 제안한다.

  • PDF

대용량 웹 로그 마이닝 및 공격탐지를 위한 B-트리 인덱스 벡터 기반 고속 검색 기법 (High-Speed Search Mechanism based on B-Tree Index Vector for Huge Web Log Mining and Web Attack Detection)

  • 이형우;김태수
    • 한국멀티미디어학회논문지
    • /
    • 제11권11호
    • /
    • pp.1601-1614
    • /
    • 2008
  • 최근 대부분의 인터넷 환경이 쳅 기반 시스템으로 발전하면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 따라서 일반 사용자가 대형 포털 사이트 웹 서버 접속시 생성되는 로그 정보를 분석하여 웹 서버에 대한 공격을 탐지하거나 웹 마이닝 기술과 접목하기 위해서는 대용량의 웹 로그 정보에 대한 효율적인 분석 기법이 필요하다. 기존 웹 로그 전처리 기법은 로그 문자열의 순차적인 탐색을 수행하므로 대용량의 웹 로그 고속화 처리에 적합하지 않다. 본 연구에서는 대용량 웹 로그 정보에 대해 B-트리 인덱싱 벡터 구조를 이용하여 필드별 분류 및 고속 검색 알고리즘을 개발하였다 이를 통해 효율적으로 대용량 로고로부터 효율적인 세션 분석 기능과 개선된 검색 성능을 제공할 수 있었으며 웹 서버에 대한 공격 탐지에도 활용할 수 있었다.

  • PDF

모바일 클라이언트에 캐쉬된 공간 데이터의 일관성 제어 기법 (A Consistency Control of Method for Spatial Data Cached in Mobile Clients)

  • 안경환;차지태;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권3호
    • /
    • pp.274-286
    • /
    • 2004
  • 모바일 클라이언트-서버 환경에서 모바일 클라이언트는 무선 통신의 높은 비용으로 인하여 서버와 단절된 상태를 가지며, 캐쉬된 지도의 효율적인 갱신을 위해 지역 복사본을 클라이언트가 갖는다. 이러한 환경에서 서버 데이타베이스의 일부가 변경된 경우 일관성 제어시에 캐쉬가 무효화될 수 있고, 이로 인해 캐쉬된 전체 데이타가 재 전송되는 것은 비효율적이다. 그러므로 서버에서 변경된 객체 정보를 로그로 기록하여, 캐쉬된 영역에 속하는 최근 변경 정보만을 전파하는 방법이 필요하다. 그러나 순차적으로 저장되는 로그의 경우 다음과 같은 문제점을 가진다. 첫째, 로그가 계속해서 누적된다. 이는 서버의 저장 공간 문제와 로그의 검색 성능 저하를 가져온다. 둘째, 순차적인 검색을 해야 한다. 로그의 양이 많을 경우 순차 검색은 비효율적이다. 셋째, 해당 클라이언트에게 불필요한 로그도 함께 전파된다. 이는 변경 정보 전파시 높은 무선 통신 비용을 발생시킨다. 이 논문에서는 이러한 문제점들을 해결하기 위해서 불필요한 로그들을 정의하고, 이들을 생성 및 검색 단계에서 제거, 여과하기 위한 기법들을 제시한다. 또한 순차 저장된 로그에 대한 검색 시간을 단축시키기 위한 구조와 기법을 제시한다.

NAND 플래시 메모리를 위한 로그 기반의 B-트리 (Log-Structured B-Tree for NAND Flash Memory)

  • 김보경;주영도;이동호
    • 정보처리학회논문지D
    • /
    • 제15D권6호
    • /
    • pp.755-766
    • /
    • 2008
  • 최근 NAND 플래시 메모리는 하드 디스크에 비해 작고, 속도가 빠르며, 저 전력 소모 등의 장점을 가지고 있어 차세대 저장 매체로 각광받고 있다. 그러나 쓰기-전-소거 구조, 비대칭 연산 속도 및 단위와 같은 독특한 특징으로 인하여, 디스크 기반의 시스템이나 응용을 NAND 플래시 메모리 상에 직접 구현시 심각한 성능저하를 초래할 수 있다. 특히 NAND 플래시 메모리 상에 B-트리를 구현할 경우, 레코드의 잦은 삽입, 삭제 및 재구성에 의한 많은 양의 중첩 쓰기가 발생할 수 있으며, 이로 인하여 급격한 성능 저하가 발생할 수 있다. 이러한 성능 저하를 피하기 위해 ${\mu}$-트리가 제안되었으나, 잦은 노드 분할 및 트리 높이의 빠른 신장 등의 문제점을 가지고 있다. 본 논문에서는 갱신 연산을 위해 특정 단말 노드에 해당하는 로그 노드를 할당하고, 해당 로그 노드에 있는 변경된 데이터를 한 번의 쓰기 연산으로 저장하는 로그 기반의 B-트리(LSB-트리)를 제안한다. LSB-트리는 부모 노드의 변경을 늦추어 추가적인 쓰기 연산의 횟수를 줄일 수 있다는 장점을 가지고 있다. 또한 키 값에 따라 데이터를 순차적으로 삽입할 때, 로그 노드를 새로운 단말 노드로 교환함으로써 추가적인 쓰기 연산의 횟수를 줄일 수 있다. 마지막으로, 다양한 비교 실험을 통하여 ${\mu}$-트리와 비교함으로써 LSB-트리의 우수성을 보인다.

웹로그 마이닝을 통한 인터넷 쇼핑몰에서의 사용자 행동 분석

  • 이동하;김성민;오재훈;서동렬;임규건
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2004년도 추계학술대회
    • /
    • pp.305-312
    • /
    • 2004
  • 인터넷 웹 사이트 상에서 사용자 행동은 클릭(click)을 단위로 모두 로그 (log)에 기록된다. 웹 서버를 통해 남는 웹로그를 가공하여 단순한 통계 수치 외에, 사용자 행동을 분석할 수가 있다. 특히 인터넷 쇼핑몰에서 사용자의 행동에 대한 분석은 중요하며, 고객의 획득, 유지 전략을 수립하기 위한 중요한 정보가 된다. 본 논문에서는 인터넷 쇼핑몰에서의 사용자 행동을 비즈니스 관점에서 분석한다. 쇼핑몰 사이트의 유입 경로 분석의 다양한 관점에 대해 논의하며, 관심 카테고리 및 상품 분석, 첫페이지 영역별 분석 등 새로운 분석 방법에 대해 소개한다. 이와 함께, 이 분석과정에서 필요한 효율적인 데이터 구조, 운영계 데이터 베이스 정보 및 이들간의 연동방안과 분석 결과의 활용 방안을 제시한다.

  • PDF

인터넷 비즈니스 기반의 고객관계관리(CRM)을 위한 웹 로그 분석에 관한 연구 (A Study on Web-log Analysis for CRM based on Internet Business)

  • 김재형;노효원;김남호;정정화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.10-15
    • /
    • 2000
  • 개별화 웹 마케팅은 본질적으로 고객지향의 패러다임이다. 즉, 개별 고객의 특수한 니즈를 개별적으로 파악해서 각각의 고객에게 차별화된 서비스를 제공하는 것이 그 핵심이다. 웹 서버의 로그파일에 데이터마이닝의 연관규칙 기술을 이용하게 되면 고객행동 패턴의 파악 및 예측을 위한 기법으로 활용할 수 있다. 본 연구에서는 웹 사용자의 교차 판매를 위한 원투원 마케팅에 필요한 접근패턴을 분석하고자 하며, 이는 웹서버 로그파일 분석을 통하여 이루어진다. 분석하고자 하는 웹서버 로그파일은 기존의 데이터웨어하우스의 원천 데이터들과는 다르게 비정형적인 데이터 구조를 가지고있다. 이들 비정형 데이터 처리와 교차판매 지원을 위한 데이터마이닝 모델링, 이를 통한 원투원 마케팅 모델 제시, 그리고 이의 활용이 고객관계관리(CRM)에 미치는 효과를 제시한다.

  • PDF

빠른 마운트와 복구를 지원하는 NAND 플래시 파일 시스템 설계 (Design of NAND Flash File System for Fast Mount and Recovery)

  • 진종원;이태훈;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.404-407
    • /
    • 2007
  • 플래시 메모리는 비휘발성, 저 전력, 빠른 입출력, 충격에 강함 등과 같은 많은 장점을 가지고 있으며 모바일 기기에서의 저장 매체로 사용이 증가 되고 있다. 뿐만 아니라 기존 하드디스크를 대체하는 용도로도 사용하고 있다. 하지만 제자리 덮어쓰기가 불가능하고 지움 연산의 단위가 크다는 제약 및 블록의 지움 횟수 제한이 있다. 이러한 제약을 극복하기 위해 YAFFS와 같은 로그 구조 기반의 플래시 파일 시스템들이 개발 되었다. YAFFS와 같은 로그 구조 기반의 플래시 파일 시스템은 마운팅시에 시스템에 필요한 데이터들을 얻기 위해 전체 플래시 메모리를 읽어야 한다. 이러한 파일 시스템의 마운팅 과정은 전체 시스템의 부팅 시간을 지연시킨다. 본 논문에서는 위와 같은 문제점 해결을 위하여 빠른 부팅을 제공 할 수 있는 NAND 플래시 파일 시스템 구조 및 제안한 구조에서의 시스템 일관성 유지를 위한 빠른 복구 방법들을 제안한다.

  • PDF

웹 문서와 접근로그의 하이퍼링크 추출을 통한 웹 구조 마이닝 (Web Structure Mining by Extracting Hyperlinks from Web Documents and Access Logs)

  • 이성대;박휴찬
    • 한국정보통신학회논문지
    • /
    • 제11권11호
    • /
    • pp.2059-2071
    • /
    • 2007
  • 웹 사이트의 구조가 정확하게 주어진다면, 정보 제공자의 입장에서는 사용자의 행위 패턴이나 특성을 효과적으로 파악할 수 있어 보다 나은 서비스를 제공할 수 있고, 사용자의 입장에서는 더욱 쉽고 정확하게 유용한 정보를 찾을 수 있을 것이다. 하지만 웹상의 문서들은 빈발하게 수정되기 때문에 웹 사이트의 구조를 정확하게 추출하는 것은 상당한 어려움이 있다. 본 논문에서는 이러한 웹 사이트의 구조를 자동으로 추출하는 알고리즘을 제안한다. 제안하는 알고리즘은 두 단계로 구성된다. 첫 번째 단계는 웹 문서를 분석하여 그들 간의 하이퍼링크를 추출하고 이를 웹 사이트의 구조를 나타내는 방향 그래프로 표현한다. 하지만 플래시나 자바 애플릿에 포함된 하이퍼링크는 추출할 수 없는 한계가 있다. 두 번째 단계에서는 이러한 숨겨진 하이퍼링크를 추출하기 위하여 웹 사이트의 접근로그를 이용한다. 즉, 접근로그로부터 각 사용자의 클릭스트림을 추출한 후, 첫 번째 단계에서 생성한 그래프와 비교하여 숨겨진 하이퍼링크를 추출한다. 본 논문에서 제안한 알고리즘의 성능을 평가하기 위하여 다양한 실험을 수행하였고, 이러한 실험을 통하여 웹 사이트의 구조를 보다 정확하게 추출할 수 있음을 확인하였다.