• 제목/요약/키워드: 빈발도

검색결과 464건 처리시간 0.024초

대용량 데이터를 처리하기 위한 TFP-tree 기반의 점진적 빈발 패턴 마이닝 기법 (TFP-tree based Incremental Frequent Patterns mining Method for Handling Large Data Set)

  • 이종범;;신진호;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.761-762
    • /
    • 2009
  • 이 논문에서는 점진적 마이닝 기법을 사용하여 대용량 전력 사용량 데이터로부터 빈발 패턴들을 찾아내고, 빈발 패턴들을 기반으로 하여 분류 작업을 효과적으로 완성하는데 목적을 두고 있다. 이를 위하여 본 논문에서는 TFP-tree를 기반으로 하는 점진적 빈발 패턴 마이닝 기법 및 분류 알고리즘에 대해서 설명한다.

데이터 스트림 빈발항목 마이닝의 프라이버시 보호를 위한 더미 데이터 삽입 기법 (Dummy Data Insert Scheme for Privacy Preserving Frequent Itemset Mining in Data Stream)

  • 정재열;김기성;정익래
    • 정보보호학회논문지
    • /
    • 제23권3호
    • /
    • pp.383-393
    • /
    • 2013
  • 데이터 스트림 마이닝 기술은 실시간으로 발생하는 데이터를 분석하여 유용한 정보를 얻는 기술이다. 데이터 스트림 마이닝 기술 중에서 빈발항목 마이닝은 전송되는 데이터들 중에서 어떤 항목이 빈발한지 찾는 기술이며, 찾은 빈발항목들은 다양한 분야에서 패턴분석이나 마케팅의 목적으로 사용된다. 기존에 제안된 데이터 스트림 빈발항목 마이닝은 악의적인 공격자가 전송되는 데이터를 스니핑할 경우 데이터 제공자의 실시간 정보가 노출되는 문제점을 가지고 있다. 이러한 문제는 전송되는 데이터에서 원본 데이터를 구별 못하게 하는 더미 데이터 삽입 기법을 통해 해결가능하다. 본 논문에서는 더미 데이터 삽입 기법을 이용한 프라이버시 보존 데이터 스트림 빈발항목 마이닝 기법을 제안한다. 또한, 제안하는 기법은 암호화 기법이나 다른 수학적 연산이 요구되지 않아 연산량 측면에서 효과적이다.

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

최근 육계의 IB(전염성 기관지염) 발생동향과 효과적인 방지책

  • 유일웅
    • 월간양계
    • /
    • 제23권7호통권261호
    • /
    • pp.123-125
    • /
    • 1991
  • 최근 육계에서 미약한 호흡기증상을 동반한 연변, 하리 등으로 증체가 저하되고 상품가치가 떨어지는 현상이 빈발하고 있어 혈청의 항체조사결과 IB의 항체가가 높은 예가 빈발하며 특히 발병시기가 3$\~$4주령 즉 모체항체가 떨어질 무렵에 발병하고 있으므로 그간의 야외동향을 참고하여 기술한다.

  • PDF

트리거 기반 XML 빈발 구조 추출 (Frequent Structure Extraction of XML based on Trigger)

  • 황정희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1179-1180
    • /
    • 2011
  • 유비쿼터스 컴퓨팅 환경에서 무한의 연속적으로 전송되는 데이터에 대한 처리가 요구되고 있다. 본 논문에서는 연속적이고 빠르게 발생하는 스트림 데이터로부터 유용한 정보를 발견하기 위한 기반 연구로써 트리거를 이용한 슬라이딩 윈도우 기반의 XML 빈발 구조 추출 방법을 제안한다.

그래프 스트림에서 슬라이딩 윈도우 기반의 점진적 빈발 패턴 검출 기법 (Incremental Frequent Pattern Detection Scheme Based on Sliding Windows in Graph Streams)

  • 정재윤;서인덕;송희섭;박재열;김민영;최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제18권2호
    • /
    • pp.147-157
    • /
    • 2018
  • 최근 네트워크 기술 발전과 함께 IoT 및 소셜 네트워크 서비스의 활성화로 인해 많은 그래프 스트림 데이터가 생성되고 있다. 이와 같은 그래프 스트림에서 객체들 사이의 관계가 동적으로 변화함에 따라 그래프의 변화를 탐지하거나 분석하기 위한 연구들이 진행되고 있다. 본 논문에서는 그래프 스트림에서 이전 슬라이딩 윈도우에서 검출한 빈발 패턴에 대한 정보를 이용해 빈발 패턴을 점진적으로 검출하는 기법을 제안한다. 제안하는 기법은 이전 슬라이딩 윈도우에서 검출된 패턴이 앞으로 몇 슬라이딩 윈도우동안 빈발할지 또는 빈발하지 않을지를 계산하여 빈발 패턴 관리 테이블에 저장한다. 그리고 이 값을 통해 다음 슬라이딩 윈도우에서는 필요한 계산만 수행함으로써 전체 연산량을 감소시킨다. 또한 패턴 간에 간선을 통해 연결되어있는 것만 하나의 패턴으로 인식함으로써 더 유의미한 패턴만을 검출한다. 본 논문에서는 제안하는 기법의 우수함을 보이기 위해 여러 성능 평가를 진행하였다. 그래프 데이터의 크기가 커지고 슬라이딩 윈도우의 크기가 커질수록 중복되는 데이터가 증가되기 때문에 기존 기법보다 빠른 처리 속도를 나타낸다.

트리밍 방식 수정을 통한 연관규칙 마이닝 개선 (Improved Association Rule Mining by Modified Trimming)

  • 황원태;김동승
    • 전자공학회논문지CI
    • /
    • 제45권3호
    • /
    • pp.15-21
    • /
    • 2008
  • 본 논문은 2단 샘플링을 통해 정확도는 줄지만 신속하게 연관규칙을 추출하는 새로운 마이닝 알고리즘을 제안한다. 직전 연구인 FAST(Finding Association by Sampling Technique) 기법은 빈발1항목만 최적샘플 형성과정에 적용하여 빈발2항목 및 그이상의 빈발항목을 샘플 추출에 반영하지 못하였다. 이 논문은 그러한 약점을 보완하여 트리밍 과정에서 손실항목과 오류항목의 비중을 동시에 고려하여 다수 빈발항목에 대한 마이닝의 정확성을 높였다. 대표적인 데이터 세트를 써서 실험한 결과 이전연구와 비교해서 동일한 품질하에서 새 알고리즘의 정확도가 향상됨을 확인하였다.

빈발단어집합을 이용한 NaiveBayes의 정확도 개선 (An Improvement of Accuracy for NaiveBayes by Using Large Word Sets)

  • 이재문
    • 인터넷정보학회논문지
    • /
    • 제7권3호
    • /
    • pp.169-178
    • /
    • 2006
  • 본 논문은 연관규칙탐사 기술에서 사용되는 빈발항목집합을 변형하여 문서분류의 문서에서 빈발단어집합을 정의하고, 이를 사용하여 문서분류 방법으로 잘 알려진 NaiveBayes에 적용하여 이 방법의 정확도를 개선한다. 이 기술의 적용을 위하여 하나의 문서는 여러 개의 문단으로 나뉘어졌으며, 각 문단에 나타나는 단어들의 집합을 트랜잭션화하여 빈발단어 집합을 찾을 수 있도록 하였다. 제안한 방법은 Al::Categorizer 프레임워크에서 구현되었으며 로이터-21578 데이터를 사용하여 그 정확도가 측정되었다. 문단에서의 라인수와 학습문서의 크기를 변화하면서 정확도를 측정하였다. 측정된 결과로부터 제안된 방법이 기존의 방법에 비하여 정확도를 개선한다는 사실을 알 수 있었다.

  • PDF

그래프를 이용한 빈발 서비스 탐사 (Mining Frequent Service Patterns using Graph)

  • 황정희
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권3호
    • /
    • pp.471-477
    • /
    • 2018
  • 시간의 변화에 따라 사용자의 관심도는 변화한다. 이 논문에서는 유비쿼터스 환경에서 연령, 시기, 계절 등에 따라 변화하는 사용자의 서비스 관심도를 고려하기 위하여 서비스에 대한 관심도를 동적 가중치로 부여하여 사용자에게 적합한 서비스를 추천하기 위한 방법을 제안한다. 사용자에게 제공한 서비스 이력 데이터를 기준으로 시기나 연령에 따른 일반적인 서비스 규칙을 저장하고, 실시간으로 변화하는 서비스의 관심도를 고려한 최신의 서비스 규칙을 지속적으로 추가하여 사용자의 관심 변화를 반영하는 서비스를 제공하기 위한 방법이다. 이를 위해 사용자에게 제공하는 일련의 서비스는 트랜잭션으로 고려하고 서비스는 항목으로 고려하여 서비스의 연관관계를 그래프로 표현하고, 이를 기반으로 빈발 서비스 항목을 발견한다. 발견된 빈발 서비스 항목은 사용자에게 유용한 최신의 정보 서비스를 의미한다.

스트리밍 XML 데이터의 빈발 구조 마이닝 (Mining of Frequent Structures over Streaming XML Data)

  • 황정희
    • 정보처리학회논문지D
    • /
    • 제15D권1호
    • /
    • pp.23-30
    • /
    • 2008
  • 유비쿼터스 환경에서 상황정보 인식 분야를 연구하면서 가장 밑바탕에서 기초가 될 수 있는 것은 인터넷 기술과 XML(Extensible Markup Language)이다. 인터넷을 통한 통신에서 XML 데이터의 사용이 일반화되고 있으며 데이터의 형태는 연속적이다. 그리고 XML 스트림 데이터에 대한 질의를 처리하기 위한 방안들이 제시되고 있다. 이 논문에서는 스트림 데이터에 대한 질의처리를 효율적으로 수행하기 위한 기반연구로써 XML을 레이블의 순서화된 트리로 모델링하여 온라인 환경에서 빈발한 구조를 추출하는 마이닝 방법을 제안한다. 즉, 지속적으로 입력되는 XML 데이터의 구조를 트리로 모델링하고 각각의 트리를 하나의 트리 집합의 구조로 표현하여 현재 윈도우 시점에서 빈발한 구조를 정확하고 빠르게 추출하는 방법을 제시한다. 제시하는 방법은 XML의 질의 처리 및 색인 구성의 기초 자료로 활용될 수 있다.