• 제목/요약/키워드: 순차패턴 마이닝

검색결과 90건 처리시간 0.022초

점진적인 순차 패턴 갱신 알고리즘 (An Incremental Updating Algorithm of Sequential Patterns)

  • 김학자;황환규
    • 전자공학회논문지CI
    • /
    • 제43권5호
    • /
    • pp.17-28
    • /
    • 2006
  • 본 논문에서는 데이터베이스에 새로운 트랜잭션이 추가되었을 때 순차 패턴을 갱신하는 문제를 연구하였다. 트랜잭션이 순차적으로 증가되는 환경에서 기존에 발견된 빈발 시퀸스를 재사용하여 순차패턴을 갱신하는 효율적인 알고리즘을 제안한다. 본 논문에서 제안한 방법은 후보 집합의 개수를 효율적으로 줄임으로써 AprioriAll이나 PrefixSpan 알고리즘보다 좋은 성능을 보임을 실험으로 확인하였다.

시퀀스 유틸리티 리스트를 사용하여 높은 유틸리티 순차 패턴 탐사 기법 (Mining High Utility Sequential Patterns Using Sequence Utility Lists)

  • 박종수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권2호
    • /
    • pp.51-62
    • /
    • 2018
  • 높은 유틸리티 순차 패턴 탐사는 데이터 마이닝에서 중요한 연구 주제로 간주되고 있다. 이 주제에 대해 몇 개의 알고리즘들이 제안되었지만, 그것들은 높은 유틸리티 순차 패턴 탐사의 탐색 공간이 커지는 문제에 부딪히게 된다. 한 시퀀스의 더 엄격한 유틸리티 상한 값은 탐색 공간에서 초기에 유망하지 않은 패턴들을 더 가지치기할 수 있다. 본 논문에서 새로운 유틸리티 상한 값을 제안하는데, 그것은 한 시퀀스와 그 자손 시퀀스들의 최대 예상 유틸리티인 sequence expected utility (SEU)이다. 높은 유틸리티 순차 패턴들을 탐사하는데 필수적인 정보를 유지하기 위해 각 패턴에 대한 시퀀스 유틸리티 리스트를 새로운 자료구조로 사용한다. SEU를 활용하여 높은 유틸리티 순차 패턴들을 찾아내는 알고리즘인 High Sequence Utility List-Span (HSUL-Span)을 제안한다. 서로 다른 영역의 합성 데이터세트와 실제 데이터세트에 대한 실험 결과는 HSUL-Span이 상당히 적은 수의 후보 패턴들을 생성하고 실행 시간 면에서 다른 알고리즘들보다 우수한 것을 보여준다.

하이브리드 플래시-디스크 저장장치용 Flash Translation Layer의 성능 개선을 위한 순차패턴 마이닝 기반 2단계 프리패칭 기법 (Improving Flash Translation Layer for Hybrid Flash-Disk Storage through Sequential Pattern Mining based 2-Level Prefetching Technique)

  • 장재영;윤언근;김한준
    • 한국전자거래학회지
    • /
    • 제15권4호
    • /
    • pp.101-121
    • /
    • 2010
  • 본 논문은 플래시 메모리와 하드디스크로 구성되는 하이브리드 저장장치의 성능을 높이기 위한 프리패칭 기법을 제안한다. 하이브리드 저장장치에 포함된 플래시 메모리는 하드디스크에 비해 쓰기/읽기 연산 속도가 상대적으로 빠르기 때문에 이를 캐시 공간처럼 활용하여 성능을 높일 수 있다. 프리패칭을 위한 기본 전략은 순차패턴 마이닝을 이용하는 것이며, 이를 이용하면 시간적 흐름을 가지는 과거 객체 참조열로부터 반복되는 객체 접근 패턴을 추출할 수 있다. 프리패칭 기법을 사용하여 하이브리드 저장장치의 성능을 최대화하기 위하여 본 논문은 두 가지 방법을 사용하였다. 첫 번째는 플래시 메모리 매핑을 위하여 기존의 FAST 알고리즘을 개선하였고, 두 번째는 제한된 플래시 메모리의 공간을 효율적으로 사용하기 위하여 프리패칭 단위로 파일 수준과 블록 수준을 동시에 고려하였다. 제안 기법의 효용성을 평가하기 위해 참조 지역성을 가지는 합성 데이터와 UCC 데이터를 활용하여 실험을 실시하여 제안된 방법의 우수성을 증명하였다.

시계열 데이터베이스와 강결합된 규칙발견 알고리즘 설계와 구현 (Design and Implementation of Rule Discovery Algorithm strongly coupled with Time-series databases)

  • 박인창;김성규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.43-45
    • /
    • 2001
  • 마이닝 시스템은 그 특성에 따라 매우 다른 형태의 구현 방법이 존재한다. 그러므로 마이닝 시스템간 호환성이나 재사용성은 매우 낮다. 본 노문에서는 이 문제를 시계열 데이터베이스를 통한 RDB와 강 결합함으로써 표준화에 대한 문제를 해겨라고자 시도하였다. RDB와의 강 결합은 표준화 문제를 해결함과 더불어 마이닝 시스템에 DBMS의 관련 기술을 이용함으로써 성능을 극대화시킨다. 특히 DBMS의 인텍스 기능을 이용함으로써 마이닝 시스템의 성능 향상을 시도하였다. 본 논문에서는 기존의 순차패턴 탐사의 시간개념 부재, 트랜잭션 데이터베이스 기반구조, 그리고 알고리즘 수행에 있어서 메모리 한계에 따른 문제등의 단점을 지적하고, 이를 수정하고 보완하기 위해서 시간 거리와 패턴 길이의 개념을 확장하였으며 그에 따른 연관규칙의 관련 공식을 수정 보완하여 제안한다. 또한 RDB와의 강 결합되어 기존의 트랜잭션 데이터베이스 구조를 벗어나 시계열 데이터에 보다 쉽게 적용할 수 있는 절차와 알고리즘을 제안한다.

  • PDF

순차패턴 분석을 통한 이상금융거래탐지 연구: 선불전자지급수단 거래를 중심으로 (A Study on the Fraud Detection through Sequential Pattern Analysis: Focused on Transactions of Electronic Prepayment)

  • 최병호;조남욱
    • 한국전자거래학회지
    • /
    • 제26권3호
    • /
    • pp.21-32
    • /
    • 2021
  • 정보통신기술의 발달로 전자금융서비스가 활성화됨에 따라 선불전자지급수단을 이용한 전자금융거래도 증가하고 있다. 선불전자지급수단의 다양한 순기능에도 불구하고, 현금화가 용이하다는 점 때문에 전자금융사기에 악용되는 사례가 증가하고 있다. 본 논문에서는 선불전자 지급수단의 금융거래내역에 순차패턴 마이닝 기법을 적용하여 이상금융거래를 탐지하는 방안을 제시하였다. 선불전자지급수단의 금융거래내역을 서비스이용 순서로 나열한 다음 순차패턴 마이닝을 통해 이상금융거래 탐지패턴을 추출하였다. 도출된 패턴을 실제 금융거래 데이터에 적용하는 실험을 통해 방법론의 효과성을 검증하였다. 실험결과 테스트 데이터의 탐지성능 정확도가 95.6퍼센트로 나타나 제시된 방법론이 이상금융거래를 효과적으로 탐지할 수 있음을 확인하였다. 본 논문에서 제시한 방법론은 향후 이상금융거래탐지시스템 분석모델에 적용함으로써 전자금융사고 피해를 줄이는데 활용될 수 있을 것으로 기대된다.

비트맵을 사용한 닫힌 빈발 시퀀스 마이닝 (Mining Frequent Closed Sequences using a Bitmap Representation)

  • 김형근;황환규
    • 정보처리학회논문지D
    • /
    • 제12D권6호
    • /
    • pp.807-816
    • /
    • 2005
  • 순차 패턴 탐사에 대한 연구는 대용량의 데이터베이스에서 사용자에 의해 주어지는 최소 지지도를 만족하는 빈발 시퀀스를 찾는 문제를 다룬다. 하지만 현재까지 이루어진 순차 패턴 탐사 방법은 빈발 시퀀스들의 길이가 길어지거나 최소 지지도가 상대적으로 낮게 주어진 상황에서는 생성되는 시퀀스가 기하급수적으로 많아져서 성능이 급격히 저하되는 문제점을 가지고 있다. 본 논문에서는 이 문제를 해결하기 위해서 모든 빈발 시퀀스의 정보를 포함하며 그 수가 현저히 적은 닫힌 빈발 시퀀스를 찾는 방법을 제안한다. 제안하는 알고리즘은 효율적으로 가지치기를 수행하기 위해서 깊이우선 탐색 방법으로 후보 시퀀스를 생성하고 데이터베이스를 비트맵으로 표현하여 비트 연산으로 지지도를 효율적으로 계산한다. 또한, 비트맵으로 표현된 시퀀스 특성을 이용하여 가지치기할 시퀀스를 적은 연산 비용으로 찾을 수 있다. 이런 장점을 통하여 제안한 방법이 지금까지 제안된 알고리즘보다 훨씬 빨리 닫힌 빈발 시퀀스를 찾는 것을 성능 실험을 통하여 확인하였다.

변형된 FP-Tree를 기반한 상품 추천 시스템 (The Goods Recommendation System based on modified FP-Tree Algorithm)

  • 김종희;정순기
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권11호
    • /
    • pp.205-213
    • /
    • 2010
  • 연관규칙 마이닝 기법 중에 하나인 FP-트리 알고리즘을 이용하는 추천시스템이 시도되고 있다. 본 논문에서는 트랜�Ъ� 데이터베이스로부터 빈발 2-항목집합만을 추출하여 연관규칙을 생성하는 변형된 FP-알고리즘을 사용하는 추천시스템을 제안하였다. 제안된 추천시스템은 전처리 모듈, 학습 모듈, 추천 모듈 및 평가 모듈로 구성되었다. 제안된 추천시스템의 실험을 통하여 상품 추천의정확률과 재현율과 F-Measure와 성공률과 추천실행시간을 수행하였으며, 순차패턴 마이닝 기법을 사용하는 추천시스템과의 성능을 비교분석 하였다. 순차패턴 마이닝기법을 사용하는 추천시스템과 학습 성능, 추천 성능을 비교한 결과 학습 성능은 5배 이상 향상되었으며, 추천 성능은 20%이상 향상 되었다. 결론적으로, 순차패턴 추천시스템과 같은 데이터를 가지고 실험하여 추천시스템 성능의 타당성에는 보다 나은 시스템임을 입증 하였다.

USN 환경에서 의미 기반 트랜잭션 구조를 이용한 순차 패턴 탐사 기법 (Sequence Pattern Mining Using Meaning-based Transaction Structure for USN system)

  • 최필선;강동현;김환;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1105-1108
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. USN 환경에서 발생하는 스트림 데이터는 시간 속성을 갖는 이벤트들의 집합으로 표현할 수 있으며 순차 패턴 탐사 기법을 이용하여 유용한 정보를 탐사할 수 있다. 그러나 스트림 데이터 환경에서는 데이터가 무한하고 연속적으로 발생하기 때문에 모든 데이터를 저장하여 패턴을 탐사하는 기법을 적용하는 데는 문제가 있다. 이 논문에서는 향상된 데이터 처리방식을 사용하여 순차패턴을 탐사하는 스트림 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 의미 단위의 가변적 윈도우를 사용하여 스트림 데이터로부터 트랜잭션을 생성하고 이 트랜잭션들의 집합을 해시와 슬라이딩 윈도우를 사용하여 스트림 데이터의 순차 패턴을 탐사한다. 이를 이용한 제안 기법은 실시간 시스템에 적합하게 데이터 저장 공간 사용의 효율성을 높이고 신속하게 유용한 패턴을 탐사할 수 있다.

트랜잭션이 없는 시계열 데이터로 부터 가상 트랜잭션을 이용한 데이터 마이닝 (Mining Time Series Data With Virtual Transaction)

  • 김민수;이준섭;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.31-34
    • /
    • 2001
  • 대용량의 데이터들로부터 사용자가 원하는 데이터를 찾기 위하여 많은 데이터 마이닝 기술들이 연구되어 실제 응용프로그램에서 많이 적용되고 있다. 이러한 데이터 마이닝의 기술 중 연관규칙은 항목들의 집합으로 표현되는 트랜잭션에서 각 항목간의 연관성을 찾는데 사용된다. 그러나 실세계에는 트랜잭션이 없이 일련의 이벤트만 시간에 따라서 발생하는 데이터들이 많이 존재한다. 이러한 시계열 이벤트 데이터들로부터 다양한 가상 트랜잭션을 생성하는 기법들을 제시한다. 이러한 가상 트랜잭션 데이터로 변환된 시계열 데이터에 연관규칙, 순차패턴, 주기패턴과 관련된 여러 가지 알고리즘을 바로 적용 함으로서 유용한 규칙들을 발견해 낼 수 있다.

  • PDF

생물학적 데이터 서열들에서 빈번한 최대길이 연속 서열 마이닝 (Mining Maximal Frequent Contiguous Sequences in Biological Data Sequences)

  • 강태호;유재수
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.155-162
    • /
    • 2008
  • DNA 염기 서열이나 단백질 아미노산 서열과 같은 생물학적 서열 데이터들은 일반적으로 많은 수의 항목들을 가지고 있다. 생물학적 데이터 서열들에는 보통 빈번하게 발생하는 수 백개의 항목으로 이루어진 연속된 서열들이 존재한다. 이들 서열들에서 빈번하게 발생하는 연속 서열을 검색하는 것은 생물학적 서열 분석에서 중요한 부분을 차지하고 있다. 이전에는 순차 패턴을 효과적으로 발견하고자 하는 많은 연구들이 수행되었으며 대부분의 기존 순차패턴 마이닝 기법들은 Apriori 알고리즘을 기반으로 한다. PrefixSpan 알고리즘은 Apriori 기반의 가장 효율적인 순차패턴 마이닝 기법이다. 하지만 이 알고리즘은 길이-1인 빈발 패턴들로 부터 서열 패턴을 확장해나가는 방식이다. 따라서 길이가 긴 연속 서열을 포함하는 생물학적 데이터서열들에 대한 검색방법으로는 적합하지 않다. 최근에는 기존의 PrefixSpan방식을 이용하면서도 반복적인 처리과정을 줄인 MacosVSpan이 제안되었다. 하지만 이 알고리즘 또한 길이가 긴 생물학적 데이터 서열들로부터 빈번하게 발생하는 연속 서열들을 검색하기에는 효율적이지 않다. 본 논문에서는 많은 양의 생물학적 데이터 서열들로부터 빈번한 연속서열을 고정길이 확장 트리를 이용하여 효과적으로 찾아내는 방법을 제안한다. 그리고 다양한 환경에서 실험을 통해 제안하는 방식이 MacosVSpan알고리즘에 비해 검색성능이 보다 우수함을 보인다.