• 제목/요약/키워드: 가중치 마이닝

검색결과 115건 처리시간 0.031초

퍼지 일반화 계층을 이용한 일반화된 퍼지 정량 연관규칙 마이닝 (Mining Generalized Fuzzy Quantitative Association Rules with Fuzzy Generalization Hierarchies)

  • 한상훈;손봉기;이건명
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2001년도 춘계학술대회 학술발표 논문집
    • /
    • pp.8-11
    • /
    • 2001
  • 연관규칙 마이닝은 트랜잭션 데이터를 이루고 있는 항목간의 잠재적인 의존관계를 발견하는 데이터 마이닝의 한 분야이다. 정량 연관규칙이란 부류적 속성과 정량적 속성을 모두 포함한 연관규칙이다. 정량 연관규칙 마아닝을 위한 퍼지 기술의 응용, 정량 연관규칙 마이닝을 위한 일반화된 연관규칙 마이닝, 사용자의 관심도를 반영한 중요도 가중치가 있는 연관규칙 마이닝 등에 대한 연구가 이루어져 왔다. 이 논문에서는 중요도 가중치가 있는 일반화된 퍼지 정량 연관규칙 마이닝의 새로운 방법을 제안한다. 이 방법은 부류적 속성의 퍼지 개념 계층과 정량적 속성의 퍼지 언어항 일반화 계층을 일반화된 추출하기 위해 이용한다. 이것은 속성들의 수준별 일반화 계층과 속성의 중요도 가중치를 이용함으로써 사용자가 보다 융통성 있는 연관규칙을 마이닝할 수 있게 해준다.

  • PDF

데이터마이닝에서 교사학습에 의한 속성 가중치 최적화 (Supervised Feature Weight Optimization for Data Mining)

  • 강명구;차진호;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.244-246
    • /
    • 2001
  • 최근 군집화와 분류기법이 데이터 마이닝에 중요한 도구로 많은 응용분야에 사용되고 있다. 따라서 이러한 기법을 이용하는데 있어서 각각의 속성의 중요도가 달라 중요하지 않은 속성에 의해 중요한 속성이 왜곡되거나 때로는 마이닝의 결과가 잘못되는 결과를 얻을 수 있으며, 또한 전체 데이터를 사용할 경우 마이닝 과정을 저하시키는 문제로 속성 가중치과 속성선택에 과한 연구가 중요한 연구의 대상이 되고 있다. 최근 연구되고 있는 알고리즘들은 사용자의 의도와는 상관없이 데이터간의 관계에만 의존하여 가중치를 설정하므로 사용자가 마이닝 결과를 쉽게 이해하고 분석할 수 없는 문제점을 안고 있다. 본 논문에서는 클래스 정보가 있는 데이터뿐 아니라 클래스 정보가 없는 데이터를 분석할 경우 사용자의 의도에 따라 학습할 수 있도록 각 가중치를 부여하는 속성가중치 알고리즘을 제안한다. 또한 사용자가 의도한 정보를 이용하여 속성간의 가장 최적화 된 가중치를 찾아주며, Cramer's $V^2$함수를 적합도 함수로 하는 유전자 알고리즘을 사용한다. 알고리즘의 타당성을 검증하기 위해 전자상거래상의 실험 데이터와 몇 가지 벤치마크 데이터를 이용하여 본 논문의 타당성을 보인다.

  • PDF

순차패턴 마이닝에서 발생 간격 기반 가중치 부여 기법 (A Gap-based Weighting Approach in Mining Sequential Patterns)

  • 장중혁;신무종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.300-303
    • /
    • 2010
  • 순차패턴 마이닝에서 관심도가 큰 순차패턴을 얻기 위해서 구성요소의 단순 발생 순서뿐만 아니라 구성요소의 가중치를 추가로 고려할 수 있다. 본 논문에서는 순차패턴 마이닝에서 가중치 순차패턴을 탐색하기 위한 가중치 계산 기법으로 발생 간격에 기반한 순차패턴 가중치 부여 기법을 제안한다. 발생 간격 기반 가중치는 사전에 정의된 별도의 가중치 정보를 필요로 하지 않으며 순차정보를 구성하는 구성요소들의 발생 간격으로부터 구해진다. 즉, 순차패턴의 가중치를 구하는데 있어서 구성요소의 발생 순서와 더불어 이들의 발생 간격을 고려하며, 따라서 보다 관심도가 크고 유용한 순차패턴을 얻도록 지원한다.

환경 빅데이터 이슈 분석을 위한 용어 가중치 기법 비교 (Comparison of Term-Weighting Schemes for Environmental Big Data Analysis)

  • 김정진;정한석
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.236-236
    • /
    • 2021
  • 최근 텍스트와 같은 비정형 데이터의 생성 속도가 급격하게 증가함에 따라, 이를 분석하기 위한 기술들의 필요성이 커지고 있다. 텍스트 마이닝은 자연어 처리기술을 사용하여 비정형 텍스트를 정형화하고, 문서에서 가치있는 정보를 획득할 수 있는 기법 중 하나이다. 텍스트 마이닝 기법은 일반적으로 각각의 분서별로 특정 용어의 사용 빈도를 나타내는 문서-용어 빈도행렬을 사용하여 용어의 중요도를 나타내고, 다양한 연구 분야에서 이를 활용하고 있다. 하지만, 문서-용어 빈도 행렬에서 나타내는 용어들의 빈도들은 문서들의 차별성과 그에 따른 용어들의 중요도를 나타내기 어렵기때문에, 용어 가중치를 적용하여 문서가 가지고 있는 특징을 분류하는 방법이 필수적이다. 다양한 용어 가중치를 적용하는 방법들이 개발되어 적용되고 있지만, 환경 분야에서는 용어 가중치 기법 적용에 따른 효율성 평가 연구가 미비한 상황이다. 또한, 환경 이슈 분석의 경우 단순히 문서들에 특징을 파악하고 주어진 문서들을 분류하기보다, 시간적 분포도에 따른 각 문서의 특징을 반영하는 것도 상대적으로 중요하다. 따라서, 본 연구에서는 텍스트 마이닝을 이용하여 2015-2020년의 서울지역 환경뉴스 데이터를 사용하여 환경 이슈 분석에 적합한 용어 가중치 기법들을 비교분석하였다. 용어 가중치 기법으로는 TF-IDF (Term frequency-inverse document frquency), BM25, TF-IGM (TF-inverse gravity moment), TF-IDF-ICSDF (TF-IDF-inverse classs space density frequency)를 적용하였다. 본 연구를 통해 환경문서 및 개체 분류에 대한 최적화된 용어 가중치 기법을 제시하고, 서울지역의 환경 이슈와 관련된 핵심어 추출정보를 제공하고자 한다.

  • PDF

동적 가중치를 이용한 효율적인 순차 패턴 탐사 기법 (Efficient Mining of Dynamic Weighted Sequential Patterns)

  • 최필선;강동현;김환;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.1365-1368
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. 순차 패턴 탐사 분야 중에 동적 가중치 순차 패턴 탐사는 가중치가 시간에 따라 변화하는 컴퓨팅 환경에 적용하는 마이닝 기법으로 동적인 중요도 변화를 마이닝에 적용하여 다양한 환경에서 활용 가능하다. 이 논문에서는 다양한 순차 데이터에서 동적 가중치를 적용하여 순차 패턴을 탐사하는 새로운 시퀀스 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 시간 순서에 의한 상대적인 동적 가중치를 사용하여 탐색해야 하는 후보 패턴을 줄여줄 수 있어 빈발한 시퀀스 패턴을 빠르게 찾을 수 있다. 이 기법을 사용하면 기존 가중치를 적용하는 방식보다 메모리 사용과 처리 시간을 줄여줘 매우 효율적이다.

트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법의 성능분석 (Performance analysis of Frequent Itemset Mining Technique based on Transaction Weight Constraints)

  • 윤은일;편광범
    • 인터넷정보학회논문지
    • /
    • 제16권1호
    • /
    • pp.67-74
    • /
    • 2015
  • 최근, 아이템들의 가치를 고려한 빈발 아이템셋 마이닝 방법은 데이터 마이닝 분야에서 가장 중요한 이슈 중 하나로 활발히 연구되어왔다. 아이템들의 가치를 고려한 마이닝 기법들은 적용 방법에 따라 크게 가중화 빈발 아이템셋 마이닝, 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝, 유틸리티 아이템셋 마이닝으로 구분된다. 본 논문에서는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝들에 대해 실증적인 분석을 수행한다. 일반적으로 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법들은 데이터베이스 내 아이템들의 가치를 고려함으로써 트랜잭션 가중치를 계산한다. 또한, 그 기법들은 계산된 각 트랜잭션의 가중치를 바탕으로 가중화 빈발 아이템셋들을 마이닝 한다. 트랜잭션 가중치는 트랜잭션 내에 높은 가치의 아이템이 많이 포함 될수록 높은 값으로 나타나기 때문에 우리는 각 트랜잭션의 가중치의 분석을 통해 그 가치를 파악할 수 있다. 우리는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법 중에서 가장 유명한 알고리즘인 WIS와 WIT-FWIs, IT-FWIs-MODIFY, WIT-FWIs-DIFF의 장 단점을 분석하고 각각의 성능을 비교한다. WIS는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝의 개념과 그 기법이 처음 제안된 알고리즘이며, 전통적인 빈발 아이템셋 마이닝 기법인 Apriori를 기반으로 하고 있다. 또 다른 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 방법인 WIT-FWIs와 WIT-FWIs-MODIFY, WIT-FWIs-DIFF는 가중화된 빈발 아이템셋 마이닝을 더 효율적으로 수행하기 위해 격자구조(Lattice) 형태의 특별한 저장구조인 WIT-tree를 이용한다. WIT-tree의 각 노드에는 아이템셋 정보와 아이템셋이 포함된 트랜잭션의 ID들이 저장되며, 이 구조를 사용함으로써 아이템셋 마이닝 과정에서 발생되는 다수의 데이터베이스 스캔 과정이 감소된다. 특히, 전통적인 알고리즘들이 수많은 데이터베이스 스캔을 수행하는 반면에, 이 알고리즘들은 WIT-tree를 이용해 데이터베이스를 오직 한번만 읽음으로써 마이닝과정에서 발생 가능한 오버헤드 문제를 해결한다. 또한, 공통적으로 길이 N의 두 아이템셋을 이용해 길이 N+1의 새로운 아이템셋을 생성한다. 먼저, WIT-FWIs는 각 아이템셋이 동시에 발생되는 트랜잭션들의 정보를 활용하는 것이 특징이다. WIT-FWIs-MODIFY는 조합되는 아이템셋의 정보를 이용해 빈도수 계산에 필요한 연산을 줄인 알고리즘이다. WIT-FWIs-DIFF는 두 아이템셋 중 하나만 발생한 트랜잭션의 정보를 이용한다. 우리는 다양한 실험환경에서 각 알고리즘의 성능을 비교분석하기 위해 각 트랜잭션의 형태가 유사한 dense 데이터와 각 트랜잭션의 구성이 서로 다른 sparse 데이터를 이용해 마이닝 시간과 최대 메모리 사용량을 평가한다. 또한, 각 알고리즘의 안정성을 평가하기 위한 확장성 테스트를 수행한다. 결과적으로, dense 데이터에서는 WIT-FWIs와 WIT-FWIs-MODIFY가 다른 알고리즘들보다 좋은 성능을 보이고 sparse 데이터에서는 WIT-FWI-DIFF가 가장 좋은 효율성을 갖는다. WIS는 더 많은 연산을 수행하는 알고리즘을 기반으로 했기 때문에 평균적으로 가장 낮은 성능을 보인다.

동적 가중치 기반의 연관 서비스 탐사 기법 (An associative service mining based on dynamic weight)

  • 황정희
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권5호
    • /
    • pp.359-366
    • /
    • 2016
  • 유비쿼터스 환경에서 사용자에게 유용한 서비스를 제공하기 위해서는 시간과 공간을 기반으로 사용자의 행동과 선호 패턴을 고려하여 가장 적합한 데이터를 처리할 수 있는 방법이 필요하다. 실세계에서 사용자의 관심은 시간이 지남에 따라 변화할 수 있다. 그러므로 서비스 관심도의 변화를 중요도에 반영하여 정보를 추출할 수 있는 방법이 필요하다. 이 논문에서는 사용자에게 필요한 서비스 정보를 온톨로지로 설계하고 시간에 따라 동적으로 변화하는 사용자의 서비스 이용 패턴이나 데이터의 중요도를 동적 가중치로 표현하여 빈발 패턴을 찾는 방법을 제안한다. 이 논문에서 제안하는 동적 가중치를 고려하는 빈발 서비스 패턴 마이닝 기법은 시간의 변화에 따라 필요로 하는 사용자의 관심을 서비스의 중요도로 반영하므로 실시간의 최적화된 서비스 제공이 가능하다.

다중데이터베이스 마이닝에서 가중치 거리를 이용한 클러스터링 (A Weight Distance-based Clustering for MultiDatabase Mining)

  • 김진현;윤성대
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.695-697
    • /
    • 2003
  • 다중데이터베이스 마이닝에서 하나의 데이터 집합을 형성하는 작업은 많은 부하가 따른다. 그러므로, 본 논문에서는, 가중치 거리를 이용한 클러스터링을 통해 관련성이 높은 데이터베이스를 식별하는 기법을 제안한다. 제안한 기법은 빈발한 항목으로 구성된 데이터 집합을 생성하여 데이터베이스 사이의 유사성과 거리를 측정하고 데이터베이스간의 거리에 대한 식별성을 향상시키기 위하여 최다 빈발항목에 대한 비교 연산을 통해 가중치를 산출한다. 그리고 성능평가를 통하여 제안한 기법이 Ideal&Goodness 기법보다 다중데이터베이스의 트랜잭션 데이터베이스에 대한 식별 능력이 우수함을 알 수 있었다.

  • PDF

빈발도와 가중치를 이용한 서비스 연관 규칙 마이닝 (Mining Association Rule on Service Data using Frequency and Weight)

  • 황정희
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권2호
    • /
    • pp.81-88
    • /
    • 2016
  • 일반적인 빈발패턴 탐사 방법은 항목의 빈발도만을 고려한다. 그러나 유용한 정보를 추출하는 데 있어 빈발도와 더불어 고려해야 하는 것은 빈발항목이 아니더라도 연관된 항목이 주기적으로 함께 발생한다면 시기나 시간에 따라 관심의 중요도가 변화하는 것을 고려해야 한다. 즉, 시간에 따라 사용자가 요구하는 서비스의 중요도는 다르므로 각 서비스 항목에 대한 중요도의 값을 고려하여 마이닝 하는 방법이 필요하다. 본 논문에서는 서비스 온톨로지 기반으로 가중치를 이용한 서비스 빈발 패턴을 추출하는 마이닝 기법을 제안한다. 제안하는 기법은 시공간 상황을 기반으로 서비스의 중요도를 고려한 가중치를 부여하여 연관 서비스를 발견한다. 새롭게 탐사되는 서비스는 저장되어 있는 서비스 규칙과의 새로운 조합을 통해 사용자에게 최적의 서비스 정보를 제공할 수 있는 기반이 된다.

의사결정나무를 활용한 교량 구조계산서의 XML 스키마 매칭 가중치의 효율적 선택방안 연구 (An Efficient Selection of XML Schema Matching Parameters using Decision Tree for Structural Document of Bridge)

  • 박상일;안현정;김봉근;이상호
    • 한국방재학회:학술대회논문집
    • /
    • 한국방재학회 2010년도 정기 학술발표대회
    • /
    • pp.69.1-69.1
    • /
    • 2010
  • 본 연구는 교량 시설물의 재난방지를 위한 정보시스템의 구축에 있어 선행되어야 하는 교량 구조계산서 항목 저장정보의 질적 향상을 위해 XML 스키마 매칭 기법을 효율적으로 활용할 방법에 대해 제시하였다. 이를 위하여 XML 스키마 매칭에 사용되는 가중치 변화에 따른 매칭 정확도를 나타내는 데이터를 구축하고, 이를 활용하여 데이터 마이닝 기법 중 하나인 의사결정나무 모델을 구현하여 교량의 형식, 문서가 포함하고 있는 항목의 수, 문서를 작성한 회사에 따라 달라질 수 있는 최적의 가중치를 지동으로 선정할 수 있는 프로세스를 제안하였다. 의사결정나무 모델을 통해 결정한 매칭 가중치는 이전에 비하여 약 10% 정확도 상승효과가 있음을 알 수 있었다.

  • PDF