• 제목/요약/키워드: 연관성규칙 분석

검색결과 206건 처리시간 0.027초

분류 모형 구축에 유용한 신뢰도 측도 간의 비교 (Comparison of confidence measures useful for classification model building)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권2호
    • /
    • pp.365-371
    • /
    • 2014
  • 데이터 마이닝 기법 중에서 연관성 규칙은 하나의 거래나 사건에 포함되어 있는 항목들의 관련성을 파악하기 위한 탐색적 자료 분석 방법이다. 이 기법은 지지도, 신뢰도, 향상도 등과 같은 흥미도 측도들을 이용하여 연관성 규칙을 생성한다. 일반적인 연관성 규칙에서는 최소 지지도를 만족하는 빈발항목집합을 생성한 후 최저 신뢰도를 만족하는 것을 연관성 규칙으로 채택하게 된다. 이 때 규칙 여부를 결정하기 위해 가장 많이 사용되는 신뢰도는 고려하는 항목의 순서가 바뀌게 되면 그 값이 달라지는 비대칭적 측도가 되는 동시에 항상 양의 값을 가진다. 따라서 신뢰도 값의 크기로는 양의 연관성이 있는지, 아니면 음의 연관성이 있는지를 알 수 없다. 본 논문에서는 이러한 문제를 극복하기 위해 분류 모형 구축에 유용한 신뢰도 측도들을 소개하고, 신뢰도들 간의 비교 분석을 통해 유용성을 평가하였다. 그 결과, 인과적 확인 신뢰도가 연관성의 방향을 보다 정확하게 나타내고 있다는 사실을 확인 하였다.

연관 규칙 마이닝에서의 평가기준 표준화 방안 (Standardization for basic association measures in association rule mining)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제21권5호
    • /
    • pp.891-899
    • /
    • 2010
  • 연관성 규칙은 방대한 양의 데이터베이스 속에 있는 각 항목들 간의 관련성을 수치화함으로써 두개 이상의 항목간의 관련성을 나타내는 기법으로 데이터 마이닝 분야에서 가장 많이 활용되고 있다. 의미 있는 연관성 규칙을 탐색하기 위한 가장 기본적인 평가기준에는 지지도, 신뢰도, 향상도 등이 있으며, 이들을 이용하여 연관성 규칙을 생성하게 된다. 이 때 사용되는 향상도는 그 값의 범위가 지지도나 신뢰도와는 다르므로 지지도나 신뢰도의 범위를 동일하도록 하기 위해 표준화할 필요가 있으며, 지지도와 신뢰도도 하나의 후항변수에 대해 여러 개의 전항변수들이 있는 경우 이들 중 어느 것이 후항변수와 가장 연관성이 있는지를 객관적으로 비교하기 위해서도 표준화가 필요하다. 본 논문에서는 각 항목집합의 주변 발생확률을 고려하여 객관적이고도 정확한 연관성 정도를 파악하기 위해 연관성 평가기준을 표준화하는 방안에 대해 연구하고자 한다. 또한 흥미도 측도의 세 가지 조건의 충족 여부를 점검해 본 후, 구체적인 예제를 통하여 기존의 연관성 평가기준과 표준화된 연관성 평가기준을 비교 분석하고자 한다.

데이터 마이닝을 위한 연관규칙의 다중 값 속성 처리방법 (Processing Multi-Valued Attributes in Association Rules for Data Mining)

  • 김산성;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.340-342
    • /
    • 2002
  • 다중 값이란 속성 값이 집합인 것을 말한다. 즉, 관계형 데이터베이스에서 자료 유형이 집합인 속성을 의미한다. 이러한 다중 값 속성 처리는 기존 데이터마이닝 기술 자체로는 처리한 수 없으며 후처리나 선처리 과정을 이용하여 처리하고 있다. 전처리나 후처리 과정을 통해 처리할 경우 수행과장에 있어 많은 시간이 소요되고 혹은 타당하지 않은 규칙이 생성되는 문제점을 가지고 있다. 특히 연관화 기법 특성상 분석하고자 할 항목이 증가할수록 연관성의 수가 지수(exponential)단위이기 때문에 이를 해결하는데는 상당한 어려움이 따르게 된다. 본 논문에서는 관계형 데이터베이스 테이블 구조에서 데이터 마이닝의 수행을 위한 전처리나 후처리의 과정을 고려하지 않음으로 위에서 언급된 문제점들을 해결하고자 한다. 특히 데이터 변환 작업 없이 정량적(Quantitative)연관 규칙과 연관 규칙(Market Basket Analysis)의 혼합 형태의 규칙을 생성할 수 있게끔 알고리즘을 확장하여 보다 효율적인 규칙이 생성될 수 있도록 한다. 마지막으로 Each Movie 데이터를 사용하여 확장한 알고리즘의 다중 값 속성 처리 방법의 효율성과 타탕성을 검증한다.

  • PDF

동시 비 발생 빈도를 고려한 유사성 측도의 연관성 규칙 평가 기준 활용 방안 (Association rule thresholds of similarity measures considering negative co-occurrence frequencies)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제22권6호
    • /
    • pp.1113-1121
    • /
    • 2011
  • 최근 여러 분야에서 다양한 데이터 마이닝 방법들을 현업에 적용하고 있는 추세이다. 가장 많이 활용되고 있는 데이터 마이닝 기법 중의 하나인 연관성 규칙은 대용량 데이터베이스에 내재되어 있는 항목들 간의 관련성을 수치화하여 그들 간의 연관 정도를 나타내는 기법이다. 의미 있는 연관성 규칙을 생성하기 위해 지지도, 신뢰도, 향상도 등의 측도가 가장 기본적으로 활용되고 있다. 본 논문에서는 군집 분석이나 다차원 분석법에서 많이 활용되고 있는 유사성 측도들 중에서 동시 비 발생 빈도를 고려한 유사성 측도를 연관성 평가 기준으로 제안한 후, 예제를 통하여 기존의 신뢰도 및 지지도와 비교함으로써 그 유용성을 알아보았다. 모의실험 결과를 종합해볼 때, 동시 발생 빈도 또는 동시 비 발생 빈도가 증가하면 본 논문에서 고려한 모든 유사성 측도들은 지지도 및 신뢰도와 마찬가지로 증가하며, 불일치 계수의 값이 증가하면 이 측도들은 감소하게 된다는 사실을 알 수 있었다. 또한 이들 유사성 측도들은 지지도 및 신뢰도와 매우 유의한 상관관계가 있는 것으로 나타났으며, 전항과 후항이 바뀌더라도 값의 변화가 없기 때문에 신뢰도 보다 더 바람직한 연관성 규칙 평가 기준이라고 할 수 있다.

연관 규칙과 협력적 여과 방식을 이용한 추천 시스템 (Recommender System using Association Rule and Collaborative Filtering)

  • 이기현;고병진;조근식
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2002년도 춘계학술대회 논문집
    • /
    • pp.265-272
    • /
    • 2002
  • 기존의 인터넷 웹사이트에서는 사용자의 만족을 극대화시키기 위하여 사용자별로 개인화 된 서비스를 제공하는 협력적 필터링 방식을 적용하고 있다 협력적 여과 기술은 비슷한 선호도를 가지는 사용자들과의 상관관계를 기반으로 취향에 맞는 아이템을 예측하여 특정 사용자에게 추천하여준다. 그러나 협력적 필터링은 추천을 받기 위해서 특정 수 이상의 아이템에 대한 평가를 요구하며, 또한 전체 사용자에 대해 단지 비슷한 선호도를 가지는 일부 사용자 정보에 의지하여 추천함으로써 나머지 사용자 정보를 무시하는 경향이 있다. 그러나 나머지 사용자 정보에도 추천을 위한 유용한 정보가 숨겨져 있다. 우리는 이러한 숨겨진 유용한 추천 정보를 발견하기 위하여 본 논문에서는 협력적 여과 방식과 함께 데이터 마이닝(Data Mining)에서 사용되는 연관 규칙(Association Rule)을 추천에 사용한다. 연관 규칙은 한 항목 그룹과 다른 항목 그룹 사이에 존재하는 연관성을 규칙(Rule)의 형태로 표현한 것이다. 이와 같이 생성된 연관 규칙은 개인 구매도 분석, 상품의 교차 매매(Cross-Marketing), 카탈로그 디자인, 염가 매출품(Loss Leader)분석, 상품 진열, 구매 성향에 따른 고객 분류 다양하게 사용되고 있다. 그러나 이런 연관 규칙은 추천 시스템에서 잘 응용되지 못하고 있는 실정이다. 본 논문에서 우리는 연관 규칙을 추천 시스템에 적용해, 항목 그룹 사이에 연관성을 유도함으로써 추천에 효율적으로 사용할 수 있음을 보였다. 즉 전체 사용자의 히스토리(History) 정보를 기반으로 아이템 사이의 연관 규칙을 유도하고 협력적 여과 방식과 함께 보조적으로 연관 규칙을 추천을 위해 사용함으로써 추천 시스템에 효율성을 높였다. 구축, 각종 전자문서 생성, 전자 결제, 온라인 보험 가입, 해운 선용품 판매 및 관련 정보 제공 등 해운 거래를 위한 종합적인 서비스가 제공되어야 한다. 이를 위해, 본문에서는 e-Marketplace의 효율적인 연계 방안에 대해 해운 관련 업종별로 제시하고 있다. 리스트 제공형, 중개형, 협력형, 보완형, 정보 연계형 등이 있는데, 이는 해운 분야에서 사이버 해운 거래가 가지는 문제점들을 보완하고 업종간 협업체제를 이루어 원활한 거래를 유도할 것이다. 그리하여 우리나라가 동북아 지역뿐만 아니라 세계적인 해운 국가 및 물류 ·정보 중심지로 성장할 수 있는 여건을 구축하는데 기여할 것이다. 나타내었다.약 1주일간의 포르말린 고정이 끝난 소장 및 대장을 부위별, 별 종양개수 및 분포를 자동영상분석기(Kontron Co. Ltd., Germany)로 분석하였다. 체의 변화, 장기무게, 사료소비량 및 마리당 종양의 개수에 대한 통계학적 유의성 검증을 위하여 Duncan's t-test로 통계처리 하였고, 종양 발생빈도에 대하여는 Likelihood ration Chi-square test로 유의성을 검증하였다. C57BL/6J-Apc$^{min/+}$계 수컷 이형접합체 형질전환 마우스에 AIN-76A 정제사료만을 투여한 대조군의 대장선종의 발생률은 84%(Group 3; 21/25례)로써 I3C 100ppm 및 300ppm을 투여한 경우에 있어서는 각군 모두 60%(Group 1; 12/20 례, Group 2; 15/25 례)로 감소하는 경향을 나타내었다. 대장선종의 마리당 발생개수에 있어서는 C57BL/6J-Apc$^{min/+}$계 수컷 이형접합체 형질전환 마우스에 AIN-76A 정제사료

  • PDF

침입경보 축약을 통한 규칙기반 연관관계 분석기 설계 (Design of a Rule-Based Correlation Analyzer through Reducing Intrusion Alerts)

  • 이성호;김민수;노봉남;서정택;최대식;박응기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.1091-1094
    • /
    • 2004
  • 전통적인 호스트 기반 침입탐지시스템과 네트워크 기반 침입탐지시스템은 각각 로그 데이터나 패킷 정보에서 단일 공격을 탐지하고 침입경보를 생성한다. 그러므로, 기존의 침입탐지시스템들은 침입경보간의 상호 연관성에 대한 정보가 부족하게 되고, 다수의 거짓 침입경보를 발생시킨다. 이를 해결하기 위해, 본 논문에서는 추론 규칙을 이용하는 침입경보 연관관계 시스템을 제안한다. 제안한 시스템은 침입경보 수집기, 침입경보 전처리기, 침입경보 연관관계 분석기로 구성되어 있다. 침입경보 수집기는 각 침입탐지시스템으로부터 필터링 과정을 거쳐 전송된 침입경보를 받아 침입경보 데이터베이스에 저장한다. 침입경보 전처리기는 불필요한 침입경보를 줄임으로써 침입경보 연관관계 분석의 효율성을 높인다. 마지막으로, 침입경보 연관관계 분석기는 추론 규칙을 이용하여 침입경보간의 상호연관성을 파악한다.

  • PDF

연관법칙 마이닝(Association Rule Mining)을 이용한 ANIDS (Advanced Network Based IDS) 설계 (ANIDS(Advanced Network Based Intrusion Detection System) Design Using Association Rule Mining)

  • 정은희;이병관
    • 한국정보통신학회논문지
    • /
    • 제11권12호
    • /
    • pp.2287-2297
    • /
    • 2007
  • 제안한 ANIDS(Advanced Network based IDS)는 네트워크 패킷을 수집하여 연관규칙 마이닝 기법을 이용하여 패킷의 연관성을 분석하고, 연관성이 높은 패킷을 이용해 패턴 그래프를 생성한 후, 생성된 패턴 그래프를 이용해 침입인지를 판단하는 네트워크 기반 침입 탐지 시스템이다. ANIDS는 패킷 수집 및 관리하는 PMM(Packet Management Module), 연관성 있는 패킷들만을 이용해 패턴 그래프를 생성하는 PGGM (Pattern Graph Generate Module), 침입을 탐지하는 IDM(Intrusion Detection Module)으로 구성된다. 특히, PGGM은 Apriori 알고리즘을 이용해 $Sup_{min}$보다 큰 연관규칙의 후보 패킷을 찾은 후, 연관규칙의 신뢰도를 측정하여 최소 신뢰도 $Conf_{min}$보다 큰 연관규칙의 패턴 그래프를 생성한다. ANIDS는 패킷간의 연관성을 분석하여 침입인지를 탐지 할 수 있는 패턴 그래프를 사용함으로써, 침입 탐지의 긍정적 결함 오류를 감소시킬 수 있으며, 완벽한 패턴 그래프 패턴이 생성되기 전에, 이미 침입으로 판정된 패턴 그래프 패턴과 비교하여 유사한 패턴 형태를 침입으로 간주하므로 기존의 침입 탐지 시스템에 비해 침입 탐지속도를 감소시키고 침입 탐지율을 증가시킬 수 있다.

데이터마이닝 기법을 활용한 건설 중대 재해요인 간 연관성 분석 (Affinity Analysis Between Factors of Fatal Occupational Accidents in Construction Using Data Mining Techniques)

  • 임지선;한상욱;강영철;강상혁
    • 한국건설관리학회논문집
    • /
    • 제22권5호
    • /
    • pp.29-38
    • /
    • 2021
  • 정부와 기업이 건설업의 산업재해를 줄이기 위해 지속적으로 노력하고 있지만, 재해는 크게 줄어들지 않고 있다. 본 연구는 건설 재해에 영향을 미치는 요인들 간의 연관성을 정량적으로 규명하고자 하였다. 산업안전공단에서 공개한 중대재해 사례 1,197건을 대상으로, 데이터마이닝 기법 중 하나인 연관성 분석을 이용하여 연구를 수행하였다. 산업안전공단에서 제공하는 데이터와 외부 변수를 포함하여 재해 발생 형태, 건설업종, 작업내용, 기인물, 체감온도, 사고 시간대, 추락높이의 변수로 아이템을 구성하여 분석하였으며, 떨어짐 재해와 그 외의 재해로 구분하여 연관규칙을 도출하였다. 떨어짐 재해의 경우 향상도가 1.38 이상인 64개의 연관규칙을 도출하였으며, 떨어짐을 제외한 재해의 경우 향상도가 1.54 이상인 59개의 연관규칙을 도출하였다. 도출된 연관규칙을 재해요인 간의 연관성에 초점을 두고 해석한 후, 고찰에서 연구의 한계와 건설재해 요인 간의 관련성을 파악할 때 연관성 분석 기법을 적용함에 있어 유의사항을 제시하였다. 본 연구는 건설 재해에 영향을 미치는 요인들 간의 연관성을 정량적인 수치로 제시하여 추후 근로자들과 현장관리자가 건설현장에서 적절한 안전대책을 마련하는 기초자료를 제공하였다는 점에서 의미를 찾을 수 있다.

스퀀스 연관규칙을 이용한 개인화 웹 마이닝 설계 (Design of a Personalized Web Mining System Using a Sequence Association Rule)

  • 윤종찬;윤성대
    • 한국멀티미디어학회논문지
    • /
    • 제10권9호
    • /
    • pp.1106-1116
    • /
    • 2007
  • 최근 들어 웹을 이용한 e-Commerce의 거래는 그 크기나 복잡도면에서 급속도로 확산되고 있다. 그러므로 웹사이트의 설계나 웹 서버 설계 등이 복잡해지고 있다. 또한 웹 사용자가 많은 웹 이동경로를 이용하기 때문에 웹 사용자에 대한 데이터를 분석하는 일이 쉽지 않다. 기존 논문에서는 연관 규칙 탐사는 항목들간의 상관성을 찾아내는 것으로 기존의 연관 규칙 탐사 알고리즘들은 상관성이 높은 모든 항목들을 찾아낸다. 그러나 사용자들은 종종 자신이 관심 있는 연관 규칙들만을 찾길 원한다. 하지만 기존의 알고리즘을 그대로 사용하여 찾아낸 모든 연관 규칙들 중에서 원하는 규칙들만을 찾아내는 것은 매우 비효율적이다. 본 논문에서는 웹 사용자의 이동경로의 사용자 패턴을 데이터마이닝 기법 중 하나인 연관규칙을 이용하여 사용자에게 맞는 이동경로를 구한 후 모든 경로를 이어주기 위해 시차 연관규칙을 이용하여 각 노드들을 이어주는 시스템을 제안한다. 제안한 시스템은 시차 연관규칙 기법을 통해 웹 사용자의 이동 경로를 사용자의 특성에 맞는 개인화 또는 고객 세분화된 사이트를 구축 가능하게 제안한다.

  • PDF

기본적인 연관평가기준 전부를 고려한 비선형 회귀모형에 의한 연관성 규칙 수의 결정 (Non-linear regression model considering all association thresholds for decision of association rule numbers)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권2호
    • /
    • pp.267-275
    • /
    • 2013
  • 데이터 마이닝 기법들 중에서도 연관성 규칙은 가장 최근에 개발된 기법으로 대용량 데이터베이스에서 각 항목들 간의 관련성을 찾아내며, 두 항목간의 관계를 명확히 수치화함으로써 두 개 이상의 항목간의 관련성을 표시하여 주기 때문에 현장에서 직접 적용이 가능하다. 일반적으로 연관성 규칙 생성 여부를 판단할 때, 각 항목간의 연관성을 반영하는 기준인 지지도, 신뢰도, 향상도 등의 흥미도 측도를 활용하게 된다. 실제적으로 연관성 규칙의 수를 결정하기 위해서는 이들 흥미도 측도들의 평가기준을 정하기 위해 반복적으로 조정 과정을 거쳐야 한다. 본 논문에서는 이러한 문제를 해결하기 위해 연관성 평가기준 모두를 일반적으로 많이 활용되고 있는 비선형 회귀모형에 적용하여 연관성 규칙의 수를 추정하는 방안을 강구하였다. 또한 분산팽창계수를 이용하여 다중공선성 문제를 진단하는 동시에 분산분석 결과와 수정 결정계수를 이용하여 각 모형의 기여도를 비교하여 가장 바람직한 회귀 모형을 구하였다.