• Title/Summary/Keyword: 연관 마이닝

Search Result 486, Processing Time 0.025 seconds

A New Association Rule Mining based on Coverage and Exclusion for Network Intrusion Detection (네트워크 침입 탐지를 위한 Coverage와 Exclusion 기반의 새로운 연관 규칙 마이닝)

  • Tae Yeon Kim;KyungHyun Han;Seong Oun Hwang
    • Journal of Internet of Things and Convergence
    • /
    • v.9 no.1
    • /
    • pp.77-87
    • /
    • 2023
  • Applying various association rule mining algorithms to the network intrusion detection task involves two critical issues: too large size of generated rule set which is hard to be utilized for IoT systems and hardness of control of false negative/positive rates. In this research, we propose an association rule mining algorithm based on the newly defined measures called coverage and exclusion. Coverage shows how frequently a pattern is discovered among the transactions of a class and exclusion does how frequently a pattern is not discovered in the transactions of the other classes. We compare our algorithm experimentally with the Apriori algorithm which is the most famous algorithm using the public dataset called KDDcup99. Compared to Apriori, the proposed algorithm reduces the resulting rule set size by up to 93.2 percent while keeping accuracy completely. The proposed algorithm also controls perfectly the false negative/positive rates of the generated rules by parameters. Therefore, network analysts can effectively apply the proposed association rule mining to the network intrusion detection task by solving two issues.

The proposition of cosine net confidence in association rule mining (연관 규칙 마이닝에서의 코사인 순수 신뢰도의 제안)

  • Park, Hee Chang
    • Journal of the Korean Data and Information Science Society
    • /
    • v.25 no.1
    • /
    • pp.97-106
    • /
    • 2014
  • The development of big data technology was to more accurately predict diversified contemporary society and to more efficiently operate it, and to enable impossible technique in the past. This technology can be utilized in various fields such as the social science, economics, politics, cultural sector, and science technology at the national level. It is a prerequisite to find valuable information by data mining techniques in order to analyze big data. Data mining techniques associated with big data involve text mining, opinion mining, cluster analysis, association rule mining, and so on. The most widely used data mining technique is to explore association rules. This technique has been used to find the relationship between each set of items based on the association thresholds such as support, confidence, lift, similarity measures, etc.This paper proposed cosine net confidence as association thresholds, and checked the conditions of interestingness measure proposed by Piatetsky-Shapiro, and examined various characteristics. The comparative studies with basic confidence and cosine similarity, and cosine net confidence were shown by numerical example. The results showed that cosine net confidence are better than basic confidence and cosine similarity because of the relevant direction.

Development and Application of An Adaptive Web Site Construction Algorithm (적응형 웹 사이트 구축을 위한 연관규칙 알고리즘 개발과 적용)

  • Choi, Yun-Hee;Jun, Woo-Chun
    • The KIPS Transactions:PartD
    • /
    • v.16D no.3
    • /
    • pp.423-432
    • /
    • 2009
  • Advances in information and communication technologies are changing our society greatly. In knowledge-based society, information can be obtained easily via communication tools such as web and e-mail. However, obtaining right and up-to-date information is difficult in spite of overflowing information. The concept of adaptive web site has been initiated recently. The purpose of the site is to provide information only users want out of tons of data gathered. In this paper, an algorithm is developed for adaptive web site construction. The proposed algorithm is based on association rules that are major principle in adaptive web site construction. The algorithm is constructed by analysing log data in web server and extracting meaning documents through finding behavior patterns of users. The proposed algorithm has the following characteristics. First, it is superior to existing algorithms using association rules in time complexity. Its superiority is proved theoretically. Second, the proposed algorithm is effective in space complexity. This is due to that it does not need any intermediate products except a linked list that is essential for finding frequent item sets.

Association rule Mining between Climate factors and Fruits yields (과실 생산량과 기상요소간의 연관분석 마이닝)

  • Woo, Jong-Seon;Batbaatar, Erdenbileg;Ryu, Keun-Ho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.23-25
    • /
    • 2016
  • 이 논문에서는 기후조건과 농업 생산량을 포함하는 농업/기상 데이터에 데이터 마이닝의 연관규칙 기법을 적용하여 농업 생산의 기반이 되는 기후요인들과 생산량 간의 연관성을 분석하고자 한다. 기후 속성들의 값을 포함하고 있는 기상청 기후 데이터와 농업 생산량을 포함하는 통계청의 데이터를 통합 한 후 기후 속성들의 값을 이산화 하여 연관규칙 기법을 적용한다. 실험 결과 각 기후요소들과 생산량 간의 연관 규칙을 표현 할 수 있었다. 이를 통해 기후조건 변화에 따른 농업생산기반 취약성을 예방하는 지표를 마련하고 농업 생산성 향상에 기여 할 수 있을 것으로 기대한다.

  • PDF

A Design and Implementation of Expert Search Engine Using DataMining (데이타마이닝을 이용한 전문 검색엔진의 설계 및 구현)

  • Hwang, Bo-Youn;Kim, Byung-Chan;Kim, Young-Ji;Mun, Hyeong-Jeong;Woo, Yong-Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04a
    • /
    • pp.43-46
    • /
    • 2001
  • 본 논문에서는 데이타마이닝 기법을 이용하여 지능형 전문 검색엔진을 설계하고 사용자 인터페이스를 구현하였다. 먼저, 컴퓨터 분야의 전문 용어에 대하여 연관 규칙 탐사 알고리즘을 이용하여 의미적으로 연관된 용어들끼리 클러스터로 구성하였다. 전문 용어별로 구성된 클러스터는 본 논문에서 제안한 지식베이스 테이블에 저장하여 의미적으로 연관된 용어를 포함하는 웹 문서를 검색하는 과정에서 이용하였다. 검색과정에서는 사용자가 제시한 키워드와 관련된 전문 용어들간의 연관정도를 가중치로 부여하여 연관 정도가 높은 웹 문서순으로 출력하였다. 제안된 방법을 통하여 사용자가 제시한 키워드와 의미적으로 연관된 웹 문서를 효과적으로 검색할 수 있었다.

  • PDF

An Association Rule Mining Approach to Extract Clinical Pathways from EMR (전자의무기록으로부터 진료경로 추출을 위한 연관규칙마이닝 접근 방법)

  • Bae, In-Ho;Kim, Jin-Sang;Choe, Sang-Yeol;Kim, Yoon-Nyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.577-580
    • /
    • 2005
  • 본 논문에서는 임상의들의 진료데이터를 토대로 진료경로를 동적으로 생성하는 방법을 기술한다. 각 진료단계에서 추출된 규칙들을 토대로 진료경로를 생성하는데, 이를 위해 전자의무기록으로 구성된 임상 데이터를 기반으로 연관규칙마이닝을 이용하여 진료단계별 규칙을 추출하였다. 신뢰성 있는 진료경로의 추출이 이루어지면 의료 서비스의 질을 높이고, 병원 경영의 효율성 증대에 도움을 줄 수 있다.

  • PDF

Mining Time Series Data With Virtual Transaction (트랜잭션이 없는 시계열 데이터로 부터 가상 트랜잭션을 이용한 데이터 마이닝)

  • Kim, Min-Soo;Lee, Joon-Sub;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.31-34
    • /
    • 2001
  • 대용량의 데이터들로부터 사용자가 원하는 데이터를 찾기 위하여 많은 데이터 마이닝 기술들이 연구되어 실제 응용프로그램에서 많이 적용되고 있다. 이러한 데이터 마이닝의 기술 중 연관규칙은 항목들의 집합으로 표현되는 트랜잭션에서 각 항목간의 연관성을 찾는데 사용된다. 그러나 실세계에는 트랜잭션이 없이 일련의 이벤트만 시간에 따라서 발생하는 데이터들이 많이 존재한다. 이러한 시계열 이벤트 데이터들로부터 다양한 가상 트랜잭션을 생성하는 기법들을 제시한다. 이러한 가상 트랜잭션 데이터로 변환된 시계열 데이터에 연관규칙, 순차패턴, 주기패턴과 관련된 여러 가지 알고리즘을 바로 적용 함으로서 유용한 규칙들을 발견해 낼 수 있다.

  • PDF

Improved Association Rule Mining by Multiple Sampling & Trimming (복수 샘플링과 트리밍을 통한 고품질 연관규칙 추출법)

  • Hwang, Won-Tae;Kim, Dong-Seung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.919-921
    • /
    • 2005
  • 본 논문은 전체 데이터베이스에서 일부 추출된 샘플 데이터에서 빈발항목 집합을 찾는 연관규칙 마이닝 알고리즘을 기술한다. 샘플링기술을 이용하면 마이닝과정에서 필요한 데이터베이스의 접근 양을 줄이므로써 실행시간을 단축시킬 수 있다는 장점이 있지만, 전체데이터베이스를 이용한 마이닝보다 정확도가 떨어진다는 단점이 함께 존재한다. 이전의 Chen의 FAST알고리즘은 샘플링을 이용한 마이닝과정에서 거리오차함수를 이용한 트리밍과정을 통해 빈발 1항목집합에 대한 정확도를 개선시켰다. 이후 IFAST 알고리즘은 트리밍과정에서 빈발2-항목집합까지 고려하여 빈발2-항목집합 이상의 빈발항목집합에서도 정확도를 개선시켰다. 본 논문에서는 트리밍과정에서 사용될 추정데이터를 여러 개의 샘플데이터를 이용하여 얻으므로써 오류항목집합(false itemset)의 수를 줄이고 전체적인 정확도를 향상시키는 새로운 알고리즘을 소개한다.

  • PDF

Opinion Mining of Product Reviews using Association Rules (연관 규칙을 사용한 상품평 오피니언 마이닝)

  • Kim, Won-Young;Ryu, Joon-Suk;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.747-748
    • /
    • 2009
  • 사용자가 웹 상에 작성한 상품평은 다양한 정보를 포함하고 있는 데이터이다. 대부분의 사람들이 상품을 구입하기 전에 상품평을 통해서 상품에 대한 많은 정보를 얻는다. 이에 따라 대량의 상품평 데이터로부터 유용한 정보를 추출하여 요약하는 오피니언 마이닝에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 사용자가 많은 상품평들을 모두 읽어보지 않고 상품에 대한 오피니언과 장점과 단점을 쉽게 알 수 있도록 연관 규칙 마이닝을 적용하는 오피니언 마이닝 방법을 제안한다.

A Method Mining RFID Data Using Generation Meta-Rules (메타 규칙 생성에 의한 RFID 데이터 마이닝 기법)

  • Kim, Young-Hee;Lee, Chang-Yeol;Kang, En-Young;Kim, Ung-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.145-148
    • /
    • 2006
  • RFID 데이터에 대한 연관 규칙을 효율적으로 생성하기 위해서는 단일 개념 레벨에서 연관 규칙을 찾는 방법과는 달리 다단계 개념 레벨에서 의미 있는 정보를 발견할 수 있다. 이로부터 연관 규칙을 생성하게 되면 최상위 레벨의 정보를 통해 하위 레벨의 객체 이동 정보나 위치 정보, 상태 정보를 빠르게 획득 가능하다. 또한, 다차원 레벨을 갖는 연관 규칙 마이닝을 수행할 때 메타 규칙의 생성은 제한적이고 유용한 규칙만을 효율적으로 생성 가능하도록 할 수 있다. 따라서, 생성된 메타 규칙을 이용하여 많은 양의 데이터에서 질의를 효과적으로 수행 할 수 있을 뿐만 아니라, 데이터베이스의 저장 효율을 높이고, 객체간의 숨겨진 연관 관계를 발견하는데 있어 효율적인 방법이다.

  • PDF