• 제목/요약/키워드: 연관 마이닝

검색결과 486건 처리시간 0.024초

빈발 항목의 탐색 시간을 단축하기 위한 알고리즘 (An Algorithm for reducing the search time of Frequent Items)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제15권1호
    • /
    • pp.147-156
    • /
    • 2011
  • 최근 정보시스템의 활용도가 높아짐에 따라, 많은 데이터를 이용하여 필요한 상품을 빠르게 추출하는 방법들에 대한 연구가 활발히 이루어지고 있다. 숨겨진 패턴을 탐색하는 연관 규칙 탐색 기법들이 많은 관심을 받고 있으며, Apriroi 알고리즘은 대표적인 기법이다. 그러나 Apriori 알고리즘은 반복적인 스캔으로 인한 탐색시간 증가 문제를 가지고 있다. 본 논문에서는 빈발항목의 탐색시간을 단축하기 위한 알고리즘을 제안한다. 제안한 알고리즘은 트랜잭션 데이터베이스를 이용하여 매트릭스를 생성하고 매트릭스에서 트랜잭션들의 평균 항목 개수와 정의한 최소 지지도를 사용하여 빈발 항목을 탐색한다. 트랜잭션의 평균 항목 개수는 트랜잭션의 수를 줄이는데 사용되고 최소 지지도는 항목을 줄이는데 사용된다. 제안한 알고리즘의 성능 평가는 기존 알고리즘과의 탐색시간 비교와 정확도 비교로 이루어진다. 실험 결과는 제안한 알고리즘이 기존의 Apriori와 매트릭스 알고리즘보다 최종 빈발 항목의 추출에서 빠르고 효율적으로 탐색이 이루어지는 것을 확인하였다.

데이터 마이닝에서 기존의 연관규칙을 갱신하는 효율적인 앨고리듬 (An Efficient Algorithm for Updating Discovered Association Rules in Data Mining)

  • 김동필;지영근;황종원;강맹규
    • 산업경영시스템학회지
    • /
    • 제21권45호
    • /
    • pp.121-133
    • /
    • 1998
  • This study suggests an efficient algorithm for updating discovered association rules in large database, because a database may allow frequent or occasional updates, and such updates may not only invalidate some existing strong association rules, but also turn some weak rules into strong ones. FUP and DMI update efficiently strong association rules in the whole updated database reusing the information of the old large item-sets. Moreover, these algorithms use a pruning technique for reducing the database size in the update process. This study updates strong association rules efficiently in the whole updated database reusing the information of the old large item-sets. An updating algorithm that is suggested in this study generates the whole candidate item-sets at once in an incremental database in view of the fact that it is difficult to find the new set of large item-sets in the whole updated database after an incremental database is added to the original database. This method of generating candidate item-sets is different from that of FUP and DMI. After generating the whole candidate item-sets, if each item-set in the whole candidate item-sets is large at an incremental database, the original database is scanned and the support of each item-set in the whole candidate item-sets is updated. So, the whole large item-sets in the whole updated database is found out. An updating algorithm that is suggested in this study does not use a pruning technique for reducing the database size in the update process. As a result, an updating algoritm that is suggested updates fast and efficiently discovered large item-sets.

  • PDF

연관규칙 마이닝을 활용한 개념적 데이터베이스 설계 자동화 기법 (Automated Conceptual Data Modeling Using Association Rule Mining)

  • 손윤호;김인규;김남규
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제18권4호
    • /
    • pp.59-86
    • /
    • 2009
  • Data modeling can be regarded as a series of processes to abstract real-world business concerns. The conceptual modeling phase is often regarded as the most difficult stage in the entire modeling process, because quite different conceptual models may be produced even for similar business domains based on users' varying requirements and the data modelers' diverse perceptions of the requirements. This implies that an object considered as an entity in one domain may be considered as an attribute in another, and vice versa. However, many traditional knowledge-based automated database design systems unfortunately fail to construct appropriate Entity-Relationship Diagrams(ERDs) for a given set of requirements due to the rigid assumption that an object should be classified as an entity if it has been classified as an entity in previous applications. In this paper, we propose an alternative automation system which can generate ERDs from business descriptions using association rule mining technique. Our system can be differentiated from the traditional ones in that our system can perform data modeling only based on business description written by domain workers, rather than relying on any kind of knowledge base. Since the proposed system can produce various versions of ERDs from the same business descriptions simultaneously, users can have the opportunity to choose one of the ERDs as being the most appropriate, based on their business environment and requirements. We performed a case study for personnel management in a university to evaluate the practicability of the proposed system This paper summarizes the result of it in the experiment section.

유전자 발현 데이터에 적용한 거시적인 바이클러스터링 기법 (Macroscopic Biclustering of Gene Expression Data)

  • 안재균;윤영미;박상현
    • 정보처리학회논문지D
    • /
    • 제16D권3호
    • /
    • pp.327-338
    • /
    • 2009
  • 마이크로어레이 데이터는 유전자의 집합이 어떠한 조건 혹은 샘플의 집합 하에서 얼마나 발현되는지를 수치화한 2차원 행렬 데이터이다. 바이클러스터는 마이크로어레이의 샘플의 부분 집합과 이 샘플 부분 집합 하에서 일정한 증감 패턴을 보이는 유전자의 부분 집합을 말한다. 이렇게 같은 패턴을 보이는 유전자의 부분 집합은 일정한 정도의 유의 수준으로 비슷한 기능을 한다고 말할 수 있다. 따라서 바이클러스터링 알고리즘은 같은 기능에 연관된 유전자의 집합과, 이 기능이 발현되고 있는 조건의 집합을 밝혀내는데 있어서 매우 유용하다. 본 논문에서는 다항식 시간 복잡도를 유지하면서, 높은 기능적 상관관계를 가지는 바이클러스터를 밝혀 낼 수 있는 알고리즘을 제안한다. 이 알고리즘은 1) 마이크로어레이 데이터에 심한 노이즈가 있을 경우 패턴으로 인식하지 못하는 기존 알고리즘과 달리, 노이즈 레벨이 심하더라도 거시적으로 비슷한 모양을 보이는 패턴을 찾아내는 방식을 이용하여 숨어있는 패턴들을 찾아낼 수 있고, 2) 바이클러스터 상호간에 오버랩을 허용하며, 또한 다양성이 보장되는 복수의 바이클러스터를 찾아내며, 3) 찾아진 유전자 부분 집합의 기능적 상관관계가 매우 높은 특성을 지니고, 4) 유전자 및 샘플의 순서와 상관없이 결정적인(deterministic) 결과를 도출한다. 또한 본 논문에서는 알고리즘이 찾아낸 바이클러스터의 기능적 상관관계의 정도와, 비교 알고리즘이 찾아낸 바이클러스터의 기능적 상관관계의 정도를 유전자 온톨로지(Gene Ontology)를 통해서 측정함으로써 비교하고 있다.

빅데이터 분석을 활용한 사물인터넷 키워드에 관한 조망 (An Insight Study on Keyword of IoT Utilizing Big Data Analysis)

  • 남수태;김도관;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.146-147
    • /
    • 2017
  • 빅데이터 분석은 데이터베이스에 잘 정리된 정형 데이터뿐만 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 생성되는 웹 문서, 이메일, 소셜 데이터 등 비정형 데이터를 효과적으로 분석하는 기술을 말한다. 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 글로벌 리서치 기관들은 빅데이터 분석을 2011년 이래로 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅데이터의 적용을 통해 새로운 가치 창출을 위해 노력을 하고 있다. 본 연구에서는 다음 커뮤니케이션의 빅데이터 분석 도구인 소셜 매트릭스를 활용하여 분석하였다. 2017년 10월 8일 시점 1개월 기간을 설정하여 "사물인터넷" 키워드에 대한 대중들의 인식을 분석하였다. 빅데이터 분석의 결과는 다음과 같다. 첫째, 사물인터넷 키워드에 대한 1위 연관 검색어는 기술(995)인 것으로 나타났다. 결과를 바탕으로 연구의 한계와 시사점을 제시하고자 한다.

  • PDF

국내 수의과학 분야의 지적 구조 분석에 관한 연구 (A Study on the Analysis of Intellectual Structure of Korean Veterinary Sciences)

  • 조현양
    • 정보관리연구
    • /
    • 제43권2호
    • /
    • pp.43-66
    • /
    • 2012
  • 이 연구는 저자프로파일링 기법을 활용하여 국내 수의과학 분야의 지적 구조에 대한 계량적인 접근을 시도하였다. 계량적인 접근은 인용 데이터를 기본으로 수의과학 분야의 국내 3개 주요 학술지를 선정하고, 선정된 학술지에 수록된 740편의 논문 가운데 주요 저자 50인의 논문을 대상으로 분석하였다. 분석결과 분석 대상 50인의 저자는 주제적 연관성에 따라 4개의 상위 클러스터와 11개의 하위 클러스터를 형성하는 것으로 나타났다. 이 연구에서는 주제분야별 지적 구조의 시각화를 위하여 다차원척도법을 이용하여 지도를 생성하였으며, 각 클러스터별로 선정된 저자의 논문 제목, 초록 및 키워드를 이용하여 4개 상위 클러스터 및 11개 하위 클러스터의 주제를 판정하였다. 또한 각 주제분야 클러스터별로 저작 활동이 활발한 연구자를 선정하고 연구자의 관심 주제 분야를 표현하였다. 이 연구를 통하여 수의과학 분야의 주제별 연구자간의 네트워크와 최근 연구 동향 파악이 가능하였다.

특허와 뉴스 기사를 이용한 가상현실 기술에 관한 탐색적 연구 (An Exploratory Study of VR Technology using Patents and News Articles)

  • 김성범
    • 디지털융복합연구
    • /
    • 제16권11호
    • /
    • pp.185-199
    • /
    • 2018
  • 이 연구의 목적은 가상현실(VR)의 핵심기술을 특허 분석을 통해서 도출하고 VR에 대한 사회와 대중의 관심을 뉴스 분석을 통해서 탐색하는 것이다. 연구1에서는 특허 텍스트의 단어 출현 빈도를 이용하여 핵심 키워드를 도출하고 업체별, 연도별, 기술 분류별 비교를 하였으며, 네트워크 분석 프로그램인 넷마이너를 사용하여 특허의 IPC 코드를 분석하였다. 연구2에서는 뉴스 기사의 텍스트를 내용분석 도구인 T-LAB 프로그램을 사용하여 분석하였다. 키워드 선정을 위해 TF-IDF를 사용하였고, 카이제곱과 연관지수(Association index) 알고리즘을 사용하여 VR과 관련성이 높은 단어를 추출하였다. 이 연구를 통해 VR 기술이 광학과 머리착용디스플레이(HMD), 데이터 분석, 전기, 전자 기술을 포함하는 융합기술임을 확인하였고, 광학기술이 중심적 기술임을 발견하였다. 뉴스 기사를 통해서는 대중은 VR 공급업체와 시장의 형성과 성장에 관심을 가지며 VR은 사용자 경험에 기초해서 개발되어야 함을 도출하였다.

Big 5 성격 요소와 머신 러닝 알고리즘을 통한 창의적인 사람들의 특징 연구 (Feature Selection for Creative People Based on Big 5 Personality traits and Machine Learning Algorithms)

  • 김용준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.97-102
    • /
    • 2019
  • 창의적인 사람에 대한 정확한 기준이나 수치화를 사용하여 체계적인 분류와 분석 방법이 없었기에 정의하는 데에 어려움이 많다. 이 문제를 해결하기 위하여 본 연구에서는 창의적인 사람을 어떻게 구분 지을 수 있을지에 대한 것과 어떤 유사한 성격이 있는지 분석한다. 본 연구에서 우선 Big 5 성격 특성 기법을 이용하여 설문조사를 진행하고, 그 설문조사로 얻은 데이터 세트를 가지고 데이터 마이닝 도구인 WEKA를 이용하여 데이터 세트를 분류하고 분석한 뒤, 창의적인 사람들과 연관성 있는 성격 특징들을 다양한 머신 러닝 기법을 이용하여 분석하는 것을 목표로 진행하였다. 7개의 특징 선택 알고리즘을 활용하고, 특징 선택 알고리즘들로 분류된 특징 집단을 선택하여 머신 러닝 알고리즘에 적용하여 정확도를 알아냈고, 서포트 벡터 머신을 통해 나온 특징이 가장 높은 분류 결과를 도출하였다.

과탐지 감소를 위한 NSA 기반의 다중 레벨 이상 침입 탐지 (Negative Selection Algorithm based Multi-Level Anomaly Intrusion Detection for False-Positive Reduction)

  • 김미선;박경우;서재현
    • 정보보호학회논문지
    • /
    • 제16권6호
    • /
    • pp.111-121
    • /
    • 2006
  • 인터넷이 빠르게 성장함에 따라 네트워크 공격기법이 변화되고 새로운 공격 형태가 나타나고 있다. 네트워크상에서 알려진 침입의 탐지는 효율적으로 수행되고 있으나 알려지지 않은 침입에 대해서는 오탐지(false negative)나 과탐지(false positive)가 너무 높게 나타난다. 또한, 네트워크상에서 지속적으로 처리되는 대량의 패킷에 대하여 실시간적인 탐지와 새로운 침입 유형에 대한 대응방법과 인지능력에 한계가 있다. 따라서 다양한 대량의 트래픽에 대해서 탐지율을 높이고 과탐지를 감소할 수 있는 방법이 필요하다. 본 논문에서는 네트워크 기반의 이상 침입 탐지 시스템에서 과탐지를 감소하고, 침입 탐지 능력을 향상시키기 위하여 다차원 연관 규칙 마이닝과 수정된 부정 선택 알고리즘(Negative Selection Algorithm)을 결합한 다중 레벨 이상 침입 탐지 기술을 제안한다. 제안한 알고리즘의 성능 평가를 위하여 기존의 이상 탐지 알고리즘과 제안된 알고리즘을 수행하여, 각각의 과탐지율을 평가, 제시하였다.

건설신기술에 대한 토픽 모델링 및 토픽 변화추이 분석 (Topic modeling and topic change trend analysis for advanced construction technologies)

  • 정성윤;김남곤
    • 스마트미디어저널
    • /
    • 제10권4호
    • /
    • pp.102-110
    • /
    • 2021
  • 현재 국내 건설기술의 발전을 도모하기 위해 건설신기술 지정 제도를 운영하고 있다. 이 제도를 통해 지정된 건설신기술과 관련하여 중요도가 높은 출현 어휘와 어휘들 간의 관계를 분석함으로써 건설신기술에 내재된 암묵적인 의미를 살펴보고자 하였다. 이를 위해 918건의 건설신기술정보를 수집하였다. 수집된 건설신기술의 고시연도와 요약 내용을 기초로 하여 건설신기술별로 출현어휘의 중요도를 측정하였다. LDA 모형을 기반으로 한 4개의 토픽별로 연관된 어휘들 간의 영향정도를 평가하였다. 기술적용분야에 따른 토픽을 분석하였다. 1990년부터 2021년까지의 토픽별로 영향력이 높은 어휘들의 변화 추이를 유추하였다. 향후 환경·기계·설비 토픽과 구조물의 보수 보강 토픽의 영향정도 변화와 이에 관련한 적용기술 분야를 예측하였다. 토픽의 개발방향을 예측하였다.