• 제목/요약/키워드: unsupervised analysis

검색결과 311건 처리시간 0.025초

Factors Clustering Approach to Parametric Cost Estimates And OLAP Driver

  • JaeHo, Cho;BoSik, Son;JaeYoul, Chun
    • 국제학술발표논문집
    • /
    • The 3th International Conference on Construction Engineering and Project Management
    • /
    • pp.707-716
    • /
    • 2009
  • The role of cost modeller is to facilitate the design process by systematic application of cost factors so as to maintain a sensible and economic relationship between cost, quantity, utility and appearance which thus helps in achieving the client's requirements within an agreed budget. There are a number of research on cost estimates in the early design stage based on the improvement of accuracy or impact factors. It is common knowledge that cost estimates are undertaken progressively throughout the design stage and make use of the information that is available at each phase, through the related research up to now. In addition, Cost estimates in the early design stage shall analyze the information under the various kinds of precondition before reaching the more developed design because a design can be modified and changed in all process depending on clients' requirements. Parametric cost estimating models have been adopted to support decision making in a changeable environment, in the early design stage. These models are using a similar instance or a pattern of historical case to be constituted in project information, geographic design features, relevant data to quantity or cost, etc. OLAP technique analyzes a subject data by multi-dimensional points of view; it supports query, analysis, comparison of required information by diverse queries. OLAP's data structure matches well with multiview-analysis framework. Accordingly, this study implements multi-dimensional information system for case based quantity data related to design information that is utilizing OLAP's technology, and then analyzes impact factors of quantity by the design criteria or parameter of the same meaning. On the basis of given factors examined above, this study will generate the rules on quantity measure and produce resemblance class using clustering of data mining. These sorts of knowledge-base consist of a set of classified data as group patterns, of which will be appropriate stand on the parametric cost estimating method.

  • PDF

Malware Detection Using Deep Recurrent Neural Networks with no Random Initialization

  • Amir Namavar Jahromi;Sattar Hashemi
    • International Journal of Computer Science & Network Security
    • /
    • 제23권8호
    • /
    • pp.177-189
    • /
    • 2023
  • Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측 (Futures Price Prediction based on News Articles using LDA and LSTM)

  • 주진현;박근덕
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.167-173
    • /
    • 2023
  • 경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.

그래프 기반 이기종 위협정보 분석기술 연구 (A Study on Graph-Based Heterogeneous Threat Intelligence Analysis Technology)

  • 이예은;이태진
    • 정보보호학회논문지
    • /
    • 제34권3호
    • /
    • pp.417-430
    • /
    • 2024
  • 현대 기술의 발전과 인터넷의 보급이 확대되면서 사이버 위협도 증가하고 있다. 이러한 위협에 효과적으로 대응하기 위해 CTI(Cyber Threat Intelligence)의 활용에 대한 중요성이 커지고 있다. 이러한 CTI는 과거의 사이버 위협 데이터에 기반하여 새로운 위협에 대한 정보를 제공하지만, 데이터의 복잡성과 공격 패턴의 변화 등 다양한 요인으로 인해 분석의 어려움을 겪고 있다. 이러한 문제를 해결하기 위해, 본 연구는 다차원적 관계를 포괄적으로 나타낼 수 있는 그래프 데이터의 활용하고자 한다. 구체적으로는 악성코드 데이터를 대상으로 이기종 그래프를 구축하고, metapath2vec의 노드 임베딩 방법을 활용하여 사이버 공격 그룹을 더 효과적으로 식별하고자 한다. 결론적으로 토폴로지 정보를 기존 악성코드 데이터에 추가로 활용하였을 때 탐지성능에 미치는 영향을 분석함으로써, 사이버 보안 분야에 새로운 실질적 적용 가능성을 제시하며, CTI 분석의 한계를 극복하는 데 기여하고자 한다.

이종 디바이스 환경에 효과적인 신규 딥러닝 기반 프로파일링 부채널 분석 (Novel Deep Learning-Based Profiling Side-Channel Analysis on the Different-Device)

  • 우지은;한동국
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.987-995
    • /
    • 2022
  • 딥러닝 기반 프로파일링 부채널 분석은 사전에 소비전력과 같은 부채널 정보와 중간값과의 관계를 신경망이 학습한 뒤, 학습된 신경망을 이용하여 공격 파형의 비밀키를 찾아내는 기법이다. 최근에는 실제 부채널 분석 환경을 고려하기 위하여 교차 디바이스 환경에서의 분석 방안들이 제안되고 있다. 그러나 이러한 환경은 프로파일링 디바이스와 공격 디바이스의 칩이 다르면 공격 성능이 낮아지는 한계점이 존재한다. 따라서 본 논문에서는 공격자가 프로파일링 디바이스와 다른 칩을 가지는 공격 디바이스를 가지고 있는 환경을 이종 디바이스라고 정의하고, 이러한 환경을 고려한 분석 방안을 제안하고자 한다. 프로파일링 데이터와 공격 데이터에서 발생하는 도메인 차이를 줄이기 위해 비지도 도메인 적응을 사용하였다. 또한, 각 데이터의 특징을 잘 추출하기 위하여 여러 전처리 데이터와 원본 데이터를 학습하는 신경망 구조인 MCNN를 이용하였다. 이종 디바이스 환경을 구성하기 위해 8-bit 기반 프로세서 1개, 32-bit 기반 프로세서 5개를 이용하여 AES-128 전력 파형을 수집하였다. 제안한 방법론을 적용한 신경망과 적용하지 않은 신경망의 공격 성능을 비교했을 때, 제안한 방법론을 적용한 신경망의 최소 분석 파형 수가 최대 25배 이상 낮아졌다.

악성코드 패킹유형 자동분류 기술 연구 (A Study on Automatic Classification Technique of Malware Packing Type)

  • 김수정;하지희;이태진
    • 정보보호학회논문지
    • /
    • 제28권5호
    • /
    • pp.1119-1127
    • /
    • 2018
  • 대부분의 침해공격은 악성코드를 통해 발생하고 있으며, 침해공격으로 인한 피해는 사물인터넷/사이버 물리 시스템과 연결되면서 사이버공간에만 국한되지 않고 실생활에 큰 위협이 되고 있다. 이에 따라, 다양한 악성코드 동적분석, 정적분석기술들이 연구되었는데, 악성코드 동적분석들은 결과적인 악성행위를 쉽게 확인할 수 있어 널리 사용되었으나 VM 환경탐지 시 동작하지 않는 anti-VM 악성코드가 증가하면서 어려움을 겪고 있고, 악성코드 정적분석기술들은 코드자체를 해석할 수 있어 많은 정보를 얻을 수 있으나 난독화, 패킹 기술들이 적용되어 분석가를 어렵게 하고 있다. 본 논문에서는 정적분석기술의 주요 장애물인 난독화 유형을 자동식별, 분류하는 기술을 제안한다. 특히, 제안하는 모델을 통해 알려진 패커나 알려지지 않은 패커와 상관없이 일정한 기준에 의해 모든 악성코드를 분류할 수 있는 것이 가능하다. 악성코드 분류는 다양한 활용이 가능하지만, 예를 들면 악성코드 정적 feature에 기반하여 머신러닝 기반 분석을 할 때, 전체 파일에 대해 학습 및 분석하는 방식보다 악성코드 유형별 학습 및 분석이 더욱 효과적일 것이다. 이를 위해, PE구조에서 활용 가능한 feature에 대해 지도 학습 및 비지도 학습 방식의 모델을 설계했고, 98,000여개 샘플을 통해 결과 검증을 진행하였다.

K-평균 군집분석을 활용한 중학생의 군집화 및 특성 분석 (Analysis of Characteristics of Clusters of Middle School Students Using K-Means Cluster Analysis)

  • 이재봉
    • 한국과학교육학회지
    • /
    • 제42권6호
    • /
    • pp.611-619
    • /
    • 2022
  • 최근 교육에서 교육 데이터마이닝에 관한 관심이 높아지고 있는 시점에 과학교육에서 평가 결과를 활용하여 학생들에게 적합한 피드백을 제공하기 위해 빅데이터 분석의 적용 가능성을 탐색해 보고자 하였다. 연구에서는 국가수준 학업성취도 평가의 24문항에 응시한 2,576명의 평가 자료를 활용하여 비지도 기계학습의 한 가지 방법인 K-평균 군집분석을 이용하여 학생들을 군집화하였다. 학업성취도 평가 자료를 활용한 군집화 결과, 학생들을 6개의 군집으로 나누어 볼수 있었다. 상위권이나 하위권에 비해 중위권 학생들이 다양하게 다른 군집으로 구분됨을 알 수 있다. 군집분석의 결과를 보면, 군집화에서 가장 중요하게 영향을 주는 요인은 학업 성취였으며, 군집별로는 교육과정의 내용 영역별, 교과 역량별, 정의적 특성 면에서 서로 다른 특성을 보이고 있었다. 하위 군집에서는 정의적 영역 중에서 학습의욕이 중요하게 영향을 주고, 교과 역량 면에서는 과학적 탐구 및 문제 해결력과 과학적 의사소통 능력이 중요하게 영향을 주고 있었다. 내용 영역 면에서는 운동과 에너지와 물질 영역에 대한 성취가 군집의 특성을 구분하는 중요한 요인으로 작용하고 있었다. 따라서 평가 자료를 활용해 학생을 군집화한 후, 이러한 군집별 특성을 바탕으로 학생들에게 학습을 위한 맞춤형 피드백을 제공할 수 있을 것으로 판단된다. 본 연구에서는 이러한 연구 결과를 바탕으로 군집분석 연구 결과 활용의 가능성, 내용 영역별 균형 있는 학습, 교과 역량 증진, 과학적 태도의 향상 등 과학교육의 시사점을 제안하였다.

기계학습 기반 토픽모델링을 이용한 학술지 "자원환경지질"의 연구주제 분류 및 연구동향 분석 (Topic Model Analysis of Research Themes and Trends in the Journal of Economic and Environmental Geology)

  • 김태용;박혜민;허준용;양민준
    • 자원환경지질
    • /
    • 제54권3호
    • /
    • pp.353-364
    • /
    • 2021
  • 국내 지질학의 연구 분야는 20세기 중반 이후부터 꾸준하게 발전되어왔다. 학술지 "자원환경지질"은 국내 지질학을 대표하는 역사가 긴 학술지로 지질학을 바탕으로 하는 융복합연구 논문이 게재되고 있다. 본 연구는 학술지 "자원환경지질"에 게재된 논문을 대상으로 문헌 고찰(literature review)을 수행하여 지질학의 역사와 발전에 대해 논의하고자 한다. 1968년부터 2020년까지 총 2,571편의 논문 제목, 주제어, 다국어 초록을 수집하였으며, Latent Dirichlet Allocation (LDA) 기반 토픽모델링을 실시하여 연구 주제를 분류하고 연구 동향과 주제간 연관성을 확인하였다. 학술지 "자원환경지질"은 총 8개의 연구주제('암석학 및 지구화학', '수문학 및 수리지질학', '광상학', '화산학', '토양오염 및 복원학', '기초지질 및 구조지질학', '지구물리 및 물리탐사', '점토광물')로 분류할 수 있었다. 1994년 이전에는 '광상학', '화산학', '기초지질 및 구조지질학'의 연구주제들이 활발하게 연구되었으며, 이후 '수문학 및 수리지질학', '토양오염 및 복원학', '지구물리 및 물리탐사', '점토광물'의 연구주제들이 성행하였다. 연관성분석(network analysis)결과, 학술지 "자원환경지질"은 '광상학'을 기반으로 융복합적 연구 논문들이 게재되었다는 것을 확인하였다. 본 연구의 결과는 지질학을 다루는 연구자들에게 문헌 고찰의 새로운 방법론을 제시하여 지질학의 역사에 대한 이해를 제공했음에 의의가 있다.

Non-Simultaneous Sampling Deactivation during the Parameter Approximation of a Topic Model

  • Jeong, Young-Seob;Jin, Sou-Young;Choi, Ho-Jin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권1호
    • /
    • pp.81-98
    • /
    • 2013
  • Since Probabilistic Latent Semantic Analysis (PLSA) and Latent Dirichlet Allocation (LDA) were introduced, many revised or extended topic models have appeared. Due to the intractable likelihood of these models, training any topic model requires to use some approximation algorithm such as variational approximation, Laplace approximation, or Markov chain Monte Carlo (MCMC). Although these approximation algorithms perform well, training a topic model is still computationally expensive given the large amount of data it requires. In this paper, we propose a new method, called non-simultaneous sampling deactivation, for efficient approximation of parameters in a topic model. While each random variable is normally sampled or obtained by a single predefined burn-in period in the traditional approximation algorithms, our new method is based on the observation that the random variable nodes in one topic model have all different periods of convergence. During the iterative approximation process, the proposed method allows each random variable node to be terminated or deactivated when it is converged. Therefore, compared to the traditional approximation ways in which usually every node is deactivated concurrently, the proposed method achieves the inference efficiency in terms of time and memory. We do not propose a new approximation algorithm, but a new process applicable to the existing approximation algorithms. Through experiments, we show the time and memory efficiency of the method, and discuss about the tradeoff between the efficiency of the approximation process and the parameter consistency.

Recognition of damage pattern and evolution in CFRP cable with a novel bonding anchorage by acoustic emission

  • Wu, Jingyu;Lan, Chengming;Xian, Guijun;Li, Hui
    • Smart Structures and Systems
    • /
    • 제21권4호
    • /
    • pp.421-433
    • /
    • 2018
  • Carbon fiber reinforced polymer (CFRP) cable has good mechanical properties and corrosion resistance. However, the anchorage of CFRP cable is a big issue due to the anisotropic property of CFRP material. In this article, a high-efficient bonding anchorage with novel configuration is developed for CFRP cables. The acoustic emission (AE) technique is employed to evaluate the performance of anchorage in the fatigue test and post-fatigue ultimate bearing capacity test. The obtained AE signals are analyzed by using a combination of unsupervised K-means clustering and supervised K-nearest neighbor classification (K-NN) for quantifying the performance of the anchorage and damage evolutions. An AE feature vector (including both frequency and energy characteristics of AE signal) for clustering analysis is proposed and the under-sampling approaches are employed to regress the influence of the imbalanced classes distribution in AE dataset for improving clustering quality. The results indicate that four classes exist in AE dataset, which correspond to the shear deformation of potting compound, matrix cracking, fiber-matrix debonding and fiber fracture in CFRP bars. The AE intensity released by the deformation of potting compound is very slight during the whole loading process and no obvious premature damage observed in CFRP bars aroused by anchorage effect at relative low stress level, indicating the anchorage configuration in this study is reliable.