• 제목/요약/키워드: Machine Learning Decision Tree(DT)

검색결과 35건 처리시간 0.023초

정교한 데이터 분류를 위한 방법론의 고찰 (A Review of the Methodology for Sophisticated Data Classification)

  • 김승재;김성환
    • 통합자연과학논문집
    • /
    • 제14권1호
    • /
    • pp.27-34
    • /
    • 2021
  • 전 세계적으로 인공지능(AI)을 구현하려는 움직임이 많아지고 있다. AI구현에서는 많은 양의 데이터, 목적에 맞는 데이터의 분류 등 데이터의 중요성을 뺄 수 없다. 이러한 데이터를 생성하고 가공하는 기술에는 사물인터넷(IOT)과 빅데이터(Big-data) 분석이 있으며 4차 산업을 이끌어 가는 원동력이라 할 수 있다. 또한 이러한 기술은 국가와 개인 차원에서 많이 활용되고 있으며, 특히나 특정분야에 집결되는 데이터를 기준으로 빅데이터 분석에 활용함으로써 새로운 모델을 발견하고, 그 모델로 새로운 값을 추론하고 예측함으로써 미래비전을 제시하려는 시도가 많아지고 있는 추세이다. 데이터 분석을 통한 결론은 데이터가 가지고 있는 정보의 정확성에 따라 많은 변화를 가져올 수 있으며, 그 변화에 따라 잘못된 결과를 발생시킬 수도 있다. 이렇듯 데이터의 분석은 데이터가 가지는 정보 또는 분석 목적에 맞는 데이터 분류가 매우 중요하다는 것을 알 수 있다. 또한 빅데이터 분석결과 통계량의 신뢰성과 정교함을 얻기 위해서는 각 변수의 의미와 변수들 간의 상관관계, 다중공선성 등을 고려하여 분석해야 한다. 즉, 빅데이터 분석에 앞서 분석목적에 맞도록 데이터의 분류가 잘 이루어지도록 해야 한다. 이에 본 고찰에서는 AI기술을 구현하는 머신러닝(machine learning, ML) 기법에 속하는 분류분석(classification analysis, CA) 중 의사결정트리(decision tree, DT)기법, 랜덤포레스트(random forest, RF)기법, 선형분류분석(linear discriminant analysis, LDA), 이차선형분류분석(quadratic discriminant analysis, QDA)을 이용하여 데이터를 분류한 후 데이터의 분류정도를 평가함으로써 데이터의 분류 분석률 향상을 위한 방안을 모색하려 한다.

무선 센서 네트워크에서 클러스터링 기반 Sleep Deprivation Attack 탐지 모델 (Sleep Deprivation Attack Detection Based on Clustering in Wireless Sensor Network)

  • 김숙영;문종섭
    • 정보보호학회논문지
    • /
    • 제31권1호
    • /
    • pp.83-97
    • /
    • 2021
  • 무선 센서 네트워크를 구성하는 무선 센서는 일반적으로 전력 및 자원이 극히 제한적이다. 무선 센서는 전력을 보존하기 위해 일정 주기마다 sleep 상태로 진입한다. Sleep deprivation attack은 무선 센서의 sleep 상태 진입을 막음으로써 전력을 소진 시키는 치명적인 공격이지만 이에 대한 뚜렷한 대응책이 없다. 이에 본 논문에서는 클러스터링 기반 이진 탐색 트리 구조의 Sleep deprivation attack 탐지 모델을 제안한다. 본 논문에서 제안하는 sleep deprivation attack 탐지 모델은 기계학습을 통해 분류한 공격 센서 노드와 정상 센서 노드의 특징을 사용한다. 이때 탐지 모델에 사용한 특징은 Long Short-Term Memory(LSTM), Decision Tree(DT), Support Vector Machine(SVM), K-Nearest Neighbor(K-NN)을 이용하여 결정하였다. 결정된 특징은 본 논문에서 제안한 알고리즘에 사용하여 공격 탐지를 위한 값들을 계산하였으며, 계산한 값을 판정하기 위한 임계값은 SVM을 적용하여 도출하였다. 본 논문에서 제안하는 탐지 모델은 기계학습으로 도출된 특징과 임계값을 본 논문에서 제안한 탐지 알고리즘에 적용하여 구성하였으며, 실험을 통해 전체 센서 노드 20개 중 공격 센서 노드의 비율이 0.35일 때 94%의 탐지율을 갖고 평균 에너지 잔량은 기존 연구보다 최대 26% 향상된 결과를 보였다.

머신러닝 기법을 활용한 터널 설계 시 시추공 내 암반분류에 관한 연구 (A study on the rock mass classification in boreholes for a tunnel design using machine learning algorithms)

  • 이제겸;최원혁;김양균;이승원
    • 한국터널지하공간학회 논문집
    • /
    • 제23권6호
    • /
    • pp.469-484
    • /
    • 2021
  • 터널 설계 시 지반조사를 통한 암반분류 결과는 공사기간 및 공사비 산출, 그리고 터널안정성 평가에 지대한 영향을 미친다. 국내에서 지금까지 완공된 3,526개소의 터널들의 설계 및 시공을 통해 관련 기술들은 지속적으로 발전되어 왔지만, 터널 설계 시 암질 및 암반등급을 보다 정확하게 평가하기 위한 방법에 대한 연구는 미미하여 평가자의 경험 및 주관에 따라 결과의 차이가 큰 경우가 적지 않다. 따라서 본 연구에서는 암석샘플에 대한 주관적 평가를 통한 기존의 인력에 의한 암반분류 대신, 최근 지반분야에서도 그 활용도가 급증하고 있는 머신러닝 알고리즘을 이용하여 시추조사에서 획득한 다양한 암석 및 암반정보를 분석하여 보다 신뢰성있는 RMR에 의한 암반분류 모델을 제시하고자 하였다. 국내 13개 터널을 대상으로 11개의 학습 인자(심도, 암종, RQD, 전기비저항, 일축압축강도, 탄성파 P파속도 및 S파 속도, 영률, 단위중량, 포아송비, RMR)를 선정하여 337개의 학습 데이터셋과 60개의 시험 데이터셋을 확보하였으며, 모델의 예측성능을 향상시키기 위해 6개의 머신러닝 알고리즘(DT, SVM, ANN, PCA & ANN, RF, XGBoost)과 각 알고리즘별 다양한 초매개변수(hyperparameter)를 적용하였다. 학습된 모델의 예측성능을 비교한 결과, DT 모델을 제외한 5개의 머신러닝 모델에서 시험데이터에 대한 RMR 평균절대오차 값이 8 미만으로 수렴되었으며, SVM 모델에서 가장 우수한 예측성능을 나타내었다. 본 연구를 통해 암반분류 예측에 대한 머신러닝 기법의 적용 가능성을 확인하였으며, 향후 다양한 데이터를 지속적으로 확보하여 예측모델의 성능을 향상시킨다면 보다 신뢰성 있는 암반 분류에 활용될 수 있을 것으로 기대된다.

문서 요약 기법이 가짜 뉴스 탐지 모형에 미치는 영향에 관한 연구 (A Study on the Effect of the Document Summarization Technique on the Fake News Detection Model)

  • 심재승;원하람;안현철
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.201-220
    • /
    • 2019
  • 가짜뉴스가 전세계적 이슈로 부상한 최근 수년간 가짜뉴스 문제 해결을 위한 논의와 연구가 지속되고 있다. 특히 인공지능과 텍스트 분석을 이용한 자동화 가짜 뉴스 탐지에 대한 연구가 주목을 받고 있는데, 대부분 문서 분류 기법을 이용한 연구들이 주를 이루고 있는 가운데 문서 요약 기법은 지금까지 거의 활용되지 않았다. 그러나 최근 가짜뉴스 탐지 연구에 생성 요약 기법을 적용하여 성능 개선을 이끌어낸 사례가 해외에서 보고된 바 있으며, 추출 요약 기법 기반의 뉴스 자동 요약 서비스가 대중화된 현재, 요약된 뉴스 정보가 국내 가짜뉴스 탐지 모형의 성능 제고에 긍정적인 영향을 미치는지 확인해 볼 필요가 있다. 이에 본 연구에서는 국내 가짜뉴스에 요약 기법을 적용했을 때 정보 손실이 일어나는지, 혹은 정보가 그대로 보전되거나 혹은 잡음 제거를 통한 정보 획득 효과가 발생하는지 알아보기 위해 국내 뉴스 데이터에 추출 요약 기법을 적용하여 '본문 기반 가짜뉴스 탐지 모형'과 '요약문 기반 가짜뉴스 탐지 모형'을 구축하고, 다수의 기계학습 알고리즘을 적용하여 두 모형의 성능을 비교하는 실험을 수행하였다. 그 결과 BPN(Back Propagation Neural Network)과 SVM(Support Vector Machine)의 경우 큰 성능 차이가 발생하지 않았지만 DT(Decision Tree)의 경우 본문 기반 모델이, LR(Logistic Regression)의 경우 요약문 기반 모델이 다소 우세한 성능을 보였음을 확인하였다. 결과를 검증하는 과정에서 통계적으로 유의미한 수준으로는 요약문 기반 모델과 본문 기반 모델간의 차이가 확인되지는 않았지만, 요약을 적용하였을 경우 가짜뉴스 판별에 도움이 되는 핵심 정보는 최소한 보전되며 LR의 경우 성능 향상의 가능성이 있음을 확인하였다. 본 연구는 추출요약 기법을 국내 가짜뉴스 탐지 연구에 처음으로 적용해 본 도전적인 연구라는 점에서 의의가 있다. 하지만 한계점으로는 비교적 적은 데이터로 실험이 수행되었다는 점과 한 가지 문서요약기법만 사용되었다는 점을 제시할 수 있다. 향후 대규모의 데이터에서도 같은 맥락의 실험결과가 도출되는지 검증하고, 보다 다양한 문서요약기법을 적용해 봄으로써 요약 기법 간 차이를 규명하는 확장된 연구가 추후 수행되어야 할 것이다.

데이터의 불균형성을 제거한 네트워크 침입 탐지 모델 비교 분석 (Experimental Comparison of Network Intrusion Detection Models Solving Imbalanced Data Problem)

  • 이종화;방지원;김종욱;최미정
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.18-28
    • /
    • 2020
  • 컴퓨팅 환경의 발전에 따라 IT 기술이 의료, 산업, 통신, 문화 등의 분야에서 사람들에게 제공해주는 혜택이 늘어나 삶의 질도 향상되고 있다. 그에 따라 발전된 네트워크 환경을 노리는 다양한 악의적인 공격이 존재한다. 이러한 공격들을 사전에 탐지하기 위해 방화벽, 침입 탐지 시스템 등이 존재하지만, 나날이 진화하는 악성 공격들을 탐지하는 데에는 한계가 있다. 이를 해결하기 위해 기계 학습을 이용한 침입 탐지 연구가 활발히 진행되고 있지만, 학습 데이터셋의 불균형으로 인한 오탐 및 미탐이 발생하고 있다. 본 논문에서는 네트워크 침입 탐지에 사용되는 UNSW-NB15 데이터셋의 불균형성 문제를 해결하기 위해 랜덤 오버샘플링 방법을 사용했다. 실험을 통해 모델들의 accuracy, precision, recall, F1-score, 학습 및 예측 시간, 하드웨어 자원 소모량을 비교 분석했다. 나아가 본 연구를 기반으로 랜덤 오버샘플링 방법 이외에 불균형한 데이터 문제를 해결할 수 있는 다른 방법들과 성능이 높은 모델들을 이용하여 좀 더 효율적인 네트워크 침입 탐지 모델 연구로 발전시키고자 한다.