• 제목/요약/키워드: Imbalanced Classification

검색결과 77건 처리시간 0.026초

규칙 기반 분류 기법을 활용한 도로교량 안전등급 추정 모델 개발 (Developing an Estimation Model for Safety Rating of Road Bridges Using Rule-based Classification Method)

  • 정세환;임소람;지석호
    • 한국BIM학회 논문집
    • /
    • 제6권2호
    • /
    • pp.29-38
    • /
    • 2016
  • Road bridges are deteriorating gradually, and it is forecasted that the number of road bridges aging over 30 years will increase by more than 3 times of the current number. To maintain road bridges in a safe condition, current safety conditions of the bridges must be estimated for repair or reinforcement. However, budget and professional manpower required to perform in-depth inspections of road bridges are limited. This study proposes an estimation model for safety rating of road bridges by analyzing the data from Facility Management System (FMS) and Yearbook of Road Bridges and Tunnel. These data include basic specifications, year of completion, traffic, safety rating, and others. The distribution of safety rating was imbalanced, indicating 91% of road bridges have safety ratings of A or B. To improve classification performance, five safety ratings were integrated into two classes of G (good, A and B) and P (poor ratings under C). This rearrangement was set because facilities with ratings under C are required to be repaired or reinforced to recover their original functionality. 70% of the original data were used as training data, while the other 30% were used for validation. Data of class P in the training data were oversampled by 3 times, and Repeated Incremental Pruning to Produce Error Reduction (RIPPER) algorithm was used to develop the estimation model. The results of estimation model showed overall accuracy of 84.8%, true positive rate of 67.3%, and 29 classification rule. Year of completion was identified as the most critical factor on affecting lower safety ratings of bridges.

목차 정보와 kNN 분류기를 이용한 사회과학 분야 도서 자동 분류에 관한 연구 (A Study on Book Categorization in Social Sciences Using kNN Classifiers and Table of Contents Text)

  • 이용구
    • 정보관리학회지
    • /
    • 제37권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 이 연구에서는 한 대학도서관의 신착 도서 리스트 중 사회 과학 분야 6,253권에 대해 목차 정보를 이용하여 자동 분류를 적용하였다. 분류기는 kNN 알고리즘을 사용하였으며 자동 분류의 범주로 도서관에서 도서에 부여한 DDC 300대 강목을 사용하였다. 분류 자질은 도서의 서명과 목차를 사용하였으며, 목차는 인터넷 서점으로부터 Open API를 통해 획득하였다. 자동 분류 실험 결과, 목차 자질은 분류 재현율과 분류 정확률 모두를 향상시키는 좋은 자질임을 알 수 있었다. 또한 목차는 풍부한 자질로 불균형인 데이터의 과적합 문제를 완화시키는 것으로 나타났다. 법학과 교육학은 사회 과학 분야에서 특정성이 높아 서명 자질만으로도 좋은 분류 성능을 가져오는 점도 파악할 수 있었다.

불균형 데이터 집합에 대한 스마트 분류방법과 특허 평가에의 응용 (Smarter Classification for Imbalanced Data Set and Its Application to Patent Evaluation)

  • 권오병;이상연
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.15-34
    • /
    • 2014
  • 성과 지표로서의 전방적 정확도는 정답인 경우 1, 오답인 경우 0으로 계사하는 이른바 모듈화된 정확도를 충분히 고려하지 못한다. 이에 문제의 특징에 따라 모듈화 정확도에 맞는 판별 규칙을 최적화 하는 보다 스마트한 판별 알고리즘이 필요하다고 볼 수 있다. 이에 따라, 스마트한 알고리즘은 문제 유형에 따라 보다 일반화되고 실제 성능의 왜곡을 야기할 수 있는 이산화에 제약되지 않아야 한다. 따라서 본 논문의 목적인 모듈화 정확도를 개선하는 새로운 부스팅 알고리즘을 제안하는 것이다. 이에 일반화를 도모하고 문제 영역의 특성에 맞게 판별화 모형을 선정하기 위해 스마트함을 고려한 모형 선정 알고리즘을 개발하였다. 제안된 방법의 성능을 검증하기 위해 실제로 47,000여건의 특허건을 가지고 실제 실용화 가능성을 판별하는 실험을 수행하였다.

CAB: Classifying Arrhythmias based on Imbalanced Sensor Data

  • Wang, Yilin;Sun, Le;Subramani, Sudha
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권7호
    • /
    • pp.2304-2320
    • /
    • 2021
  • Intelligently detecting anomalies in health sensor data streams (e.g., Electrocardiogram, ECG) can improve the development of E-health industry. The physiological signals of patients are collected through sensors. Timely diagnosis and treatment save medical resources, promote physical health, and reduce complications. However, it is difficult to automatically classify the ECG data, as the features of ECGs are difficult to extract. And the volume of labeled ECG data is limited, which affects the classification performance. In this paper, we propose a Generative Adversarial Network (GAN)-based deep learning framework (called CAB) for heart arrhythmia classification. CAB focuses on improving the detection accuracy based on a small number of labeled samples. It is trained based on the class-imbalance ECG data. Augmenting ECG data by a GAN model eliminates the impact of data scarcity. After data augmentation, CAB classifies the ECG data by using a Bidirectional Long Short Term Memory Recurrent Neural Network (Bi-LSTM). Experiment results show a better performance of CAB compared with state-of-the-art methods. The overall classification accuracy of CAB is 99.71%. The F1-scores of classifying Normal beats (N), Supraventricular ectopic beats (S), Ventricular ectopic beats (V), Fusion beats (F) and Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively. Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively.

Attention layer를 활용한 이미지 기반 피부암 분류 시스템 (Image-Based Skin Cancer Classification System Using Attention Layer)

  • 이규원;우성희
    • 실천공학교육논문지
    • /
    • 제16권1_spc호
    • /
    • pp.59-64
    • /
    • 2024
  • 고령화가 심화되면서 암 발병률이 증가하고 있다. 피부 암은 외적으로 보이지만 사람들이 알아채지 못하거나 가볍게 간과하는 경우가 많다. 이에 초기 발견 시기를 놓쳐 말기의 경우 생존율이 7.5~11%로 사망에 이를 수 있다. 하지만 피부 암을 진단함에 있어 육안으로 진단하는 것이 아닌 정밀검사, 세포 검사 등 시간과 비용이 많이 든다는 단점이 있다. 따라서 본 연구에서는 이러한 단점을 해결하기 위해 Attention CNN 모델 기반 피부암 분류 시스템을 제안한다. 이 시스템은 전문의로 하여금 피부 암을 초기에 발견하여 신속한 조치를 취할 수 있도록 하는데 큰 도움을 줄 수 있다. 피부암 종류에 따른 이미지 데이터 불균형 문제에서 분포 비율이 낮은 데이터에는 Over Sampling 기법을, 분포 비율이 높은 데이터에는 Under Sampling 기법을 적용하여 완화하고 Attention layer가 없는 모델과 있는 모델을 비교하여 Attention layer가 없는 사전학습 모델에 추가한 피부암 분류 모델을 제안한다. 또한, 특정 클래스에 대하여 데이터 증강 기법을 강화하여 데이터 불균형 문제를 해결할 계획이다.

불균형 데이터의 이진 분류를 위한 앙상블 구성 방법 (Ensemble Composition Methods for Binary Classification of Imbalanced Data)

  • 김영훈;이주홍
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.689-691
    • /
    • 2023
  • 불균형 데이터의 분류의 성능을 향상시키기 위한 앙상블 구성 방법에 관하여 연구한다. 앙상블의 성능은 앙상블을 구성한 기계학습 모델 간의 상호 다양성에 큰 영향을 받는다. 기존 방법에서는 앙상블에 속할 모델 간의 상호 다양성을 높이기 위해 Feature Engineering 을 사용하여 다양한 모델을 만들어 사용하였다. 그럼에도 생성된 모델 가운데 유사한 모델들이 존재하며 이는 상호 다양성을 낮추고 앙상블 성능을 저하시키는 문제를 가지고 있다. 불균형 데이터의 경우에는 유사 모델 판별을 위한 기존 다양성 지표가 다수 클래스에 편향된 수치를 산출하기 때문에 적합하지 않다. 본 논문에서는 기존 다양성 지표를 개선하고 가지치기 방안을 결합하여 유사 모델을 판별하고 상호 다양성이 높은 후보 모델들을 앙상블에 포함시키는 방법을 제안한다. 실험 결과로써 제안한 방법으로 구성된 앙상블이 불균형이 심한 데이터의 분류 성능을 향상시킴을 확인하였다.

Enhancing Malware Detection with TabNetClassifier: A SMOTE-based Approach

  • Rahimov Faridun;Eul Gyu Im
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.294-297
    • /
    • 2024
  • Malware detection has become increasingly critical with the proliferation of end devices. To improve detection rates and efficiency, the research focus in malware detection has shifted towards leveraging machine learning and deep learning approaches. This shift is particularly relevant in the context of the widespread adoption of end devices, including smartphones, Internet of Things devices, and personal computers. Machine learning techniques are employed to train models on extensive datasets and evaluate various features, while deep learning algorithms have been extensively utilized to achieve these objectives. In this research, we introduce TabNet, a novel architecture designed for deep learning with tabular data, specifically tailored for enhancing malware detection techniques. Furthermore, the Synthetic Minority Over-Sampling Technique is utilized in this work to counteract the challenges posed by imbalanced datasets in machine learning. SMOTE efficiently balances class distributions, thereby improving model performance and classification accuracy. Our study demonstrates that SMOTE can effectively neutralize class imbalance bias, resulting in more dependable and precise machine learning models.

기업부실 예측 데이터의 불균형 문제 해결을 위한 앙상블 학습 (Ensemble Learning for Solving Data Imbalance in Bankruptcy Prediction)

  • 김명종
    • 지능정보연구
    • /
    • 제15권3호
    • /
    • pp.1-15
    • /
    • 2009
  • 데이터 불균형 문제는 분류 및 예측 문제에서 하나의 범주에 속하는 표본의 수가 다른 범주들에 속하는 표본 수에 비하여 현저하게 적을 경우 나타난다. 데이터 불균형이 심화됨에 따라 범주 사이의 분류 경계영역이 왜곡되고 결과적으로 분류자의 학습성과가 저하되는 문제가 발생한다. 본 연구에서는 데이터 불균형 문제를 해결하기 위하여 Geometric Mean-based Boosting (GM-Boost) 알고리즘을 제안하고자 한다. GM-Boost 알고리즘은 기하평균 개념에 기초하고 있어 다수 범주와 소수 범주를 동시에 고려한 학습이 가능하고 오분류된 표본에 집중하여 학습을 강화할 수 있는 장점이 있다. 기업부실 예측문제를 활용하여 GM-Boost 알고리즘의 성과를 검증한 결과 기존의Under-Sampling, Over-Sampling 및 AdaBoost 알고리즘에 비하여 우수한 분류 정확성을 보여주었고 데이터 불균형 정도에 관계없이 견고한 학습성과를 나타냈다.

  • PDF

다중분광밴드 위성영상의 작물재배지역 추출을 위한 Attention Gated FC-DenseNet (Attention Gated FC-DenseNet for Extracting Crop Cultivation Area by Multispectral Satellite Imagery)

  • 성선경;모준상;나상일;최재완
    • 대한원격탐사학회지
    • /
    • 제37권5_1호
    • /
    • pp.1061-1070
    • /
    • 2021
  • 본 연구에서는 국내 농업지역에 대한 작물재배지역의 분류를 위하여 FC-DenseNet 모델에 attention gate를 적용하여 딥러닝 모델의 성능을 향상시키고자 하였다. Attention gate는 특징맵의 공간/분광적 중요도에 따른 가중치를 추가적으로 학습하여 딥러닝 모델의 학습을 용이하게 하고, 모델의 성능을 향상시킬 수 있다. Attention gate를 FC-DenseNet의 스킵 연결 부분에 추가한 딥러닝 모델을 이용하여 양파 및 마늘 지역의 작물분류를 수행하였다. PlanetScope 위성영상을 이용하여 훈련자료를 제작하였으며, 훈련자료의 불균형 문제를 해결하기 위하여 전처리 과정을 적용하였다. 다양한 평가자료를 이용하여 작물재배분류 결과를 평가한 결과, 제안된 딥러닝 모델은 기존의 FC-DenseNet과 비교하여 효과적으로 양파 및 마늘 지역을 분류할 수 있는 것을 확인하였다.

혼합샘플링 기법을 사용한 랜섬웨어탐지 성능향상에 관한 연구 (A study on the improvement ransomware detection performance using combine sampling methods)

  • 김수철;이형동;변경근;신용태
    • 융합보안논문지
    • /
    • 제23권1호
    • /
    • pp.69-77
    • /
    • 2023
  • 최근 아일랜드 보건당국, 미(美) 송유관 등 전(全) 세계적으로 랜섬웨어 피해가 급증하고 있으며, 사회 모든 분야에 피해를 입히고 있다. 특히, 랜섬웨어 탐지 및 대응에 기존의 탐지방법뿐 아니라 머신러닝 등을 이용한 연구가 늘어 나고 있다. 하지만, 전통적인 머신러닝은 모델이 데이터가 많은 쪽으로 예측하는 경향이 강해 정확한 예측값을 추출하기 어려운 문제점이 있다. 이에 다수(Majority)의 Non-Ransomware(정상코드 또는 멀웨어)와 소수의(Minority) Ransomware로 구성된 불균형(Imbalance) 클래스에서 샘플링 기법을 통해 불균형을 해소하고 랜섬웨어탐지 성능을 향상시키는 기법을 제안하였다. 본 실험에서는 두가지 시나리오(Binary, Multi Classification)을 사용하여 샘플링 기법이 다수 클래스의 탐지 성능을 유지하면서 소수 클래스의 탐지 성능을 개선함을 확인하였다. 특히, 제안된 혼합샘플링 기법(SMOTE+ENN)이 10% 이상의 성능(G-mean, F1-score) 향상을 도출했다.