• Title/Summary/Keyword: 통계 분류

Search Result 2,155, Processing Time 0.026 seconds

Performance Improvement of the Statistical Information based Traffic Identification System (통계 정보 기반 트래픽 분석 방법론의 성능 향상)

  • An, Hyun Min;Ham, Jae Hyun;Kim, Myung Sup
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.2 no.8
    • /
    • pp.335-342
    • /
    • 2013
  • Nowadays, the traffic type and behavior are extremely diverse due to the growth of network speed and the appearance of various services on Internet. For efficient network operation and management, the importance of application-level traffic identification is more and more increasing in the area of traffic analysis. In recent years traffic identification methodology using statistical features of traffic flow has been broadly studied. However, there are several problems to be considered in the identification methodology base on statistical features of flow to improve the analysis accuracy. In this paper, we recognize these problems by analyzing the ground-truth traffic and propose the solution of these problems. The four problems considered in this paper are the distance measurement of features, the selection of the representative value of features, the abnormal behavior of TCP sessions, and the weight assignment to the feature. The proposed solutions were verified by showing the performance improvement through experiments in campus network.

A Topic Classification System in cQA Services Based on Semi-Automatic Learning Using Wikipedia (위키피디아를 이용한 반자동 학습 기반의 cQA 서비스 주제 분류 시스템)

  • Kim, Taehyun
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.139-141
    • /
    • 2015
  • 본 논문은 커뮤니티 기반의 질의-응답 서비스에서 사용자 질의의 주제를 분류하는 시스템을 소개한다. 커뮤니티 기반의 질의-응답 서비스는 분야에 따라 다양한 주제를 가질 수 있으며 오늘 날 사용자 질의의 주제 분류에는 통계 기반의 분류 방법이 많이 이용되고 있다. 통계 기반의 분류 방법으로 사용자 질의를 분류하기 위해서는 주제에 적합한 대량의 학습 말뭉치가 필요하다. 주제에 적합한 대량의 학습 말뭉치를 사람이 직접 구축하는 것은 많은 시간과 비용이 든다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 위키피디아 문서를 Supervised K-means Clustering 기법으로 주제별로 분류함으로써 학습 말뭉치를 반자동으로 구축하는 방법을 제안한다. 그 다음, 생성된 학습 말뭉치로 지지 벡터 기계를 학습하여 사용자 질의의 주제를 분류하게 된다. 위키피디아 문서와 사용자 질의는 다른 도메인의 문서임에도 불구하고 본 논문의 시스템으로 사용자 질의의 주제를 분류한 결과 77.33%의 정확도를 보였다.

  • PDF

An Experimental Study on the Automatic Coding System for Statistical Information Classification in Korea (통계정보 분류의 자동코딩 성능 실험 연구)

  • Nam, Young-Jun;Ahn, Dong-Ein
    • Journal of the Korean Society for information Management
    • /
    • v.17 no.4
    • /
    • pp.27-45
    • /
    • 2000
  • National statistical data such as Korean Census is fundamental data for national administration. In this paper, we present an automatic coding system utilizing morphological analyser and knowledge dictionaries. Knowledge bases are constructed based on an authority dictionaries which were developed by authors utilizing a newly learning theory. Test data indicates 99.5% of productivity and 83.3% of accuracy. The presented methods can be effectively applied to analyze statistical information.

  • PDF

P2P Traffic Classification using Advanced Heuristic Rules and Analysis of Decision Tree Algorithms (개선된 휴리스틱 규칙 및 의사 결정 트리 분석을 이용한 P2P 트래픽 분류 기법)

  • Ye, Wujian;Cho, Kyungsan
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.3
    • /
    • pp.45-54
    • /
    • 2014
  • In this paper, an improved two-step P2P traffic classification scheme is proposed to overcome the limitations of the existing methods. The first step is a signature-based classifier at the packet-level. The second step consists of pattern heuristic rules and a statistics-based classifier at the flow-level. With pattern heuristic rules, the accuracy can be improved and the amount of traffic to be classified by statistics-based classifier can be reduced. Based on the analysis of different decision tree algorithms, the statistics-based classifier is implemented with REPTree. In addition, the ensemble algorithm is used to improve the performance of statistics-based classifier Through the verification with the real datasets, it is shown that our hybrid scheme provides higher accuracy and lower overhead compared to other existing schemes.

반복조사를 통한 범주형 자료의 오분류 탐색

  • 고봉성
    • Communications for Statistical Applications and Methods
    • /
    • v.4 no.1
    • /
    • pp.75-90
    • /
    • 1997
  • 본 연구는 범주형자료의 오분류에 관한 연구로, 2$\times$2분할표의 자료에 오분류가 있다고 생각되는 조사와 반복조사를 통해 정확하게 분류한 새로운 범주형자료를 시간이라는 새변수의 결합을 통해 오분류 여부를 탐색하는 방법에 대한 연구이다.

  • PDF

Advancing Societal Statistics Processing Methodology through Artificial Intelligence: A Case Study on Household Trend Survey and Time Use Survey (인공지능 기반 사회 통계 생산 방법론 고도화 방안: 가계동향조사와 생활시간조사 사례)

  • Kyo-Joong Oh;Ho-Jin Choi;Ilgu Kim;Seungwoo Han;Kunsoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.563-567
    • /
    • 2023
  • 본 연구는 한국 통계청이 수행하는 가계동향조사와 생활시간조사에서 자료처리 과정 및 방법을 혁신하려는 시도로, 기존의 통계 생산 방법론의 한계를 극복하고, 대규모 데이터의 효과적인 관리와 분석을 가능하게 하는 인공지능 기반의 통계 생산을 목표로 한다. 본 연구는 데이터 과학과 통계학의 교차점에서 진행되며, 인공지능 기술, 특히 자연어 처리와 딥러닝을 활용하여 비정형 텍스트 분류 방법의 성능을 검증하며, 인공지능 기반 통계분류 방법론의 확장성과 추가적인 조사 확대 적용의 가능성을 탐구한다. 이 연구의 결과는 통계 데이터의 품질 향상과 신뢰성 증가에 기여하며, 국민의 생활 패턴과 행동에 대한 더 깊고 정확한 이해를 제공한다.

  • PDF

Odds curve and optimal threshold (오즈 곡선과 최적분류점)

  • Hong, Chong Sun;Oh, Tae Gyu;Oh, Se Hyeon
    • The Korean Journal of Applied Statistics
    • /
    • v.34 no.5
    • /
    • pp.807-822
    • /
    • 2021
  • Various accuracy measures that can be explained on the odds curve are discussed, and an alternative accuracy measure, the maximum square, is proposed based on the characteristics of the odds curve. Thresholds corresponding to these accuracy measures are obtained by considering various probability distribution functions and an illustrative example. Their characteristics are discussed while comparing many kinds of statistics measuring thresholds. Therefore, we can conclude that optimal thresholds could be explored from the odds curve, similar to the ROC curve, and that the maximum square measure can be used as a good accuracy measure that can improve the performance of the binary classification model.

IPAA의 효과를 고찰하기 위한 분류분석방법들의 비교연구

  • Lee, Seung-Yeon;Lee, Eun-Ju;Choe, Ho-Sik
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2005.05a
    • /
    • pp.291-298
    • /
    • 2005
  • 지속성 외래 복막투석은 말기 신부전 환자들에게 널리 시행하는 신 대체 요법으로, 복막투석 환자에게서 주된 합병증으로 일어나는 단백질-열량 영양실조를 치료하기 위하여 아미노산을 복강 내로 주입하는 치료방법이다. 이현석 등(2004)의 연구에서는 아미노산 복막 투석액(IPAA)이 영양실조 환자들에게 실제로 영양상태에 미치는 영향을 평가하기 위하여 지속성 외래 복막투석 환자 43명을 12개월 동안 3개월 주기로 관측하여 얻어낸 반복측정자료를 바탕으로 IPAA의 효과 여부에 따라 반응군과 비반응군을 분류하였다. 본 논문에서는 이러한 두 그룹을 효과적으로 분류할 수 있는 분류기준변수들을 찾아내고 이 분류기준변수의 값을 바탕으로 새로운 환자에게 IPAA의 투여 여부를 진단할 수 있는 여러 분류방법들을 고찰하여 비교 연구하였다. 모수적인 방법으로 선형판별분석, 이차판별분석 및 로지스틱 판별분석을 소개하고 비모수적인 방법으로 support vector machine(SVM)을 소개하여 분류분석의 결과를 비교하여 두 그룹을 최소한의 오류로 분류하는 방법을 제안하였다.

  • PDF

Text Categorization Features Automatic Extraction Method Using Chi-squared Statistic (카이제곱 통계량을 이용한 문서분류 자질 자동추출 방법)

  • Park, Jong-Hyun;Park, So-Young;Chang, Ju-No;Kihl, Tae-Suk
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2010.10a
    • /
    • pp.695-697
    • /
    • 2010
  • 문서에 포함되는 어휘는 문서 분류의 정보를 가지므로 문서를 분석하여 유용한 단어를 추출하는 것은 다양한 서비스와 연계되어 사용될 수 있어 매우 유용한 일이다. 문서 자동 분류에서는 분류자질 선정 방식에 따라 분류정확도가 서로 달라질 수 있으며, 문서에서 추출되는 유용한 단어에 따라 인지되는 분야가 달라질 수 있다. 이에 본 논문에서는 각 문서에 포함되는 단어에 대한 카이제곱 통계량 점수를 사용하여 단어별 문서 분류에 대한 단어의 자질을 평가하고 문서의 분류별 유용한 단어를 자동 추출하는 방법을 제안하고 개발한다.

  • PDF

Index of union and other accuracy measures (Index of Union와 다른 정확도 측도들)

  • Hong, Chong Sun;Choi, So Yeon;Lim, Dong Hui
    • The Korean Journal of Applied Statistics
    • /
    • v.33 no.4
    • /
    • pp.395-407
    • /
    • 2020
  • Most classification accuracy measures for optimal threshold are divided into two types: one is expressed with cumulative distribution functions and probability density functions, the other is based on ROC curve and AUC. Unal (2017) proposed the index of union (IU) as an accuracy measure that considers two types to get them. In this study, ten kinds of accuracy measures (including IU) are divided into six categories, and the advantages of the IU are studied by comparing the measures belonging to each category. The optimal thresholds of these measures are obtained by setting various normal mixture distributions; subsequently, the first and second type of errors as well as the error sums corresponding to each threshold are calculated. The properties and characteristics of the IU statistic are explored by comparing the discriminative power of other accuracy measures based on error values.The values of the first type error and error sum of IU statistic converge to those of the best accuracy measures of the second category as the mean difference between the two distributions increases. Therefore, IU could be an accuracy measure to evaluate the discriminant power of a model.