• 정보처리학회논문지D
• /
• 제19D권4호
• /
• pp.263-270
• /
• 2012

최근 초고속 인터넷과 대용량 데이터베이스 기술의 발전으로 웹 문서의 양이 크게 증가하였으며, 이를 효과적으로 관리하기 위하여 문서의 주제별 자동 분류가 중요한 문제로 대두되고 있다. 본 연구에서는 한글 형태소 및 키워드 분석에 기초한 문서 특성 추출 방법을 제안하고, 이를 이용하여 웹 문서와 같은 비구조적 문서의 주제를 예측하여 문서를 자동으로 분류하는 방법을 제시한다. 먼저, 문서 특성 추출을 위하여 한글 형태소 분석기를 사용하여 용어를 선별하고, 각 용어의 빈도와 주제 분별력을 기초로 주제 분별 용어인 키워드 집합을 생성한 후, 각 키워드에 대하여 주제 분별력에 따라 점수화한다. 다음으로, 추출된 문서 특성을 기초로 상용 소프트웨어를 사용하여 의사 결정 트리, 신경망 및 SVM의 세 가지 분류 모델을 생성하였다. 실험 결과, 제안한 특성 추출 방법을 이용한 문서 분류는 의사 결정 트리 모델의 경우 평균 Precision 0.90 및 Recall 0.84 로 상당한 정도의 분류 성능을 보여 주었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권3호
• /
• pp.192-201
• /
• 2002

디지털 형태의 문서가 널리 퍼지고 끊임없이 증가함에 따라 이를 자동으로 가공하고 처리하는 문서 자동분류의 중요성이 널리 인식되고 있다. 최근의 문서 자동분류는 k-최근접 이웃, 결정트리, Support Vector Machine, 신경망 등의 다양한 기계학습 기법을 이용하여 연구되고 있다. 그러나 많은 연구가 잘 조직된 데이타 집합을 이용하여 연구결과를 보여주고 있으며, 실제 문제에의 응용성에는 큰 비중을 두지 않고 있다. 본 논문에서는 문서분류의 응용시스템인 질의 자동응답시스템에 적용할 수 있는 다중분류기 결합 방법을 제안하고 실제 전자우편 문서의 분류문제를 해결한다. 첫째로, 다중신경 망을 이용한 문서분류를 제안한다. 제안한 방법은 최대값 결합, 신경망 결합을 통해 성능의 향상을 가져온다. 둘째로, 여러 분류기의 결합을 통해 문서분류의 성능을 개선한다. 본 논문에서는 투표 결합방법, Borda 결합, 신경망 결합방법 등을 적용하여 여러 분류기의 결합을 수행하였다. 실용 가능성을 분석한 실험결과 90%이상의 정확율을 보여 제안한 방법이 실용적일 수 있음을 알 수 있었다.

• 정보처리학회논문지B
• /
• 제9B권6호
• /
• pp.759-764
• /
• 2002

HTML 페이지로 대표되는 웹 문서에서 이미지는 매우 큰 비중을 차지하고 있지만 이에 대한 분석 및 이해에 관한 연구는 활발하게 진행되지 못하고 있다. 여러 가지 웹 이미지들은 중요한 정보를 전달하기도 하지만 그렇지 않은 것들도 있다. 본 논문에서는 현재 서비스중인 인터넷 사이트의 웹 이미지들을 수집하여 기계학습(machine learning)에 기반한 분류(classification)론 통해 제거 가능한 이미지와 제거 불가능한 이미지의 두가지 클래스로 분석해 본다. 이를 위해 16개의 독특하고 풍부한 웹 이미지 특징들을 발굴하고 베이지안 기법과 결정 트리 기법을 사용하여 실험하였다. 그 결과 각각의 기법에서 87.09%, 82.72%의 F-measure 값을 얻었으며 특히, 특징 그룹의 비교 실험을 통해 본 연구에서 추가한 특징들이 매우 유용한 것임을 입증하였다.

• 정보보호학회논문지
• /
• 제29권3호
• /
• pp.531-539
• /
• 2019

본 논문에서는 악성코드 패밀리 분류를 위한 훈련 데이터의 특징을 제안하고, 앙상블 모델을 이용한 다중 분류 성능을 분석한다. 악성코드 실행 파일로부터 API와 DLL 데이터를 추출하여 훈련 데이터를 구성하며, 의사 결정 트리기반 Random Forest와 XGBoost 알고리즘으로 모델을 학습한다. 악성코드에서 빈번히 사용되는 API와 DLL 정보를 분석하며, 고차원의 훈련 데이터 특징을 저차원의 특징 표현으로 변환시켜, 악성코드 탐지와 패밀리 분류를 위한 API, API-DLL, DLL-CM 특징을 제안한다. 제안된 특징 선택 방법은 데이터 차원 축소와 빠른 학습의 장점을 제공한다. 성능 비교에서 악성코드 탐지율은 Random Forest가 93.0%, 악성코드 패밀리 분류 정확도는 XGBoost가 92.0%, 그리고 정상코드를 포함하는 테스트 오탐률은 Random Forest와 XGBoost가 3.5%이다.

• Communications for Statistical Applications and Methods
• /
• 제23권1호
• /
• pp.1-20
• /
• 2016

Causal inference methodologies have been developed for the past decade to estimate the unconfounded effect of an exposure under several key assumptions. These assumptions include, but are not limited to, the stable unit treatment value assumption, the strong ignorability of treatment assignment assumption, and the assumption that propensity scores be bounded away from zero and one (the positivity assumption). Of these assumptions, the first two have received much attention in the literature. Yet the positivity assumption has been recently discussed in only a few papers. Propensity scores of zero or one are indicative of deterministic exposure so that causal effects cannot be defined for these subjects. Therefore, these subjects need to be removed because no comparable comparison groups can be found for such subjects. In this paper, using currently available causal inference methods, we evaluate the effect of arbitrary cutoffs in the distribution of propensity scores and the impact of those decisions on bias and efficiency. We propose a tree-based method that performs well in terms of bias reduction when the definition of positivity is based on a single confounder. This tree-based method can be easily implemented using the statistical software program, R. R code for the studies is available online.

• 응용통계연구
• /
• 제17권3호
• /
• pp.535-545
• /
• 2004

이 논문에서 제안하는 군집분석방법은 분석자료와 동일한 구조의 배경자료를 생성하고 이를 나무모형의 분류기법을 이용하여 분리해 냄으로써 변수들의 규칙으로 정의되는 군집을 형성한다. 배경자료는 reverse-arcing 알고리즘을 통하여 분석자료와 공간상에서 대비되도록 생성되며 군집이 효과적으로 식별되도록 돕는다. 이 방법은 분석자료에 이산형 변수가 혼합된 경우에도 적용할 수 있으며 모의실험자료와 실제 자료를 이용하여 제안된 알고리즘의 성능을 규명하였다.

• 한국멀티미디어학회논문지
• /
• 제24권1호
• /
• pp.106-116
• /
• 2021

To increase the quality of the system in the subjective-type question grading and document classification, we need the paragraph detection. But it is not easy because it is accompanied by semantic analysis. Many researches on the paragraph detection solve the detection problem using the word based clustering method. However, the word based method can not use the order and dependency relation between words. This paper suggests the paragraph detection system using syntactic-semantic relation between words with the Korean syntactic-semantic analysis. This system is the hybrid system of word based, concept based, and syntactic-semantic tree based detection. The experiment result of the system shows it has the better result than the word based system. This system will be utilized in Korean subjective question grading and document classification.

• 대한원격탐사학회지
• /
• 제38권4호
• /
• pp.435-446
• /
• 2022

Identifying ship types is an important process to prevent illegal activities on territorial waters and assess marine traffic of Vessel Traffic Services Officer (VTSO). However, the Terrestrial Automatic Identification System (T-AIS) collected at the ground station has over 50% of vessels that do not contain the ship type information. Therefore, this study proposes a method of identifying ship types through the Random Forest Classifier (RFC) from dynamic and static data of AIS and V-Pass for one year and the Ulsan waters. With the hypothesis that six features, the speed, course, length, breadth, time, and location, enable to estimate of the ship type, four classification models were generated depending on length or breadth information since 81.9% of ships fully contain the two information. The accuracy were average 96.4% and 77.4% in the presence and absence of size information. The result shows that the proposed method is adaptable to identifying ship types.

• Journal of the Korean Data and Information Science Society
• /
• 제20권1호
• /
• pp.179-190
• /
• 2009

금융 산업에서, 의사결정나무 분석은 분류분석을 위해서 널리 사용되는 분석기법이다. 그러나 금융 산업에서 실제로 의사결정나무 분석을 적용할 때, 발생하는 문제점 중 하나는 설명변수의 수가 너무 많다는 점이다. 따라서 모형의 결과에 별 영향을 미치지 않으면서 설명변수의 수를 줄이는 효과적인 방법을 연구할 필요가 있다. 본 연구에서는 의사결정 나무 분석에서 모형의 정확성에 근거한 최선의 변수 선택 방법을 구하기 위하여 다양한 변수 선택방법들을 비교 분석 하였다. 이를 위하여 본 연구에서는 한 보험회사의 연금 보험 상품 자료에 다양한 설명변수 축소방법을 적용하여, 가장 적은 수의 설명변수를 가지고 가장 높은 정확도를 제공하여 주는 설명변수 축소방법을 구하는 실증적인 연구를 시행하였다. 이러한 실험결과, 신경망의 민감도 분석을 이용하여 변수를 축소하고, 그 축소된 변수를 이용하여 의사결정나무 분석 모델을 생성하는 경우가 가장 효율적인 설명변수 축소방법임을 알 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권9호
• /
• pp.880-888
• /
• 2007

지시 표현 '것'은 한국어 대화에서 자주 등장하는 표현이지만, 그 자체로서 대명사나 한정 명사구와 같은 지시 표현이 아니고, 비지시적인 표현으로 쓰이는 '것'과 구별되지 못했기 때문에 지시 해석(reference resolution)에 관한 기존 연구에서 제대로 다루어지지 못했다. 이러한 문제를 해결하기 위해 '것'이 가지고 있는 언어학적 속성과 담화 상의 속성을 기반으로 하여 자질 집합을 설정하고, 결정트리를 이용하여 '것'을 구별하는 방법을 제안한다. 이 방법에 의한 시스템은 비지시 표현의 것에 대해 92%, 지시표현의 것에 대해 82%의 F-measure를 보였으며, 전체적인 분류 성능은 89%였다. 이는 패턴에 따른 규칙을 적용한 분류 성능에 비해 약 15% 가량 향상된 결과이다.