• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.163-165
• /
• 2001

최근 기계학습 분야에서 커널머신을 이용한 대표적 학습기로서 Support Vector Machine(SVM)이 주목받고 있다. SVM은 통계학자인 Vapnik에 의해 제안된 것으로 통계적 학습이론에 기반 하여 뛰어난 일반화 성능을 보여준다. 그러나. SVM은 2클래tm 분류기이므로 일반적인 다중 클래스 패턴인식 문제에 적용할 수 없다. 본 논문에서는 이를 해결하기 위해 SVM을 신경망과 결합하여 다중 클래스 분류기로 확장하는 방법을 새롭게 제안한다. 제안하는 분류기의 성능을 비교하기 위하여 ORL얼굴 데이터를 이용하여 제안하는 분류기와 기존의 대표적인 다중 SVM, 신경망, PCA를 적응한 얼굴인식 실험을 수행하였다. 실험결과 제안하는 분류기를 이용한 얼굴인식률이 기존의 다중 SVM을 이용한 경우보다 3%, 신경망을 이용한 경우보다 6% 높은 수치를 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.883-885
• /
• 2005

지지 벡터 기계(Support Vector Machine: SVM)를 이용한 다중부류 분류기법이 최근 활발히 연구되고 있다. SVM은 이진분류기이기 때문에 다중부류 분류를 위해서 다수의 분류기를 구성하고 이들을 효과적으로 결합하는 방법이 필요하다. 본 논문에서는 기존의 정적인 다중분류기 결합 방법과는 달리 포섭구조의 분류모델을 확률에 따라 동적으로 구성하는 방법을 제안한다. 확률적 분류기인 나이브 베이즈 분류기(NB)를 이용하여 입력된 샘플의 각 클래스에 대한 확률을 계산하고, OVA (One-Vs-All) 전략으로 구축된 다중의 SVM을 획득된 확률에 따라 포섭구조로 구성한다. 제안하는 방법은 OVA SVM에서 발생하는 중의적인 상황을 효과적으로 처리하여 고성능의 분류를 수행한다. 본 논문에서는 지문분류 문제에서 대표적인 NIST-4 지문 데이터베이스를 대상으로 제안하는 방법을 적용하여 $1.8\%$의 거부율에서 $90.8\%$의 분류율을 획득하였으며, 기존의 결합 방법인 다수결 투표(Majority vote), 승자독식(Winner-takes-all), 행동지식공간 (Behavior knowledge space), 결정템플릿(Decision template) 등보다 높은 성능을 확인하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.15 no.3
• /
• pp.289-293
• /
• 2005

Pattern classification extracts various types of pattern information expressing objects in the real world and decides their class. The top priority of pattern classification technologies is to improve the performance of classification and, for this, many researches have tried various approaches for the last 40 years. Classification methods used in pattern classification include base classifier based on the probabilistic inference of patterns, decision tree, method based on distance function, neural network and clustering but they are not efficient in analyzing a large amount of multi-dimensional data. Thus, there are active researches on multiple classifier systems, which improve the performance of classification by combining problems using a number of mutually compensatory classifiers. The present study identifies problems in previous researches on multiple SVM classifiers, and proposes BORSE, a model that, based on 1:M policy in order to expand SVM to a multiple class classifier, regards each SVM output as a signal with non-linear pattern, trains the neural network for the pattern and combine the final results of classification performance.

• Journal of KIISE:Software and Applications
• /
• v.32 no.12
• /
• pp.1260-1270
• /
• 2005

Support Vector Machines (SVM) is well known for a representative learner as one of the kernel methods. SVM which is based on the statistical learning theory shows good generalization performance and has been applied to various pattern recognition problems. However, SVM is basically to deal with a two-class classification problem, so we cannot solve directly a multi-class problem with a binary SVM. One-Per-Class (OPC) and All-Pairs have been applied to solve the face recognition problem, which is one of the multi-class problems, with SVM. The two methods above are ones of the output coding methods, a general approach for solving multi-class problem with multiple binary classifiers, which decomposes a complex multi-class problem into a set of binary problems and then reconstructs the outputs of binary classifiers for each binary problem. In this paper, we introduce the output coding methods as an approach for extending binary SVM to multi-class SVM and propose new output coding schemes based on the Error-Correcting Output Codes (ECOC) which is a dominant theoretical foundation of the output coding methods. From the experiment on the face recognition, we give empirical results on the properties of output coding methods including our proposed ones.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.37-39
• /
• 2006

지지 벡터 기계(Support Vector Machine; SVM)는 기본적으로 이진분류를 위해 고안되었지만, 최근 다양한 분류기 생성전략과 결합전략이 고안되어 다중부류 분류에도 적용되고 있다. 본 논문에서는 OVR(One-Vs-Rest) 전략으로 생성된 SVM을 NB(Naive Bayes) 분류기를 이용하여 동적으로 구성함으로써, OVR SVM을 이용한 다중부류 분류 시스템에서 자주 발생하는 동점을 효과적으로 해결하는 방법은 제안한다. 이 방법을 유전발현 데이터를 이용한 다중부류 암 분류에 적용하였는데, 고차원의 데이터로부터 NB 분류기 구축에 유용한 유전자를 선택하기 위해 Pearson 상관계수를 사용하였다. 14개의 암 유형과 16,063개의 유전발현 수준을 가지는 대표적인 다중부류 암 분류 데이터인 GCM 암 데이터에 적용하여 제안하는 방법의 유용성을 확인하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.14 no.1
• /
• pp.16-22
• /
• 2010

Electrocardiogram(ECG) analysis and arrhythmia recognition are critical for diagnosis and treatment of ill patients. Cardiac arrhythmia is a condition in which heart beat may be irregular and presents a serious threat to the patient recovering from ventricular tachycardia (VT) and ventricular fibrillation (VF). Other arrhythmias like atrial premature contraction (APC), Premature ventricular contraction (PVC) and superventricular tachycardia (SVT) are important in diagnosing the heart diseases. This paper presented new method to classify various arrhythmias contrary to other techniques which are limited to only two or three arrhythmias. ECG is decomposed into Intrinsic Mode Functions (IMFs) by Empirical Mode Decomposition (EMD). Burg algorithm was performed on IMFs to obtain AR coefficients which can reduce the dimension of feature vector and utilized as Multi-class SVM inputs which is basically extended from binary SVM. We chose optimal parameters for SVM classifier, applied to arrhythmias classification and achieved the accuracies of detecting NSR, APC, PVC, SVT, VT and VP were 96.8% to 99.5%. The results showed that EMD was useful for the preprocessing and feature extraction and multi-class SVM for classification of cardiac arrhythmias, with high usefulness.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.751-753
• /
• 2005

지문을 5가지 클래스로 나누는 헨리시스템을 기반으로 신경망이나 SVM(Support Vector Machines) 등과 같은 다양한 패턴분류 기법들이 지문분류에 많이 사용되고 있다. 특히 최근에는 높은 분류 성능을 보이는 SVM 분류기의 결합을 이용한 연구가 활발히 진행되고 있다. 지문은 클래스 구분이 모호한 영상이 많아서 단일결합모델로는 분류에 한계가 있다. 이를 위해 본 논문에서는 새로운 분류기 결합모델인 다중결정템플릿(Multiple Decision Templates, MuDTs)을 제안한다. 이 방법은 하나의 지문클래스로부터 서로 다른 특성을 갖는 클러스터들을 추출하여 각 클러스터에 적합한 결합모델을 생성한다. NIST-database4 데이터로부터 추출한 핑거코드에 대해 실험한 결과. 5클래스와 4클래스 분류문제에 대하여 각각 $90.4\%$와 $94.9\%$의 분류성능(거부율 $1.8\%$)을 획득하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06a
• /
• pp.174-178
• /
• 2008

P2P를 포함하는 인터넷 애플리케이션 트래픽의 보다 빠르고 정확한 분류는 최근 학계의 중요한 이슈 중 하나이다. 본 논문에서는 기존의 전통적인 분류방법으로 대표되는 port 번호 및 payload 정보를 이용하는 방법론의 구조적 한계점을 극복하는 새로운 대안으로써, 이진 분류기인 SVM과 단일클래스 SVM을 계층적으로 결합한 다중 클래스 SVM을 구축하여 인터넷 애플리케이션 트래픽 분류를 수행하였다. 제안된 시스템은 이진 분류기인 SVM으로 P2P 트래픽과 non-P2P 트래픽을 빠르게 분류하는 첫 번째 계층, 3개의 단일클래스 SVM을 기반으로 P2P 트래픽들을 파일공유, 메신저, TV로 분류하는 두 번째 계층, 그리고 전체 16가지의 애플리케이션 트래픽별로 세분화 분류하는 세 번째 계층으로 구성된다. 제안된 시스템은 flow 기반의 트래픽 정보를 수집하여 인터넷 애플리케이션 트래픽을 coarse 혹은 fine하게 분류함으로써 효율적인 시스템의 자원 관리, 안정적인 네트워크 환경의 지원, 원활한 bandwidth의 사용, 그리고 적절한 QoS를 보장하였다. 또한, 새로운 애플리케이션 트래픽이 추가되더라도 전체 시스템을 재학습 시킬 필요 없이 새로운 애플리케이션 트래픽만을 추가 학습함으로써 시스템의 점증적 갱신 및 확장성에도 기여하였다. 평가항목인 recall과 precision에서 만족스러운 수치 등을 실험을 통하여 확인함으로써 제안된 시스템의 성능을 검증하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.760-762
• /
• 2005

Support vector machine(SVM)은 졸은 일반화 능력을 가진 학습시스템으로, 최근 다양한 패턴 인식 분야에서 적용되고 있다. SVM은 기본적으로 이진 분류기이므로 두 개 이상의 클래스를 분류하기 위해서는 다중 클래스 분류가 가능한 형태로의 설계 방법이 필요하다. 이를 위해 각 클래스별로 독립적인 SVM들을 만들어 결과를 병합하는 방식이 주로 사용되어 왔다. 그러나 이러한 방법은 클래스의 수는 않고 한 클래스 내의 데이터의 수가 많지 않은 경우에는 SVM의 일반화 성능을 저하시키고 노이즈에 민감해지는 문제점을 가지고 있다. 이를 해결하기 위해 본 논문에서는 각 클래스내의 데이터간의 유사도 측정을 위한 통계적 정보를 안정적으로 추출하기 위해 두 데이터의 쌍을 입력으로 받는 새로운 SVM 설계 방법을 제시한다. 제안한 방법을 실제 생체인식 데이터에 적용한 실험에서 기존의 방법보다 우수한 분류 성능을 보임을 확인할 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.33 no.10
• /
• pp.886-895
• /
• 2006

Fingerprint classification reduces the number of matches required in automated fingerprint identification systems by categorizing fingerprints into a predefined class. Support vector machines (SVMs), widely used in pattern classification, have produced a high accuracy rate when performing fingerprint classification. In order to effectively apply SVMs to multi-class fingerprint classification systems, we propose a novel method in which SVMs are generated with the one-vs-all (OVA) scheme and dynamically ordered with $na{\ddot{i}}ve$ Bayes classifiers. More specifically, it uses representative fingerprint features such as the FingerCode, singularities and pseudo ridges to train the OVA SVMs and $na{\ddot{i}}ve$ Bayes classifiers. The proposed method has been validated on the NIST-4 database and produced a classification accuracy of 90.8% for 5-class classification. Especially, it has effectively managed tie problems usually occurred in applying OVA SVMs to multi-class classification.