• Communications for Statistical Applications and Methods
• /
• 제15권3호
• /
• pp.441-450
• /
• 2008

In this paper we propose a new method for solving multiclass problem with least squares support vector machine(LS-SVM) regression. This method implements one-against-all scheme which is as accurate as any other approach. We also propose cross validation(CV) method to select effectively the optimal values of hyper-parameters which affect the performance of the proposed multiclass method. Experimental results are then presented which indicate the performance of the proposed multiclass method.

• Communications for Statistical Applications and Methods
• /
• 제19권5호
• /
• pp.655-662
• /
• 2012

Classification is an important research field in pattern recognition with high-dimensional predictors. The support vector machine(SVM) is a penalized feature selector and classifier. It is based on the hinge loss function, the non-convex penalty function, and the smoothly clipped absolute deviation(SCAD) suggested by Fan and Li (2001). We developed the algorithm for the multiclass SVM with the SCAD penalty function using the local quadratic approximation. For multiclass problems we compared the performance of the SVM with the $L_1$, $L_2$ penalty functions and the developed method.

• Journal of the Korean Data and Information Science Society
• /
• 제22권5호
• /
• pp.921-929
• /
• 2011

정보화시대에 대학에서의 교양 컴퓨터교육과정은 컴퓨터에 대한 소양을 쌓고 정보화 사회에 능동적으로 대처할 수 있는 능력을 배양하여 생산성 향상은 물론 국가 간의 경쟁력에서 뒤지지 않게 하는데 목표를 두고 있다. 본 논문에서는 대학생을 대상으로 컴퓨터교육 만족도에 영향을 미치는 결정적인 변인의 발견 및 만족도를 분석한다. 전처리과정으로 자바 기반의 학습 도구인 속성 부분집합의 선택기반을 사용하여 최적의 변인을 선택한 후 통계적 학습이론에 기반을 둔 다중 최소제곱 서포트벡터 기계를 사용하고자 한다. 대학의 교양 컴퓨터교육 만족도 분석을 위하여 새로운 알고리즘을 제시하기 보다는 기존의 다중 서포트벡터기계와 다중 최소제곱 서포트벡터기계를 비교 분석한다. 본 논문의 연구결과는 컴퓨터교육 만족도 자료의 분석에서 다중 최소제곱 서포트벡터기계가 다중 서포트벡터기계와 같이 우수한 성과를 나타내는 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제16권7호
• /
• pp.795-801
• /
• 2013

서포트 벡터 머신은 뛰어난 일반화 성능에 힘입어 다양한 분야에서 의사 결정 나무나 인공 신경망에 비해 더 좋은 분류 성능을 보이고 있기 때문에 최근 널리 사용되고 있다. 서포트 벡터 머신은 기본적으로 이진 분류 문제를 위하여 설계되었기 때문에 서포트 벡터 머신을 다중 클래스 문제에 적용하기 위한 방법으로 다중 이진 분류기의 출력 결과를 이용하는 출력 코딩 방법이 주로 사용되고 있다. 그러나 출력 코딩 기반 서포트 벡터 머신에 사용된 기존 특징 선택 기법은 각 분류기의 정확도 향상을 위한 특징이 아니라 전체 분류 정확도 향상을 위한 특징을 선택하고 있다. 본 논문에서는 출력 코딩 기반 서포트 벡터 머신의 각 이진 분류기의 분류 정확도를 최대화하는 특징을 각각 선택하여 사용함으로써, 전체 분류 정확도를 향상시키는 특징 선택 기법을 제안한다. 실험 결과는 제안 기법이 기존 특징 선택 기법에 비하여 통계적으로 유의미한 분류 정확도 향상이 있었음을 보여주었다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권6호
• /
• pp.1557-1563
• /
• 2015

Multiclass classification is typically performed using the voting scheme method based on combining binary classifications. In this paper we propose multiclass classification method for large data, which can be regarded as the revised one-vs-all method. The multiclass classification is performed by using the hat matrix of least squares support vector machine (LS-SVM) ensemble, which is obtained by aggregating individual LS-SVM trained on each subset of whole large data. The cross validation function is defined to select the optimal values of hyperparameters which affect the performance of multiclass LS-SVM proposed. We obtain the generalized cross validation function to reduce computational burden of cross validation function. Experimental results are then presented which indicate the performance of the proposed method.

• Journal of the Korean Data and Information Science Society
• /
• 제21권5호
• /
• pp.959-965
• /
• 2010

For multiclassification, it is often the case that some variables are not important while some variables are more important than others. We propose a novel algorithm for selecting such relevant variables for multiclassification. This algorithm is base on multiclass least squares support vector machine (LS-SVM), which uses results of multiclass LS-SVM using one-vs-all method. Experimental results are then presented which indicate the performance of the proposed method.

• 전자공학회논문지
• /
• 제50권6호
• /
• pp.238-245
• /
• 2013

제스처 인식은 자연스러운 사용자 인터페이스를 위해 활발히 연구되는 중요한 분야이다. 본 논문에서는 키넥트 카메라로부터 입력되는 사용자의 3차원 관절(joint) 정보를 해석하여 제스처를 인식하는 방법이 제안된다. 대상으로 하는 제스처의 분포 특성에 따라 분류 트리를 설계하고 입력 패턴을 분류한다. 그리고 제스처를 리샘플링 및 정규화 하여 일정한 구간으로 나누고 각 구간의 체인코드 히스토그램을 추출한다. 트리의 각 노드별로 분류된 제스처에 다중 클래스 SVM(Multiclass Support Vector Machine)를 적용하여 학습한다. 이후 입력 데이터를 구성된 트리로 분류한 다음, 학습된 다중 클래스 SVM을 적용하여 제스처를 분류한다.

• ETRI Journal
• /
• 제40권4호
• /
• pp.499-510
• /
• 2018

A vector space based augmented structural kinematic (VSASK) feature descriptor is proposed for human activity recognition. An action descriptor is built by integrating the structural and kinematic properties of the actor using vector space based augmented matrix representation. Using the local or global information separately may not provide sufficient action characteristics. The proposed action descriptor combines both the local (pose) and global (position and velocity) features using augmented matrix schema and thereby increases the robustness of the descriptor. A multiclass support vector machine (SVM) is used to learn each action descriptor for the corresponding activity classification and understanding. The performance of the proposed descriptor is experimentally analyzed using the Weizmann and KTH datasets. The average recognition rate for the Weizmann and KTH datasets is 100% and 99.89%, respectively. The computational time for the proposed descriptor learning is 0.003 seconds, which is an improvement of approximately 1.4% over the existing methods.

• Journal of the Korean Data and Information Science Society
• /
• 제21권3호
• /
• pp.561-567
• /
• 2010

Multiclassification is typically performed using voting scheme methods based on combining a set of binary classifications. In this paper we use multiclassification method with a hat matrix of least squares support vector machine (LS-SVM), which can be regarded as the revised one-against-all method. To tackle multiclass problems for large data, we use the $Nystr\ddot{o}m$ approximation and the quadratic Renyi entropy with estimation in the primal space such as used in xed size LS-SVM. For the selection of hyperparameters, generalized cross validation techniques are employed. Experimental results are then presented to indicate the performance of the proposed procedure.

• Nuclear Engineering and Technology
• /
• 제50권8호
• /
• pp.1306-1313
• /
• 2018

The randomness and incipient nature of certain faults in reactor systems warrant a robust and dynamic detection mechanism. Existing models and methods for fault diagnosis using different mathematical/statistical inferences lack incipient and novel faults detection capability. To this end, we propose a fault diagnosis method that utilizes the flexibility of data-driven Support Vector Machine (SVM) for component-level fault diagnosis. The technique integrates separately-built, separately-trained, specialized SVM modules capable of component-level fault diagnosis into a coherent intelligent system, with each SVM module monitoring sub-units of the reactor coolant system. To evaluate the model, marginal faults selected from the failure mode and effect analysis (FMEA) are simulated in the steam generator and pressure boundary of the Chinese CNP300 PWR (Qinshan I NPP) reactor coolant system, using a best-estimate thermal-hydraulic code, RELAP5/SCDAP Mod4.0. Multiclass SVM model is trained with component level parameters that represent the steady state and selected faults in the components. For optimization purposes, we considered and compared the performances of different multiclass models in MATLAB, using different coding matrices, as well as different kernel functions on the representative data derived from the simulation of Qinshan I NPP. An optimum predictive model - the Error Correcting Output Code (ECOC) with TenaryComplete coding matrix - was obtained from experiments, and utilized to diagnose the incipient faults. Some of the important diagnostic results and heuristic model evaluation methods are presented in this paper.