• 제목/요약/키워드: 선형 SVM

검색결과 104건 처리시간 0.029초

생존자료분석을 위한 혼합효과 최소제곱 서포트벡터기계 (Mixed effects least squares support vector machine for survival data analysis)

  • 황창하;심주용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권4호
    • /
    • pp.739-748
    • /
    • 2012
  • 최소제곱 서포트벡터기계 (least squares support vector machine)는 분류 및 비선형 회귀분석에서 유용하게 사용되고 있는 통계적 기법이다. 본 논문에서는 각 집단별로 생존자료가 관측된 경우 적용할 수 있는 LS-SVM을 제안한다. 제안된 모형은 임의우측 중도절단자료를 비선형 회귀모형에 적용할 수 있게 Kaplan- Meier의 중도절단분포의 추정값을 이용하여 구해진 가중값을 사용하고, 집단 간의 변동을 나타내기 위하여 임의효과항을 포함한다. 벌칙상수와 커널모수의 최적값을 구하기 위하여 일반화 교차타당성함수가 사용되고 모의실험에서는 임의효과항을 포함하지 않은 LS-SVM과 성능을 비교함으로써 제안된 방법의 우수성을 보이기로 한다.

조건부 상호정보를 이용한 분류분석에서의 변수선택 (Efficient variable selection method using conditional mutual information)

  • 안치경;김동욱
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권5호
    • /
    • pp.1079-1094
    • /
    • 2014
  • 상호정보 (mutual information)를 이용한 변수 선택법은 반응변수와 설명변수간의 선형적인 연관성뿐만 아니라 비선형적인 연관성을 감지하며, 설명변수 사이의 연관성도 고려하는 좋은 변수선택 방법이다. 하지만 고차원 자료에서 상호정보를 추정하기가 쉽지 않아 이에 대한 연구가 필요하다. Cai 등 (2009)은 조건부 상호정보를 이용한 전진선택법과 가지치기법을 이용하여 이러한 문제를 해결하였으며, 마이크로어레이 자료와 같은 고차원 자료에서 조건부 상호정보를 이용한 변수 선택법으로 선택된 변수들로 구성된 SVM의 분류 성능이 SVM-RFE 및 기존의 필터링 방법으로 선택된 변수들로 구성된 SVM의 분류 성능보다 뛰어남을 보였다. 하지만 조건부 상호정보를 추정할 때 사용된 Parzen window 방법은 변수의 수가 많아질수록 변수 선택 시간이 길어지는 단점으로 인해 이에 대한 보완이 필요하다. 본 논문에서는 조건부 상호정보 계산 시 필요한 설명변수의 분포를 다변량 정규분포로 가정함으로써 변수선택을 위한 계산시간을 단축시키며 동시에 변수선택의 성능을 향상시키고자 한다. 반면, 설명변수의 분포를 다변량 정규분포로 가정한다는 것은 강한 제약이 될 수 있으므로 이를 완화시킨 Edgeworth 근사를 이용한 조건부 상호정보 기반의 변수 선택법을 제안한다. 실증분석을 통해 본 논문에서 제안한 방법의 효율성을 살펴보았으며, 기존의 조건부 상호정보 기반 변수 선택법에 비해 계산 속도나 분류 성능 면에서 우수함을 보였다.

분광 유사도 커널을 이용한 하이퍼스펙트럴 영상의 Support Vector Machine(SVM) 분류 (Support Vector Machine Classification of Hyperspectral Image using Spectral Similarity Kernel)

  • 최재완;변영기;김용일;유기윤
    • 대한공간정보학회지
    • /
    • 제14권4호통권38호
    • /
    • pp.71-77
    • /
    • 2006
  • 통계학습이론에 기반하고 있는 Support Vector Machine(SVM)은 구조적 위험 최소화원리를 바탕으로 하는 학습 알고리즘이다. 일반적으로SVM은 비선형 경계를 결정하고 자료를 분류하기 위해서 커널(kernel)을 사용한다. 그러나 기존의 커널들은 두 벡터간의 내적이나 거리차를 이용하여 유사도를 측정하기 때문에 하이퍼스펙트럴 영상분류에 효과적으로 적용될 수 없다. 본 논문에서는 이를 해결하기 위해서 분광유사도커널(Spectral similarity kernel)을 제안한다. 분광유사도 커널은 두 벡터의 거리차와 각 차이를 모두 계산하는 지역적 커널로 하이퍼스펙트럴 영상의 분광특성을 효과적으로 고려할 수 있다. 이를 검증하기 위해서 Hyperion 영상에 polynomial kernel, RBF kernel을 사용한 SVM 분류기와 분광유사도 커널을 사용한 SVM 분류기를 적용하여 토지피복분류를 시행하였다. 분류결과를 통해서 분광유사도 커널을 사용한 SVM 분류기가 정량적, 공간적으로 가장 우수한 결과를 보임을 확인하였다.

  • PDF

데이터 마이닝에서 패턴 분류를 위한 다중 SVM 분류기 (Multiple SVM Classifier for Pattern Classification in Data Mining)

  • 김만선;이상용
    • 한국지능시스템학회논문지
    • /
    • 제15권3호
    • /
    • pp.289-293
    • /
    • 2005
  • 패턴 분류는 실세계의 객체를 표현한 다양한 형태의 패턴 정보를 추출하여, 이것이 어떤 부류(클래스)인가를 결정하는 것이다. 패턴 분류 기술은 데이터 마이닝, 산업 자동화나 업무자동화를 위한 컴퓨터 응용 소프트웨어 기술로서 현재 다양한 분야에서 활용되고 있다. 패턴 분류 기술의 최대 목표는 분류 성능 향상이며 이것을 위해 지난 40년간 많은 연구자들이 다양한 접근 방법들을 시도해 왔다. 주로 이용되는 단일 분류 방법들로는 패턴들의 확률적 추론에 기반한 베이즈 분류기, 결정 트리, 거리함수를 이용하는 방법, 신경망, 군집화 등이 있으나 대용량 다차원 데이터를 분석하기에는 효율적이지 못하다. 따라서 상호 보완적인 여러 분류기들을 사용해 결합을 통하여 성능 향상에 도움을 주고 있는 다중 분류기 시스템에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 다중 SVM(Support Vector Machine) 분류기에 관한 기존 연구의 문제점을 지적하고 새로운 모델을 제안한다. SVM을 다중 클래스 분류기로 확장하기 위해 일대다 정책을 기반으로 하여 각각의 SVM 출력값을 비선형 패턴을 갖는 신호로 간주하고 이를 신경망에 학습하여 최종 분류 성능 결과를 결합하는 모델인 BORSE(Bootstrap Resampling SVM by Ensemble)를 제안한다.

음성신호 기반의 성별인식을 위한 Support Vector Machines의 적용 (Voice-Based Gender Identification Employing Support Vector Machines)

  • 이계환;강상익;김덕환;장준혁
    • 한국음향학회지
    • /
    • 제26권2호
    • /
    • pp.75-79
    • /
    • 2007
  • 본 논문은 SVM(Support Vector Machines)을 이용한 음성신호 기반의 효과적인 성별인식 시스템을 제안한다. 분별적 이진(binary) 패턴 분류기인 SVM은 특징 공간에서 비선형 경계를 찾아 분류하는 방법으로 우수한 성능을 보인다고 알려져 있다. 연구에서는 기존의 성별인식에서 널리 쓰이고 있는 MFCC(Mel Frequency Cepstral Coefficients)를 사용하여 SVM과 기존의 GMM(Gaussian Mixture Model) 알고리즘의 성별인식 성능을 비교하였고, 특히, 보다 향상된 SVM의 성별인식을 위해 MFCC와 Pitch를 이용한 결합 특징 벡터를 적용하였다. 실험결과 MFCC 파라미터를 사용했을 때 제안된 SVM이 GMM보다 우수한 성별인식 성능을 보였고, 제안된 결합 특징 벡터를 사용 했을 때 우수한 성능을 보였다.

자동분류기반 성격 유형별 도서추천시스템 개발을 위한 실험적 연구 (A Experimental Study on the Development of a Book Recommendation System Using Automatic Classification, Based on the Personality Type)

  • 조현양
    • 한국도서관정보학회지
    • /
    • 제48권2호
    • /
    • pp.215-236
    • /
    • 2017
  • 이 연구의 목적은 개인별 성향이나 성격 유형에 따라 선호하는 도서에 차이가 있음을 전제로, 어린이 청소년을 위한 추천도서의 책소개 정보를 활용하여 개인별 성격유형에 적합한 도서를 합리적으로 추천할 수 있는 서평 자동분류시스템을 개발하는 것이다. 연구에서 사용한 데이터는 국립어린이청소년도서관에서 제공하는 501권의 유아 및 아동도서를 대상으로 하였다. 실험에 활용된 2가지 기계학습 모델(비선형 커널 및 선형 커널) 각각에 대해서 총 6가지의 색인어 가중치 계산 방법과 자질 선택 방법, 그리고 10가지의 자질 선정 임계치 조합으로 구성된 360개의 분류 모델들을 구성하고 각각의 성능을 측정하였다. 전체적으로는 선형 커널을 이용한 SVM 기반 학습 방법(LIBLINEAR)이 비선형 분류를 지원하는 LibSVM(RBF 커널) 모델보다 더 나은 성능을 보이는 것으로 나타났다. 다만 성능 측정 결과는 뉴스 기사나 논문을 대상으로 한 문헌 분류 성능에 비해서 낮은 것으로 나타났으나, 합리적인 분류 기준이 존재하는 뉴스기사나 주제 분류에 비해서 성격 유형 기반 분류는 그 난이도가 높다는 것을 감안할 때, 초기 실험 결과로서의 의미는 있다.

SVM과 LDA를 이용한 마커 검출 및 인식의 성능 향상 (Performance Enhancement of Marker Detection and Recognition using SVM and LDA)

  • 강선경;소인미;김영운;이상설;정성태
    • 한국멀티미디어학회논문지
    • /
    • 제10권7호
    • /
    • pp.923-933
    • /
    • 2007
  • 본 논문에서는 SVM(Support Vector Machine)과 LDA(Linear Discriminant Analysis)를 이용하여 사각형 형태 마커 검출 및 인식의 성능을 향상시키는 방법을 제안한다. 본 논문의 방법에서는 사각형 형태의 마커 검출을 위하여 입력 영상을 이진 영상으로 변환하고 객체들의 윤곽선을 추출한 다음에 윤곽선을 선분으로 근사화 한다. 근사화된 선분으로부터 기하학적 특징을 이용하여 사각형을 찾는다. 마커의 사각형 영역을 찾은 다음에는 워핑 기법과 확대/축소 변환을 이용하여 사각형 영상을 정사각형 형태로 정규화한다. 정사각형 형태로 정규화한 다음에는 주성분 분석을 적용하여 특징 벡터의 크기를 줄인 다음에 SVM을 이용하여 마커 영상인지 아닌지를 검사한다. 마커 영상으로 판별된 영상에 대하여 LDA를 적용하여 특징 벡터의 크기를 더 줄이고 표준 마커에 대한 특징 벡터와의 최소 거리법에 의해 마커의 종류를 인식한다. 인식 실험 결과 SVM을 사용함으로써 마커 검출의 오류를 줄일 수 있었고 LDA를 사용함으로써 특징 벡터의 크기는 줄어들고 인식률이 높아짐을 알 수 있었다.

  • PDF

불균형 자료의 분류분석을 위한 가중 L1-norm SVM (Weighted L1-Norm Support Vector Machine for the Classification of Highly Imbalanced Data)

  • 김은경;전명식;방성완
    • 응용통계연구
    • /
    • 제28권1호
    • /
    • pp.9-21
    • /
    • 2015
  • SVM은 높은 수준의 분류 정확도와 유연성을 바탕으로 다양한 분야의 분류분석에서 널리 사용되고 있다. 그러나 집단별 개체수가 상이한 불균형 자료의 분류분석에서 SVM은 다수집단으로 편향되게 분류함수를 추정하므로 소수집단의 분류 정확도가 심각하게 감소하게 된다. 불균형 자료의 분류분석을 위하여 집단별 오분류 비용을 차등 적용하는 가중 $L_2$-norm SVM이 개발되었으나, 이는 릿지 형태의 벌칙함수를 사용하므로 분류함수의 추정에서 불필요한 잡음변수의 제거에는 효율적이지 못하다. 따라서 본 논문에서는 라소 형태의 별칙함수를 사용하고 훈련개체의 오분류 비용을 차등적으로 부여함으로서 불균형 자료의 분류분석에서 변수선택의 기능을 지니는 가중 $L_1$-norm SVM을 제안하였으며, 모의실험과 실제자료의 분석을 통하여 제안한 방법론의 효율적인 성능과 유용성을 확인하였다.

통계적 분류방법을 이용한 문화재 정보 분석

  • 강민구;성수진;이진영;나종화
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2009년도 춘계학술대회 미래 IT융합기술 및 전략
    • /
    • pp.120-125
    • /
    • 2009
  • 본 논문에서는 통계적 분류방법을 이용하여 문화재 자료의 분석을 수행하였다. 분류방법으로는 선형판별분석, 로지스틱회귀분석, 의사결정나무분석, 신경망분석, SVM분석을 사용하였다. 각각의 분류방법에 대한 개념 및 이론에 대해 간략히 소개하고, 실제자료 분석에서는 "지역별 문화재 통계분석 및 모형개발 연구 1차(2008)"에 사용된 자료 중 익산시 자료를 근거로 매장문화재에 대한 분류방법별 적합모형을 구축하였다. 구축된 모형과 모의실험의 결과를 통해 각각의 적합모형에 대한 비교를 수행하여 모형의 성능을 비교하였다. 분석에 사용된 도구로는 최근 가장 관심을 갖는 R-project를 사용하였다.

  • PDF

PCA를 이용한 3차원 얼굴인식 모델에 관한 연구 : 모델 구조 비교연구 및 해석 (A Study On Three-dimensional Face Recognition Model Using PCA : Comparative Studies and Analysis of Model Architectures)

  • 박찬준;오성권
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2015년도 제46회 하계학술대회
    • /
    • pp.1373-1374
    • /
    • 2015
  • 본 논문은 복잡한 비선형 모델링 방법인 다항식 기반 RBF 뉴럴 네트워크(Radial Basis Function Neural Network)와 벡터공간에서 임의의 비선형 경계를 찾아 두 개의 집합을 분류하는 방법으로 주어진 조건하에서 수학적으로 최적의 해를 찾는 SVM(Support Vector Machine)를 사용하여 3차원 얼굴인식 모델을 설계하고 두 모델의 3차원 얼굴 인식률을 비교한다. 3D스캐너를 통해 3차원 얼굴형상을 획득하고 획득한 영상을 전처리 과정에서 포인트 클라우드 정합과 포즈보상을 수행한다. 포즈보상 통해 정면으로 재배치한 영상을 Multiple Point Signature기법을 이용하여 얼굴의 깊이 데이터를 추출한다. 추출된 깊이 데이터를 RBFNN과 SVM의 입력패턴과 출력으로 선정하여 모델을 설계한다. 각 모델의 효율적인 학습을 위해 PCA 알고리즘을 이용하여 고차원의 패턴을 축소하여 모델을 설계하고 인식 성능을 비교 및 확인한다.

  • PDF