• 제목/요약/키워드: Generalization Error Bound

검색결과 6건 처리시간 0.018초

서포트 벡터 기계에서 TOTAL MARGIN을 이용한 일반화 오차 경계의 개선 (Improving the Generalization Error Bound using Total margin in Support Vector Machines)

  • 윤민
    • 응용통계연구
    • /
    • 제17권1호
    • /
    • pp.75-88
    • /
    • 2004
  • 서포트 벡터 기계(Support Vector Machines, SVMs) 알고리즘은 표본 점들과 분리 초평면 사이의 최소 거리를 최대화하는 것에 관심을 가져왔다. 본 논문은 모든 데이터 점들과 분리 초평면 사이의 거리들을 고려하는 total margin을 제안한다. 본 논문에서 제안하는 방법은 기존의 서포트 벡터 기계 알고리즘을 확장하고, 일반화 오차 경계를 개선하게 된다. 새롭게 제안하는 total margin알고리즘이 기존 방법들과의 비교를 통하여 더욱 우수한 수행능력을 가지고 있음을 수치 예제들을 통하여 확인할 수 있다.

Data-Adaptive ECOC for Multicategory Classification

  • Seok, Kyung-Ha
    • Journal of the Korean Data and Information Science Society
    • /
    • 제19권1호
    • /
    • pp.25-36
    • /
    • 2008
  • Error Correcting Output Codes (ECOC) can improve generalization performance when applied to multicategory classification problem. In this study we propose a new criterion to select hyperparameters included in ECOC scheme. Instead of margins of a data we propose to use the probability of misclassification error since it makes the criterion simple. Using this we obtain an upper bound of leave-one-out error of OVA(one vs all) method. Our experiments from real and synthetic data indicate that the bound leads to good estimates of parameters.

  • PDF

서포트 벡터 기계에서 잡음 영향의 효과적 조절 (Support Vector Machines Controlling Noise Influence Effectively)

  • 김철응;윤민
    • 응용통계연구
    • /
    • 제16권2호
    • /
    • pp.261-271
    • /
    • 2003
  • 서포트 벡터 기계(Support Vector Machines, SVMs)에서의 일반화 오차의 경계는 훈련점들과 분리 초평면 사이의 최소의 거리에 의존한다. 특히, 소프트 마진 알고리즘은 목표 마진과 slack 벡터의 놈들에 의하여 경계가 결정된다. 이 논문에서는, 자료들에 있어서 잡음들에 의한 오염들을 직접적으로 고려하는 새로운 소프트 마진 알고리즘을 공식화하였다. 그리고, 수치적 예제를 통하여, 제안된 방법과 기존의 소프트 마진 알고리즘을 비교하였다.

임팩트 팩터를 이용한 신경 회로망의 연결 소거 알고리즘 (A Pruning Algorithm of Neural Networks Using Impact Factors)

  • 이하준;정승범;박철훈
    • 전자공학회논문지CI
    • /
    • 제41권2호
    • /
    • pp.77-86
    • /
    • 2004
  • 일반적으로 작은 구조의 신경 회로망은 좋은 일반화 성능을 나타내지만 원하는 학습 목표까지 학습하기가 어려운 경향이 있다. 반면에 큰 구조의 신경 회로망은 학습 데이터는 쉽게 배우지만 일반화 성능이 좋지 않은 경향이 있다. 따라서 좋은 일반화 성능을 얻기 위한 일반적인 방법은 학습이 되는 한도 내에서 최소 구조의 신경 회로망 즉 최적 구조 신경 회로망을 찾는 것이다. 본 논문에서는 가중치의 제곱과 뉴런 출력의 분산의 곱으로 정의되는 임팩트 팩터(ImF: Impact Factor)를 이용한 새로운 연결 소거 알고리즘을 제안한다. 그리고 함수 근사화 문제에 적용하여 제안된 방법이 효율적임을 보인다.

이동무선통신을 위한 주파수 도약부호 분할 다중접근에 관한 연구 (A Study on Frequency-Hopped Code Division Multiple Access for Mobile Radio)

  • 한영렬
    • 한국통신학회논문지
    • /
    • 제14권3호
    • /
    • pp.227-234
    • /
    • 1989
  • 본 논문에서는 이동무선통신을 위한 FH/MFSK 시스템의 새로운 수신장치를 제시하였다. 새로운 수신기는 불필요한 모든 주파수채널의 에너지검출을 감소시키므로써 수신장치의 구성을 용이하게 한다. 이 시스템의 성능분석은 유니언바운드를 사용하여 에러확율을 도출하고 동시이용자수에 대하여 워드에러확율을 최소화시키는 최적메세지비트수를 구하였다. 이 방식은 메세지비트수를 변화시킬 수 있는 점에서 FH/MFSK 시스템의 일반화라 할 수 있고 설계자에게 장치구성의 유연성을 증가시킨다. 에러확율은 대역폭과 반복전송수가 일정할 경우 산출도시하였고 에러정정부호를 사용하는 효과도 고려하였다.

  • PDF

회사채 신용등급 예측을 위한 SVM 앙상블학습 (Ensemble Learning with Support Vector Machines for Bond Rating)

  • 김명종
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.29-45
    • /
    • 2012
  • 회사채 신용등급은 투자자의 입장에서는 수익률 결정의 중요한 요소이며 기업의 입장에서는 자본비용 및 기업 가치와 관련된 중요한 재무의사결정사항으로 정교한 신용등급 예측 모형의 개발은 재무 및 회계 분야에서 오랫동안 전통적인 연구 주제가 되어왔다. 그러나, 회사채 신용등급 예측 모형의 성과와 관련된 가장 중요한 문제는 등급별 데이터의 불균형 문제이다. 예측 문제에 있어서 데이터 불균형(Data imbalance) 은 사용되는 표본이 특정 범주에 편중되었을 때 나타난다. 데이터 불균형이 심화됨에 따라 범주 사이의 분류경계영역이 왜곡되므로 분류자의 학습성과가 저하되게 된다. 본 연구에서는 데이터 불균형 문제가 존재하는 다분류 문제를 효과적으로 해결하기 위한 다분류 기하평균 부스팅 기법 (Multiclass Geometric Mean-based Boosting MGM-Boost)을 제안하고자 한다. MGM-Boost 알고리즘은 부스팅 알고리즘에 기하평균 개념을 도입한 것으로 오분류된 표본에 대한 학습을 강화할 수 있으며 불균형 분포를 보이는 각 범주의 예측정확도를 동시에 고려한 학습이 가능하다는 장점이 있다. 회사채 신용등급 예측문제를 활용하여 MGM-Boost의 성과를 검증한 결과 SVM 및 AdaBoost 기법과 비교하여 통계적으로 유의적인 성과개선 효과를 보여주었으며 데이터 불균형 하에서도 벤치마킹 모형과 비교하여 견고한 학습성과를 나타냈다.