• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권9호
• /
• pp.857-868
• /
• 2007

좋은 분류기 앙상블은 분류기간에 상호 보완성을 갖추어 높은 인식 성능을 보여야 하며, 크기가 작아 계산 효율이 좋아야 한다. 이 논문은 이러한 목적을 달성하기 위한 거친-섬세한 (coarse-to-fine)단계를 밟는 분류기 앙상블 선택 방법을 제안한다. 이 방법이 성공하기 위해서는 초기 분류기 풀 (pool)이 충분히 다양해야 한다. 이 논문에서는 여러 개의 서로 다른 분류 알고리즘과 아주 많은 수의 특징 부분집합을 결합하여 충분히 큰 분류기 풀을 생성한다. 거친 선택 단계에서는 분류기 풀의 크기를 적절하게 줄이는 것이 목적이다. 분류기 군집화 알고리즘을 사용하여 다양성을 최소로 희생하는 조건하에 분류기 풀의 크기를 줄인다. 섬세한 선택에서는 유전 알고리즘을 이용하여 최적의 앙상블을 찾는다. 또한 탐색 성능이 개선된 혼합 유전 알고리즘을 제안한다. 널리 사용되는 필기 숫자 데이타베이스를 이용하여 기존의 단일 단계 방법과 제안한 두 단계 방법의 성능을 비교한 결과 제안한 알고리즘이 우수함을 입증하였다.

• 한국컴퓨터정보학회논문지
• /
• 제26권1호
• /
• pp.27-35
• /
• 2021

본 연구에서는 레이블 임베딩의 분포를 반영하는 딥러닝 모형을 위한 새로운 스태킹 앙상블 방법론을 제안하였다. 제안된 앙상블 방법론은 기본 딥러닝 분류기를 학습하는 과정과 학습된 모형으로 부터 얻어진 레이블 임베딩을 이용한 군집화 결과로부터 소분류기들을 학습하는 과정으로 이루어져 있다. 본 방법론은 주어진 다중 분류 문제를 군집화 결과를 활용하여 소 문제들로 나누는 것을 기본으로 한다. 군집화에 사용되는 레이블 임베딩은 처음 학습한 기본 딥러닝 분류기의 마지막 층의 가중치로부터 얻어질 수 있다. 군집화 결과를 기반으로 군집화 내의 클래스들을 분류하는 소분류기들을 군집의 수만큼 구축하여 학습한다. 실험 결과 기본 분류기로부터의 레이블 임베딩이 클래스 간의 관계를 잘 반영한다는 것을 확인하였고, 이를 기반으로 한 앙상블 방법론이 CIFAR 100 데이터에 대해서 분류 성능을 향상시킬 수 있다는 것을 확인할 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
• /
• pp.16-18
• /
• 2003

기계학습의 분류(classification) 기술을 실제 문제에 적용하기 위해서는 카테고리(category)를 부여한 학습예제를 상당수 준비하여야 한다. 예제에 카테고리를 부여(labeling)하는 작업에는 무시할 수 없는 시간과 인력을 필요로 한다. 능동적 학습(active learning)은 동일한 수의 학습예제로 최대한의 성능을 달성하기 위하여 카테고리를 부여할 학습예제를 선별하는 전략이다. 능동적 학습은 현재까지 파악된 정보에 기반하여 분류기(classifier)를 생성하고, 생성된 분류기를 활용하여 카테고리를 부여받았을 때 가장 이득이 큰 예제들을 선정하여 사용자에게 문의하는 과정을 반복하여 수행한다. 만일 능동적 학습의 첫 학습단계에서 학습에 보다 유용한 예제들을 최초학습예제집합으로 선정한다면 같은 수의 학습예제로 더 나은 성능을 달성할 수 있을 것이다. 본 논문에서는 유사한 예제들은 동일한 카테고리에 속할 가능성이 높다는 일반적인 가정에 기반하여 예제들을 군집화(clustering)한 후, 생성된 각 군집을 대표할 수 있는 예제로 최초학습예제집합으로 구성하는 방안을 제안한다. 제안한 방안을 문서분류 문제를 대상으로 실험해 본 결과 최초학습예제들을 임의로 선정하는 방식보다 정확도가 높은 분류기를 생성할 수 있음을 확인하였다.

• 정보처리학회논문지B
• /
• 제11B권4호
• /
• pp.485-490
• /
• 2004

자조의 표현에서 군집화는 주어진 데이터를 서로 유사한 개체들끼리 몇 개의 집단으로 묶는 작업을 수행한다. 군집화의 유사도 결정 측도는 맡은 연구들에서 매우 다양한 것들이 사용되었다. 하지만 군집화 결과의 성능 측정에 대한 객관적인 기준 설정이 어렵기 때문에 군집화 결과에 대한 해석은 매우 주관적이고, 애매한 경우가 많다. 퍼지 군집화는 이러한 주관적인 군집화 문제에 있어서 객관성 있는 군집 결정 방안을 제시하여 준다. 각 개체들이 특정 군집에 속하게 될 퍼지 멤버 함수값을 원소로 하는 유사도 행렬을 통하여 군집화를 수행한다. 본 논문에서는 차원 축소기법의 하나인 주성분 분석과 강력한 통계적 학습 이론인 베이지안 학습을 결합한 군집화 모형을 제안하여, 객관적인 퍼지 군집화를 수행하였다. 제안 알고리즘의 성능 평가를 위하여 UCI Machine Loaming Repository의 Iris와 Glass Identification 데이터를 이용한 실험 결과를 제시하였다.

• 응용통계연구
• /
• 제13권2호
• /
• pp.447-455
• /
• 2000

본 논문에서는 커널분류기에 요구되는 다량의 계산량과 자료저장공간을 감소시키도록 고안된 최적군집방법을 적용한 K-평균 가중커널분류기법이 제안되었다. 이 방법은 원래의 훈련표본보다 작은 수의 참고벡터들과 그들의 가중값을 들을 찾아 원래 커널분류 기준을 근사화하여 패턴을 인식하는 것이다. K-평균 가중커널분류기법은 가중파젠윈도우(WPW)분류기법을 개량한 것으로서 참고벡터들을 계산하기 위한 초기 부적절하게 군집된 관측값들을 최적으로 재군집화 함으로써 WPW기법의 단범을 극복하였다. 실제자료들에 제안된 방법을 적용한 결과 WPW분류기법보다 참고벡터들의 대표성과 자료축소면에서 월등히 향상된 결과를 확인하였다

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권10호
• /
• pp.705-712
• /
• 2013

능동적 학습(active learning)은 소수의 라벨 데이터로 구성된 훈련 집합이 주어진 경우에 분류기 학습에 가장 도움이 될 만한 언라벨드 데이터를 선택하여 전문가에 의한 라벨링을 통해 훈련 집합에 포함시키는 과정을 반복함으로써 분류기의 성능을 향상시키는 것을 목적으로 한다. 본 논문에서는 워드 연결(ward's linkage)을 이용한 계층적 군집화(hierarchical clustering)를 바탕으로 한 능동적 학습 방법을 제안한다. 제안된 방법은 각 군집에서 적어도 하나의 샘플을 포함하도록 초기 훈련 집합을 능동적으로 구성하거나 또는 기존의 훈련 집합을 확장함으로써 전체 데이터 분포를 반영할 수 있게 한다. 기존의 능동적 학습 방법들 중 대부분은 초기 훈련 집합이 주어져 있을 경우를 가정하는 반면에 제안하는 방법은 초기 클래스 정보를 가진 훈련 데이터가 주어지지 않은 경우와 주어진 경우에 모두 적용 가능하다. 실험을 통하여 제안하는 방법이 비교 방법들에 비해 분류기 성능을 크게 향상시킬 수 있는 효과적인 데이터 선택을 수행함을 보인다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2005년도 춘계학술대회
• /
• pp.240-249
• /
• 2005

사용자 맞춤 서비스를 위하여 온라인상에서 사용자의 관심 분야를 파악하고자 하는 경우에는 적은 수의 훈련 예제로 효율적인 학습이 가능한 능동적 학습이 적절하다. 능동적 학습을 효과적으로 적용하기 위하여 사용자에게 문의할 가치가 높은 예제를 선정하는 것도 중요하지만, 사용자 편의를 위해서는 문의 횟수를 가능한 최소화하여야 한다. 문의 횟수를 줄이면서도 많은 수의 훈련 예제를 획득하기 위해서는 복수의 문의 예제들을 사용자에게 한꺼번에 제시하고 그 관심 여부를 표한하게 하는 것이 효과적이다. 본 논문에서는 능동적 학습 적용 시 사용자에게 문의할 가치가 높은 복수 문의 예제들을 효과적으로 선정하기 위하여 가중치 반영 군집화를 적용하는 방안을 제안한다. 본 제안 방안은 먼저 각 예제의 문의 예제로서의 가치를 파악하고 이를 가중치로 삼아 군집화를 수행하여 상대적으로 유사한 예제들의 집합을 구성한다. 이어서 생성된 각각의 군집에서 가장 보편적인 예제를 문의 예제로 선정하면 선정된 각각의 문의 예지는 문의할 가치가 높으면서 함께 문의하게 될 예제들은 서로 충분히 달라 학습에 보다 유용하게 사용할 수 있는 훈련 예제들을 얻을 수 있다. 문서 분류 문제를 대상으로 본 제안 방안을 실험한 결과, 단순히 문의 가치가 높은 복수의 예제들을 함께 문의할 예제들로 선정하는 방안에 비해 학습 성능이 뛰어났으며, 한 번에 문의하는 예제 수를 증가시키더라도 분류기의 성능 저하가 적음을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제7권1호
• /
• pp.58-64
• /
• 2007

패턴 인식 분야에는 지수적 탐색 공간을 가진 최적화 문제가 많이 있다. 이를 해결하기 위해 부 최적해를 구하는 순차 탐색 알고리즘이 사용되어 왔고, 이들 알고리즘은 국부 최적점에 빠지는 문제점을 안고 있다. 최근 이를 극복하기 위해 유전 알고리즘을 사용하는 사례가 많아졌다. 이 논문은 특징 선택, 분류기 앙상블 선택, 신경망 가지치기, 군집화 문제의 지수적 탐색 공간 특성을 설명하고 이를 해결하기 위한 유전 알고리즘을 살펴본다. 또한 향후 연구로서 가치가 높은 주제들에 대해 소개한다.

• 정보처리학회논문지B
• /
• 제9B권3호
• /
• pp.319-326
• /
• 2002

본 논문에서는 위성영상을 처리하기 위한 무감독분류 기법인 군집분류 시스템을 설계하고 구현하였다. 구현된 시스템은 새로운 위성영상 포맷과 군집분류 기법의 지원이 용이하고, 확장성 있는 시스템의 설계를 위하여 팩토리 패턴과 전략적 패턴 등 다양한 디자인 패턴을 적용하였다. 군집분류 시스템은 순차군집분류 기법, K-Means 군집분류 기법, ISODATA 기법, Fuzzy C-Means군집분류 기법을 설계, 구현하였으며 Landsat TM 위성영상을 분류기의 입력영상으로 실험하였다. 그 결과 군집분류 기법은 사전지식이 없는 위성영상의 분류를 위한 표본영역의 추출작업과 위성영상의 실시간 분류에 효과적인 사용이 가능함을 보였으며, 재사용성 및 확장성이 우수한 시스템을 개발하였다.

• 지능정보연구
• /
• 제11권1호
• /
• pp.169-189
• /
• 2005

능동적 학습은 훈련 예제의 수가 제한적일 때 효율적으로 분류기를 생성할 수 있는 학습 방법이다. 이 방법에서는 분류하기 모호한 예제에 카테고리를 부여하기 위한 문의 과정과 이렇게 얻어진 예제들을 추가해 가면서 분류기를 재생성 하는 과정을 반복적으로 수행한다. 특히 온라인 환경에서는 반복적으로 예제에 카테고리를 부여해야 하는 사용자의 부담을 줄이기 위해 문의 예제의 총 수뿐만이 아니라 문의 횟수 또한 최소화하여야 한다. 예제 수와 문의 횟수를 줄이면서도 좋은 분류기를 생성하기 위해서는 매 문의 시 사용자에게 다양하면서도 대표성이 높은 복수의 모호한 예제들을 선정하여 제시하는 것이 좋다. 본 논문에서는 다양하면서, 대표적이며, 또한 모호성이 높아 능동적 학습에 효과적인 복수의 문의 예제를 선별하기 위하여 군집화 기법을 활용하는 방안을 제안한다. 문서 분류 문제를 대상으로 본 제안 방안을 실험한 결과 모호성만을 기준으로 복수의 문의 예제를 선정하는 방법보다 우수한 분류기를 생성할 수 있음을 확인하였다.