• 한국음향학회지
• /
• 제41권2호
• /
• pp.199-209
• /
• 2022

일반적인 비정상 탐지 알고리즘은 사전 데이터를 이용하여 학습된다. 따라서 시간에 따른 정상 데이터의 특징이 변화되는 경우에 기존의 배치 학습 기반 알고리즘의 성능 저하가 불가피하다. 본 논문에서는 정상 데이터의 점진적 특징 변화를 고려할 수 있는 온라인 비정상 탐지 알고리즘을 제안한다. 제안하는 알고리즘은 단일 클래스 분류 모델에 기반하며 오프라인 및 온라인 단계의 학습 과정을 포함한다. 제안된 알고리즘의 오프라인 학습 단계에서는 사전 데이터가 잠재 공간의 중심에 근접하도록 학습하고, 이후 온라인 학습단계에서는 신규 데이터에 의한 점진적 잠재 공간의 중심을 갱신하고, 갱신된 중심을 기준으로 계속 학습을 진행한다. 공개된 수중 음향 데이터를 이용한 실험결과 제안된 온라인 비정상 탐지 알고리즘은 점진적 중심 갱신 및 학습을 위해 단지 2 % 정도의 추가 학습시간이 소요되는 것으로 확인되었다. 반면에 시변 정상데이터가 수신되는 경우에 오프라인 학습 모델과 비교하여 19.10 % 개선된 Area Under the receiver operating characteristic Curve(AUC) 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권1호
• /
• pp.11-17
• /
• 2007

패턴 분류에 많이 사용되는 기법 중의 하나인 메모리 기반 추론 알고리즘은 단순히 메모리에 저장된 학습패턴 또는 초월평면과 테스트 패턴간의 거리를 계산하여 가장 가까운 학습패턴의 클래스로 분류하기 때문에 테스트 패턴을 분류하는 기준을 설명할 수 없다는 문제점을 가지고 있다. 이 문제를 해결하기 위하여, 메모리 기반 학습 기법인 RPA를 기반으로 학습패턴들에 내재된 규칙성을 표현하는 IF-THEN 형태의 규칙을 생성하는 점진적 학습 알고리즘을 제안하였다. 하지만, RPA에 의해 생성된 규칙은 주어진 학습패턴 집합에만 충실히 학습되어 overfitting 현상을 보이게 되며, 또한 패턴 공간의 과도한 분할로 인하여 필요 이상으로 많은 개수의 규칙이 생성된다. 따라서, 본 논문에서는 생성된 규칙으로부터 불필요한 조건을 제거함으로써 ovefitting 현상을 해결함과 동시에 생성되는 규칙의 개수를 줄일 수 있는 점진적 규칙 추출 알고리즘을 제안하였으며, UCI Machine Learning Repository의 벤치마크 데이터를 이용하여 제안한 알고리즘의 성능을 입증하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권12호
• /
• pp.1202-1210
• /
• 2000

본 논문에서는 효과적인 앙상블 머신의 구축을 위한 새로운 방안을 제시한다. 효과적인 앙상블의 구축을 위해서는 앙상블 멤버들간의 상관관계가 아주 낮아야 하며 또한 각 앙상블 멤버들은 전체 문제를 어느 정도는 정확하게 학습하면서도 서로들간의 불일치 하는 부분이 존재해야 한다는 것이 여러 논문들에 발표되었다. 본 논문에서는 주어진 문제의 다양한 면을 학습한 다수의 앙상블 후보 네트웍을 생성하기 위하여 건설적 학습 알고리즘과 능동 학습 알고리즘을 결합한 형태의 신경망 학습 알고리즘을 이용한다. 이 신경망의 학습은 최소 은닉 노드에서 최대 은닉노드까지 점진적으로 은닉노드를 늘려나감과 동시에 후보 데이타 집합에서 학습에 사용할 훈련 데이타를 점진적으로 선택해 나가면서 이루어진다. 은닉 노드의 증가시점에서 앙상블의 후부 네트웍이 생성된다. 이러한 한 차례의 학습 진행을 한 chain이라 정의한다. 다수의 chain을 통하여 다양한 형태의 네트웍 크기와 다양한 형태의 데이타 분포를 학습한 후보 내트웍들이 생성된다. 이렇게 생성된 후보 네트웍들은 확률적 비례 선택법에 의해 선택된 후 generalized ensemble method (GEM)에 의해 결합되어 최종적인 앙상블 성능을 보여준다. 제안된 알고리즘은 한개의 인공 데이타와 한 개의 실세계 데이타에 적용되었다. 실험을 통하여 제안된 알고리즘에 의해 구성된 앙상블의 최대 일반화 성능은 다른 알고리즘에 의한 그것보다 우수함을 알 수 있다.

• 한국컴퓨터산업학회논문지
• /
• 제5권9호
• /
• pp.859-872
• /
• 2004

컴퓨터와 통신 기술이 발전함에 따라 최근의 교육 환경은 학습자 스스로 학습 내용, 학습 시간 및 학습 순서를 선택하고 조직하는 유비쿼터스 학습 방향으로 나아가고 있다. 방대한 양의 학습정보들은 대부분 문서 형태로 관리되고 있기 때문에 문서 단위로 표현된 많은 정도들을 효과적으로 관리하고 검색하기 위한 방법의 연구가 필요하게 되었다. 문서 클러스터링은 문서간의 유사도를 바탕으로 서로 연관된 문서들을 군집화하여 문서틀을 주제별로 통합하는 방법으로 대용량의 문서들을 자통으로 분류하고, 검색하는 데 있어서 검색의 정확성을 증대시킬 수 있다. 따라서 본 논문에서는 새로운 학습 문서의 추가나 기존문서의 삭제로 인하여 군집화 대상이 되는 학습 문서 집합이 점진적으로 변화하는 환경을 위한 점진적 문서 클러스터링 알고리즘을 제안한다. 점진적 문서 클러스터링 알고리즘은 새로운 문서가 추가되었을 경우 문서 전체를 다시 클러스터링하지 않고. 이미 생성된 클러스터들의 구조를 적응적으로 변화시킴으로써 높은 효율성을 제공할 수 있다. 또한, 문서 글러스터링의 정확도극 높이기 위하여 통계적인 기법으로 불용어를 판별하여 제거하는 알고리즘을 제안한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권12호
• /
• pp.1045-1055
• /
• 2007

잠재토픽모델(latent topic model)은 데이타에 내재된 특징적 패턴이나 데이타 정의 자질들 간의 상호 관련성을 확률적으로 모델링하고 자동 추출하는 모델로서 최근 텍스트 문서로부터의 의미 자질 자동 추출, 이미지를 비롯한 멀티미디어 데이타 분석, 생물정보학 분야 등에서 많이 응용되고 있다. 이러한 잠재토픽모델의 대규모 데이타에 대한 적용 시 그 효과 증대를 위한 중요한 이슈 중의 하나는 모델의 효율적 학습에 관한 것이다. 본 논문에서는 대표적 잠재토픽모델 중의 하나인 PLSA (probabilistic latent semantic analysis) 기법을 대상으로 점진적 EM 알고리즘을 활용한, 기본 EM 알고리즘 기반의 기존 학습에 대한 학습속도 증진 기법을 제안한다. 점진적 EM 알고리즘은 토픽 추론 시 전체 데이타에 대한 일괄적 E-step 대신에 일부 데이타에 대한 일련의 부분적 E-step을 수행하는 특징이 있으며 이전 데이터 일부에 대한 학습 결과를 바로 다음 데이타 학습에 반영함으로써 모델 학습의 가속화를 기대할 수 있다. 또한 이론적인 측면에서 지역해로의 수렴성이 보장되고 기존 알고리즘의 큰 수정 없이 구현이 용이하다는 장점이 있다. 논문에서는 해당 알고리즘의 기본적인 응용과 더불어 실제 적용과정 상에서의 가능한 데이터 분할법들을 제시하고 모델 학습 속도 개선 면에서의 성능을 실험적으로 비교 분석한다. 실세계 뉴스 문서 데이타에 대한 실험을 통해, 제안하는 기법이 기존 PLSA 학습 기법에 비해 유의미한 수준에서 학습 속도 증진을 달성할 수 있음을 보이며 추가적으로 모델의 병렬 학습 기법과의 조합을 통한 실험 결과를 간략히 제시한다.

• 전기전자학회논문지
• /
• 제12권1호
• /
• pp.65-74
• /
• 2008

패턴 분류에 많이 사용되는 기법 중의 하나인 메모리 기반 추론 알고리즘은 단순히 메모리에 저장하고 분류 시에 저장된 패턴과 테스트 패턴간의 거리를 계산하여 가장 가까운 학습패턴의 클래스로 분류하는 기법이기 때문에 패턴의 개수가 늘어나면 메모리가 증가하고 또한 추가로 패턴이 발생할 경우 처음부터 다시 수행해야하는 문제점을 가지고 있다. 이러한 문제점을 해결하기 위하여 이미 학습한 대표패턴을 기억하고 새로 들어오는 패턴에 대해서만 학습하는 점진적 학습 방법을 제안한다. 즉 추가로 학습패턴이 발생할 경우 매번 전체 학습 패턴을 다시 학습하는 것이 아니라, 새로 추가된 데이터만을 학습하여 대표패턴을 추출하여 메모리사용을 줄이는 iMPA(incremental Multi Partition Averaging)기법을 제안하였다. 본 논문에서 제안한 기법은 대표적인 메모리기반 추론 기법인 k-NN 기법과 비교하여 현저하게 줄어든 대표패턴으로 유사한 분류 성능을 보여주며, 점진적 특성을 지닌 NGE 이론을 구현한 EACH 시스템과 점진적인 실험에서도 탁월한 분류 성능을 보여준다.

• 정보학연구
• /
• 제1권1호
• /
• pp.65-84
• /
• 1998

메모리 기반 추론 기법은 분류시 입력 패턴과 저장된 패턴들 사이의 거리를 이용하는 교사 학습 기법으로써, 거리 기반 학습 알고리즘이라고도 한다. 메모리 기반 추론은 k_NN 분류기에 기반한 것으로, 학습은 추가 처리 없이 단순히 학습 패턴들을 메모리에 저장함으로써 수행된다. 본 논문에서는 기존의 k-NN 분류기보다 효율적인 분류가 가능하고, 점진적 학습 기능을 갖는 새로운 알고리즘을 제안한다. 또한 제안된 기법은 노이즈에 민감하지 않으며, 효율적인 메모리 사용을 보장한다.

• 한국게임학회 논문지
• /
• 제20권6호
• /
• pp.23-30
• /
• 2020

게임에서는 많은 경우의 수들을 가지고 있다. 그래서 학습을 많이 하여야 한다. 본 논문은 학습속도를 개선하기 위하여 강화학습을 이용했다. 그러나 강화학습은 많은 경우의 수들을 가지므로 학습 초기에 속도가 느려진다. 그래서 미니맥스 알고리즘을 이용하여 학습의 속도를 향상하였다. 개선된 성능을 비교하기 위해 고누게임을 제작하여 실험하였다. 실험결과는 승률은 높았지만, 동점의 결과가 발생하게 되었다. 점진적인 심화를 이용하여 게임트리를 더 탐색하여 동점인 경우를 줄이고 승률이 약 75% 향상되었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.442-445
• /
• 2023

최근 딥러닝 및 로봇기술의 발전으로 인해 대량의 데이터를 빠르게 수집하고 처리하는 연구 분야들로 확대되었다. 이와 관련된 한 가지 분야로써 다중 로봇을 이용한 분산학습 연구가 있으며, 이는 단일 에이전트를 이용할 때보다 대량의 데이터를 빠르게 수집 및 처리하는데 용이하다. 본 연구에서는 기존 Distributed Neural Network Optimization (DiNNO) 알고리즘에서 제안한 정적 분산 학습방법과 달리 단계적 분산학습 방법을 새롭게 제안하였으며, 모델 성능을 향상시키기 위해 원시 변수를 근사하는 단계수를 상수로 고정하는 기존의 방식에서 통신회차가 늘어남에 따라 점진적으로 근사 횟수를 높이는 방법을 고안하여 새로운 알고리즘을 제안하였다. 기존 알고리즘과 제안된 알고리즘의 정성 및 정량적 성능 평가를 수행하기 MNIST 분류와 2 차원 평면도 지도화 실험을 수행하였으며, 그 결과 제안된 알고리즘이 기존 DiNNO 알고리즘보다 동일한 통신회차에서 높은 정확도를 보임과 함께 전역 최적점으로 빠르게 수렴하는 것을 입증하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권7호
• /
• pp.949-958
• /
• 2004

본 연구는 대용량 훈련 데이타를 사용하는 얼굴 검출 분류기의 학습과정에서 새로운 데이터의 추가 학습이 가능한 새로운 방법을 제안한다. 추가되는 데이타로부터 새로운 정보를 학습하여 이미 습득된 기존의 지식을 갱신하는 것이 점진적 학습의 목표이다. 이러한 학습 기법에 기반한 분류기의 설계에서는 최종 분류기가 전체 훈련 데이타 집합의 특성을 반영하는 것이 매우 중요한 문제이다. 제안하는 알고리즘은 최적화된 최종 분류기 획득을 위하여 훈련 집합의 전역적인 특성을 대표하는 검증집합을 생성하고, 이 집단 내에서의 분류성능을 기준으로 중간단계 분류기들의 가중치를 결정한다. 각 중간단계 분류기는 개변 데이타 집합의 학습 결과로써 가중치 기반 결합 방식에 의해 최종 분류기로 구성된다. 반복적인 실험을 통해, 제안한 알고리즘을 사용하여 학습한 얼굴 검출 분류기의 성능이 AdaBoost 및 Learn＋＋기반의 분류기보다 우수한 검출 성능을 보임을 확인하였다.