• 한국인터넷방송통신학회논문지
• /
• 제12권3호
• /
• pp.201-207
• /
• 2012

RAM 기반 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는(weightless) 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. 지도 학습에 기반을 둔 RAM 기반 신경망은 패턴 인식 분야에는 우수한 성능을 보이는 반면, 비지도 학습에 의해 패턴을 구분해야 하는 범주화 연구에는 적합하지 않은 모델로 분류된다. 본 논문에서는 비지도 학습 알고리즘을 제안하여 RAM 기반 신경망으로 패턴 범주화를 수행한다. 제안된 비지도 학습 알고리즘에 의해 RAM 기반 신경망은 입력 패턴에 따라 자율 학습하여 스스로 범주를 생성할 수 있으며, 이를 통해 RAM 기반 신경망이 지도 학습과 비지도 학습이 모두 가능한 복합 모델임을 증명한다. 실험에 사용한 학습 패턴으로는 0에서 9까지의 오프라인 필기체 숫자로 구성된 MNIST 데이터베이스를 사용하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권12호
• /
• pp.875-884
• /
• 2001

자기 구성지도는 데이타 시각화, 위상보존 매핑 등의 분야에서 널리 사용되고 있지만. 학습이 되기 전에 위상을 미리 고정시켜야 하기 때문에 실제 문제에 적용하기 어렵다는 것과 클러스터링 능력에 비해 분류율이 낮다는 결점이 있다. 이를 해결하기 위해서 자기구성 지도의 출력 노드를 동적으로 분화하고 분화된 노드를 파습하는 동적 위상보존 사기구성 지도를 제안하고, 이를 다중 결합함으로써 분류율을 향상 시켰다. 동적 위상보존 자기구성 지도의 결함 방법으로는 자기구성 지도의 K개 노드가 출격을 내도록하는 K-Winner 방법 및 K-Winner+ 가중치 방법이 제안되었는데, 이는 다수결 투표, 가중치, BKS, Byayesian, Borda, Condorect, 신뢰값 합산 등의 기존 결합 방법보다도 우수한 결과를 나타내었다. 동적 위상보존 자기 구성 지도를 통해서 위상을 고정 시켜야 하는 결점을 해결할 수 있었고. 서로 다른 특징으로 학습된 동적 위상보존 자기구성 지도들을 결합하여 분류 능력을 향상시킬 수 있었다. 필기 숫자데이타로. 실험한 결과, 제안한 방법이 자기구성 지도의 결점을 효과적으로 해결하여 98.1% 의 높은 인식률을 보였다.

• 한국콘텐츠학회논문지
• /
• 제9권1호
• /
• pp.159-166
• /
• 2009

이 논문에서는 다층퍼셉트론(MLP:Multilayer Perceptron)에서 입력에 잡음이 섞인 경우 출력노드의 확률밀도 함수를 유도하고, 이의 적분으로 잡음에 의하여 패턴이 오인식될 확률을 유도하였다. 그리고, 이를 향상시키는 선형적 방법을 제안하였다. 즉, 독립성분분석(ICA: independent component analysis)과 주성분분석(PCA: principle component analysis)를 적용하여, 이들이 지닌 잡음 처리 효과를 SNR(Signal-to-Noise Ratio) 관점에서 분석하였다. 그리고 이들이 잡음을 처리한 후 MLP에 입력 시 나타나는 잡음 강건성을 필기체 숫자 인식의 시뮬레이션으로 확인하였다.

• 전자공학회논문지CI
• /
• 제41권6호
• /
• pp.61-67
• /
• 2004

시간/경제적 문제 혹은 수집 대상의 제한으로 충분한 수의 학습패턴을 모을 수 없는 경우에 인간의 두뇌를 모방한 교사학습 및 비교사학습 모델을 이용하여 새로운 학습패턴을 생성하는 알고리즘을 제안하였다. 비교사학습은 독립성분분석을 사용하여 패턴의 특성을 분석 후 생성하며, 교사학습은 다층퍼셉트론 모델을 사용하여 생성된 패턴의 검증을 하는 단계로 적용되었다. 통계학적으로 이와 같은 형태의 패턴 생성을 분석하였으며, 필기체 숫자의 학습 패턴 수를 변동시키면서 패턴 생성의 효과를 시험패턴에 대한 오인식률로 확인한 결과 성능이 향상됨을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권3호
• /
• pp.1243-1263
• /
• 2018

The two-stage linear discrimination analysis (TSLDA) is a feature extraction technique to solve the small size sample problem in the field of image recognition. The TSLDA has retained all subspace information of the between-class scatter and within-class scatter. However, the feature information in the four subspaces may not be entirely beneficial for classification, and the regularization procedure for eliminating singular metrics in TSLDA has higher time complexity. In order to address these drawbacks, this paper proposes an improved two-stage linear discriminant analysis (Improved TSLDA). The Improved TSLDA proposes a selection and compression method to extract superior feature information from the four subspaces to constitute optimal projection space, where it defines a single Fisher criterion to measure the importance of single feature vector. Meanwhile, Improved TSLDA also applies an approximation matrix method to eliminate the singular matrices and reduce its time complexity. This paper presents comparative experiments on five face databases and one handwritten digit database to validate the effectiveness of the Improved TSLDA.

• 전자공학회논문지C
• /
• 제35C권6호
• /
• pp.67-75
• /
• 1998

다층퍼셉트론의 학습에서 나타나는 출력노드의 부적절한 포화를 해결하기 위해서 n차 크로스-엔트로피 오차함수가 제안되었으나, 이 오차함수를 이용한 학습성능은 오차함수의 차수에 민감하여 적절한 차수를 결정해야 하는 문제점이 있다. 이 논문에서는, 학습의 진행에 따라 학습률을 가변시키는 새로운 방법을 제시하여 다층퍼셉트론의 학습성능이 n차 크로스-엔트로피 오차함수의 차수에 덜 민감하도록 한다. 또한, 가변학습률이 매우 커지는 경우에 학습이 불안정해지는 것을 방지하기 위해서 오차신호의 크기를 제한하는 방법을 제시한다. 마지막으로, 필기체 숫자 인식 문제와 갑상선 진단 문제의 시뮬레이션으로 제안한 방법의 효용성을 검증한다.

• 문화기술의 융합
• /
• 제3권4호
• /
• pp.165-169
• /
• 2017

CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다. 따라서 본 논문에서는 CNN 수행과정에서 많은 처리시간이 소모되는 convolution layer와 pooling layer, fully connected layer의 연산수행을 SIMT(Single Instruction Multiple Thread)구조의 GPGPU(General-Purpose computing on Graphics Processing Units)를 통하여 병렬로 연산처리를 수행했다. 또한 convolution layer의 출력을 저장하지 않고 pooling layer의 입력으로 바로 사용함으로 메모리 접근횟수를 줄여 성능 향상을 기대했다. 본 논문에서는 이 실험검증을 위하여 MNIST 데이터 셋을 사용하였고 이를 통하여 제안하는 CNN 구조가 기존의 구조보다 12.38% 더 좋은 성능을 보임을 확인했다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권8호
• /
• pp.781-788
• /
• 2005

LDA는 클래스간 퍼진 정도와 클래스내 퍼진 정도의 비를 최대화하는 변환를 구하는 데이터 구분 기술이다. LDA는 여러 가지 응용에 성공적으로 응용되었지만 그 모델의 단순성과 관련된 두 가지 한계를 가지고 있다. 첫째는 각 클래스의 데이타가 가우시안 분포를 가진다고 가정되므로 복잡한 분포를 갖는 데이타를 구분하는데 실패한다는 것이다. 둘째는 LDA가 클래스의 전체 범위에 대해서 단지 하나의 변환만을 주므로 클래스 기반의 정보를 잃게 된다는 것이다. 본 논문은 위의 문제들을 극복하는 세가지 확장들을 제안한다. 첫 번째 확장은 더 복잡한 분포를 표현할 수 있는 PCA 혼합 모형을 이용하여 클래스내 퍼진 정도를 모델링함으로써 첫째 문제를 극복한다. 두번째 확장은 클래스 기반 특징들을 제공하기 위해서 각 클래스에 대해 다른 변환을 취함으로써 둘째 문제를 극복한다. 셋째 확장은 PCA 혼합 모형의 관점에서 각 클래스를 표현함으로써 앞의 두 확장을 결합하는 것이다. 숫자 인식과 알파벳 인식에 대한 실험에서 LDA의 모든 제안된 확장들이 LDA보다 더 좋은 분류 성능을 보여 주었다.

• 한국정보통신학회논문지
• /
• 제7권5호
• /
• pp.1044-1051
• /
• 2003

본 논문은 MLP의 학습 방법으로 사용되는 EBP학습, Cross Entropy함수, 계층별 학습을 소개하고, 필기체 숫자인식 문제를 대상으로 각 학습 방법의 장단점을 비교한다. 실험 결과, EBP학습은 학습 초기에 학습 속도가 다른 학습 방법에 비해 느리지만, 일반화 성능이 좋다. 또한, EBP학습의 단점을 보안한 Cross Entropy 함수는 학습 속도가 EBP학습보다 빠르다. 그러나, 출력층의 오차 신호가 목표 벡터에 대해 선형적으로 학습하기 때문에, 일반화 성능이 EBP학습보다 낮다. 그리고, 계층별 학습은 학습 초기에, 학습 속도가 가장 빠르다. 그러나, 일정한 시간 후, 더 이상 학습이 진행되지 않기 때문에, 일반화 성능이 가장 낮은 결과를 얻었다. 따라서, 본 논문은 MLP를 응용하고자 할 때, 학습 방법의 선택 기준을 제시한다.

• 한국지능시스템학회논문지
• /
• 제11권3호
• /
• pp.223-230
• /
• 2001

자기구성 지도는 주어진 입력에 대해 올바른 출력 값이 제공되지 않는 비교사 방식으로 학습된다. 또한, 반응하는 순서나 위치를 통해 위상이 보존(topology preserving)되는 특성을 가지고 있어 많은 분야에 응용되고 있다. 그러나, 자기 구성지도는 학습이 되기 전에 위상을 미리 고정시켜야 하기 때문에 실제 문제에 적용하기 어렵다는 단점을 가지고 있다. 구조 적응형 자기구성 지도는 자기구성 지도의 고정된 구조 때문에 발생하는 문제를 해결하기 위해 지도의 구조를 학습 중에 적절하게 변경시킨다. 이때, 변화된 구조의 가중치를 어떻게 초기화시킬 것인가 하는 것이 또한 중요한 문제이다. 이 논문에서는 구조 적응형 자기구성 지도 모델에서 유전자 알고리즘을 이용하여 분화된 노드의 가중치를 결정하는 방법을 제안한다. 이 방법은 기존의 구조 적응형 자기구성 지도보다 다소 높은 인식률을 보였고, 숫자 별 인식률 편차를 줄일 수 있었다. 오프라인 필기 숫자 데이터로 실험한 결과, 제안한 방법이 유용함을 알 수 있었다.