• 한국전산구조공학회:학술대회논문집
• /
• 한국전산구조공학회 1998년도 봄 학술발표회 논문집
• /
• pp.216-225
• /
• 1998

Although artificial neural network based on backpropagation algorithm is an excellent system simulator, it has still unsolved problems of its structure-decision and learning method. That is, we cannot find a general approach to decide the structure of the neural network and cannot train it satisfactorily because of the local optimum point which it frequently falls into. In addition, although there are many successful applications using backpropagation learning algorithm, there are few efforts to improve the learning algorithm itself. In this study, we suggest a general way to construct the hidden layer of the neural network using binary genetic algorithm and also propose the various learning methods by which the global minimum value of the teaming error can be obtained. A XOR problem and line heating problems are investigated as examples.

• ETRI Journal
• /
• 제41권5호
• /
• pp.560-573
• /
• 2019

Two supervised learning algorithms, a basic neural network and a long short-term memory recurrent neural network, are applied to traffic including DDoS attacks. The joint effects of preprocessing methods and hyperparameters for machine learning on performance are investigated. Values representing attack characteristics are extracted from datasets and preprocessed by two methods. Binary classification and two optimizers are used. Some hyperparameters are obtained exhaustively for fast and accurate detection, while others are fixed with constants to account for performance and data characteristics. An experiment is performed via TensorFlow on three traffic datasets. Three scenarios are considered to investigate the effects of learning former traffic on sequential traffic analysis and the effects of learning one dataset on application to another dataset, and determine whether the algorithms can be used for recent attack traffic. Experimental results show that the used preprocessing methods, neural network architectures and hyperparameters, and the optimizers are appropriate for DDoS attack detection. The obtained results provide a criterion for the detection accuracy of attacks.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권7호
• /
• pp.585-594
• /
• 2007

오류역전파 방법을 이용하는 신경망들은 패턴들의 학습시간이 매우 오래 걸리고 또한 추가학습과 반복학습의 한계를 가지며, 이런 단점을 보완할 수 있는 이진신경망(Binary Neural Network, BNN)이 Aleksander에 의해 제안되었다. 그러나 BNN도 반복학습에 있어서는 단점을 가지고 있으며, 일반화 패턴을 추출하기 어렵다. 본 논문에서는 BNN의 구조를 개선하여 반복학습과 추가학습이 가능할 뿐 아니라, 특징점들까지 추출할 수 있는 다중 판별자를 가지는 삼차원 뉴로 시스템을 제안한다. 제안된 모델은 기존의 BNN을 기반으로 하여 만들어진 이차원 특징을 가지는 Single Layer Network(SLN)에 귀환회로가 추가되어 특징점들을 누적할 수 있는 삼차원 신경망이다. 학습을 통해 누적된 정보는 판별자의 각 신경세포에 임계치를 조정함으로써 일반화 패턴을 추출할 수 있다. 그리고 생성된 일반화 패턴을 인식에 재사용함으로써 반복학습의 효율성을 높였다. 최종 판정 단계에서는 Maximum Response Detector(MRD)를 이용하였다. 본 논문에서 제안한 시스템을 평가하기 위하여 NIST에서 제공하는 숫자 자료를 이용하였으며, 99.3%의 인식률을 얻었다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1998년도 하계학술대회 논문집 G
• /
• pp.2330-2332
• /
• 1998

This paper suggests a method to recognize the various defect patterns of cold mill strip using binary decision tree automatically constructed by genetic algorithm. The genetic algorithm and K-means algorithm were used to select a subset of the suitable features at each node in binary decision tree. The feature subset with maximum fitness is chosen and the patterns are classified into two classes by a linear decision boundary. This process was repeated at each node until all the patterns are classified into individual classes. The final recognizer is accomplished by neural network learning of a set of standard patterns at each node. Binary decision tree classifier was applied to the recognition of the defect patterns of cold mill strip and the experimental results were given to demonstrate the usefulness of the proposed scheme.

• 제어로봇시스템학회논문지
• /
• 제3권6호
• /
• pp.594-601
• /
• 1997

A new algorithm is proposed for training the multilayer perceptrion(MLP) in pattern classification problems to accelerate the learning speed. It is shown that the sigmoid activation function of the output node can have deterimental effect on the performance of learning. To overcome this detrimental effect and to use the information fully in supervised learning, an objective function for binary modes is proposed. This objective function is composed with two new output activation functions which are selectively used depending on desired values of training patterns. The effect of the objective function is analyzed and a training algorithm is proposed based on this. Its performance is tested in several examples. Simulation results show that the performance of the proposed method is better than that of the conventional error back propagation (EBP) method.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제15권3호
• /
• pp.145-152
• /
• 2015

We consider an online selective-sample learning problem for sequence classification, where the goal is to learn a predictive model using a stream of data samples whose class labels can be selectively queried by the algorithm. Given that there is a limit to the total number of queries permitted, the key issue is choosing the most informative and salient samples for their class labels to be queried. Recently, several aggressive selective-sample algorithms have been proposed under a linear model for static (non-sequential) binary classification. We extend the idea to hidden Markov models for multi-class sequence classification by introducing reasonable measures for the novelty and prediction confidence of the incoming sample with respect to the current model, on which the query decision is based. For several sequence classification datasets/tasks in online learning setups, we demonstrate the effectiveness of the proposed approach.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권12호
• /
• pp.1260-1270
• /
• 2005

최근 기계학습 분야에서 커널머신을 이용한 대표적 학습기로 Support Vector Machines (SVM)이 주목 받고 있다. SVM은 통계적 학습이론에 기반하여 뛰어난 일반화 성능을 보여주며, 다양한 패턴인식 문제에 적용되고 있다. 그러나. SVM은 이진 분류기이므로 일반적인 다중 클래스 문제에 곧바로 적용할 수 없다. SVM을 다중 클래스 문제의 하나인 얼굴인식에 도입하기 위한 방법으로는, One-Per-Class와 All-Pairs가 대표적이다. 상기 두 방법은 다중 클래스 문제를 여러 개의 이진 클래스 문제로 분할하고, 이들을 다시 종합하여 최종 결정을 내리는 출력코딩이라는 일반적인 방법에 속한다. 본 논문에서는 이진 분류기인 SVM의 다중 클래스 분류기 확장 방안으로 출력코딩 방법론을 설명한다. 또한 출력코딩 방법론의 대표적인 이론적 기반인 ECOC(Ewor-Correcting Output Codes)를 근간으로 하는 새로운 출력코딩 방법들을 제안하고, 얼굴인식 실험을 통해 SVM을 기반 분류기로 사용할 경우의, 출력코딩 방법의 특성을 비교$\cdot$분석한다.

• 한국컴퓨터정보학회논문지
• /
• 제16권1호
• /
• pp.31-38
• /
• 2011

RAM 기반 3-D 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. MRD(Maximum Response Detector) 기법을 이용한 3-D 신경망의 인식 방법은 지도 학습에 기반을 둔 것으로서 학습을 통해 신경망 스스로가 범주를 구분할 수 없으며 잘 구분된 범주의 학습 데이터를 통해서만 성능을 발휘할 수 있다. 본 논문에서는 기존 3-D 신경 회로망에 학습 데이터의 구분 없이 신경망 자체가 입력 패턴에 따라 학습하여 범주를 구분하는 비지도 학습 알고리즘을 제안한다. 제안된 비지도 학습 알고리즘에 의해 신경회로망은 판별자의 수를 스스로 조절할 수 있는 구조를 가지게 되며 이는 망의 유연한 확장성을 보장한다. 0에서 9까지의 다중 패턴으로 구성된 오프라인 필기체 숫자를 무작위로 추출하여 학습 패턴으로 인식 실험을 수행하였으며 실험을 통해 신경망이 스스로 비지도 학습에 의해 판별자의 수를 결정하게 되며 이것은 신경망이 각각의 필기체 숫자에 대한 개념을 가지게 되는 것으로 해석할 수 있다.

• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.15-30
• /
• 2023

근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104 개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세 조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.

• 산업기술연구
• /
• 제33권A호
• /
• pp.31-39
• /
• 2013

There are two methods to make a distinction of deterioration of high-speed railway track. One is that an administrator checks for each attribute value of track induction data represented in graph and determines whether maintenance is needed or not. The other is that an administrator checks for monthly trend of attribute value of the corresponding section and determines whether maintenance is needed or not. But these methods have a weak point that it takes longer times to make decisions as the amount of track induction data increases. As a field of artificial intelligence, the method that a computer makes a distinction of deterioration of high-speed railway track automatically is based on machine learning. Types of machine learning algorism are classified into four type: supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning. This research uses supervised learning that analogizes a separating function form training data. The method suggested in this research uses SVM classifier which is a main type of supervised learning and shows higher efficiency binary classification problem. and it grasps the difference between two groups of data and makes a distinction of deterioration of high-speed railway track.