• Journal of Computing Science and Engineering
• /
• 제9권4호
• /
• pp.204-213
• /
• 2015

Under the conditional independence assumption among local features, the Naive Bayes Nearest Neighbor (NBNN) classifier has been recently proposed and performs classification without any training or quantization phases. While the original NBNN shows high classification accuracy without adopting an explicit training phase, the conditional independence among local features is against the compositionality of objects indicating that different, but related parts of an object appear together. As a result, the assumption of the conditional independence weakens the accuracy of classification techniques based on NBNN. In this work, we look into this issue, and propose a novel Bayesian network for an NBNN based classification to consider the conditional dependence among features. To achieve our goal, we extract a high-level feature and its corresponding, multiple low-level features for each image patch. We then represent them based on a simple, two-level layered Bayesian network, and design its classification function considering our Bayesian network. To achieve low memory requirement and fast query-time performance, we further optimize our representation and classification function, named relation-based Bayesian network, by considering and representing the relationship between a high-level feature and its low-level features into a compact relation vector, whose dimensionality is the same as the number of low-level features, e.g., four elements in our tests. We have demonstrated the benefits of our method over the original NBNN and its recent improvement, and local NBNN in two different benchmarks. Our method shows improved accuracy, up to 27% against the tested methods. This high accuracy is mainly due to consideration of the conditional dependences between high-level and its corresponding low-level features.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권5호
• /
• pp.2509-2528
• /
• 2019

There are various styles of license plates for different countries and use cases that require style-specific methods. In this paper, we propose and illustrate a multi-style license plate recognition system. The proposed system performs a series of processes for license plate candidates detection, structure classification, character segmentation and character recognition, respectively. Specifically, we introduce a license plate structure classification process to identify its style that precedes character segmentation and recognition processes. We use a K-Nearest Neighbors algorithm with pre-training steps to recognize numbers and characters on multi-style license plates. To show feasibility of our multi-style license plate recognition system, we evaluate our system for multi-style license plates covering single line, double line, different backgrounds and character colors on Korean and the U.S. license plates. For the evaluation of Korean license plate recognition, we used a 50 minutes long input video that contains 138 vehicles of 6 different license plate styles, where each frame of the video is processed through a series of license plate recognition processes. From two experiments results, we show that various LP styles can be recognized under 50 ms processing time and with over 99% accuracy, and can be extended through additional learning and training steps.

• 한국정보통신학회논문지
• /
• 제15권3호
• /
• pp.747-752
• /
• 2011

마이크로어레이 분류는 전형적으로 분류기 디자인과 에러 추정이 현저하게 작은 샘플에 기반한다는 것과 교차 검증 에러 추정이 대다수의 논문에 사용된다는 주목할 만한 두 가지 특징을 소유한다. 마이크로어레이 난소 암 데이터는 수 만개의 유전자 발현으로 구성되어 있고, 이러한 정보를 동시에 분석하기 위한 어떤 체계적인 절차도 없다. 본 논문에서는, 통계에 따라 유전자의 우선순위를 정함으로써 표지유전자를 선택하였고, 널리 보급되어 있는 분류 규칙인 선형 분류 분석, 3-nearest-neighbor와 결정 트리 알고리즘은 표지 유전자를 선택한 데이터와 선택하지 않는 데이터의 분류 정확도 비교를 위해 사용되어졌다. ANOVA를 이용하여 선택된 표지 유전자를 포함하는 마이크로어레이 데이터 셋에 선영 분류분석 규칙을 적용한 결과 97.78%의 가장 높은 분류 정확도와 가장 낮은 예측 에러 추정치를 나타내었다.

• 한국콘텐츠학회논문지
• /
• 제6권12호
• /
• pp.105-112
• /
• 2006

본 연구에서는 일반적으로 잘 알려진 기저 세포암 검출을 위한 간단한 전처리 방법을 제안하였다. 전처리 과정은 half Hanning 윈도우와 함께 데이터를 클리핑하고 PCA(principal components analysis)를 이용하여 차원을 감소하였다. Half Hanning 윈도우는 $1650cm^{-1}$ 피크 부근의 크기를 낮춤으로써 음성 오류율을 줄여 분류 성능을 향상시켰다. 이 실험에서 사용한 MAP(maximum a posteriori), KNN (k-nearest neighbor), PNN(probabilistic neural network), MLP(multilayer perceptron), SVM(support vector machine)와 MSE(minimum squared error)의 분류결과는 제안한 방법이 효과적임을 입증하고 있다. KNN 분류방법은 216개 라만 스펙트럼에 대한 분류실험에서 민감도가 약 97.3%로 제안한 윈도우를 적용한 이 실험에서 기저 세포암 검출 성능이 가장 많이 개선되었다.

• Journal of Information Processing Systems
• /
• 제3권2호
• /
• pp.73-81
• /
• 2007

In this paper, we introduce a domain-independent classification framework based on both k-nearest neighbor and Naive Bayesian classification algorithms. The architecture of our system is simple and modularized in that each sub-module of the system could be changed or improved efficiently. Moreover, it provides various feature selection mechanisms to be applied to optimize the general-purpose classifiers for a specific domain. As for the enhanced classification performance, our system provides conditional probability boosting (CPB) mechanism which could be used in various domains. In the mood classification domain, our optimized framework using the CPB algorithm showed 1% of improvement in precision and 2% in recall compared with the baseline.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권4호
• /
• pp.273-280
• /
• 2013

본 논문에서는 의료영상의 특성을 반영하여 픽셀 그래디언트의 방향 값을 특징으로 하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징을 개발하고 BoF(Bag-of-Feature)와 Random Forest 분류기를 이용한 영상 검색 방법을 제안한다. 학습영상에서 추출된 특징 값은 code book 으로 군집화 되고, 각 영상들은 code book을 통해 의미 있는 새로운 차원인 BoF특징으로 변환된다. 이렇게 추출된 BoF특징은 Random Forest 분류기에 적용되고 학습된 분류기에 의해 유사한 특성을 갖는 N개의 클래스별로 분류되게 된다. 질의 영상이 입력되면 동일한 OCS-LBP특징이 추출되고 code book을 통해 BoF특징이 추출된다. 전통적인 내용기반 영상검색과는 다르게, 본 논문에서는 질의 영상에서 추출된 BoF특징이 학습된 Random Forest에 적용되어 가장 유사한 K-근접 이웃 (K-nearest neighbor) 클래스들을 선택하고 선택된 클래스들에 포함된 영상들에 대해서만 질의 영상과의 BoF 유사도 측정을 통해 최종 유사한 영상을 검색하게 된다. 실험결과에서 본 논문에서 제안하는 방법은 빠르고 우수한 검색 성능을 보여 주었다.

• 한국전산구조공학회논문집
• /
• 제35권5호
• /
• pp.259-266
• /
• 2022

본 논문에서는 프리팹 구조물의 품질관리를 위한 딥러닝 및 비전센서 기반의 조립 성능 평가 모델을 개발하였다. 조립부 검출을 위해 인코더-디코더 형식의 네트워크와 수용 영역 블록 합성곱 모듈을 적용한 딥러닝 모델을 사용하였다. 검출된 조립부 영역 내의 볼트홀을 검출하고, 볼트홀의 위치 값을 산정하여 k-근접 이웃 기반 모델을 사용하여 조립 품질을 평가하였다. 제안된 기법의 성능을 검증하기 위해 조립부 모형을 3D 프린팅을 이용하여 제작하여 조립부 검출 및 조립 성능 예측 모델의 성능을 검증하였다. 성능 검증 결과 높은 정밀도로 조립부를 검출하였으며, 검출된 조립부내의 볼트홀의 위치를 바탕으로 프리팹 구조물의 조립 성능을 5% 이하의 판별 오차로 평가할 수 있음을 확인하였다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권1호
• /
• pp.1-5
• /
• 2008

Generally the analytical tools of data mining have two learning types which are supervised and unsupervised learning algorithms. Classification and prediction are main analysis tools for supervised learning. In this paper, we perform a comparison study of classification algorithms in data mining. We make comparative studies between popular classification algorithms which are LDA, QDA, kernel method, K-nearest neighbor, naive Bayesian, SVM, and CART. Also, we use almost all classification data sets of UCI machine learning repository for our experiments. According to our results, we are able to select proper algorithms for given classification data sets.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권12호
• /
• pp.3889-3903
• /
• 2022

To address the problem of low detection accuracy due to training noise caused by mislabeling when Tri-training for network intrusion detection (NID), we propose a Tri-training algorithm based on cross entropy and K-nearest neighbors (TCK) for network intrusion detection. The proposed algorithm uses cross-entropy to replace the classification error rate to better identify the difference between the practical and predicted distributions of the model and reduce the prediction bias of mislabeled data to unlabeled data; K-nearest neighbors are used to remove the mislabeled data and reduce the number of mislabeled data. In order to verify the effectiveness of the algorithm proposed in this paper, experiments were conducted on 12 UCI datasets and NSL-KDD network intrusion datasets, and four indexes including accuracy, recall, F-measure and precision were used for comparison. The experimental results revealed that the TCK has superior performance than the conventional Tri-training algorithms and the Tri-training algorithms using only cross-entropy or K-nearest neighbor strategy.

• 지능정보연구
• /
• 제14권2호
• /
• pp.193-206
• /
• 2008

의료 진단 문제는 기정의된 특성치들로 표현되는 환자의 상태 데이터로부터 병의 유무를 판단하는 일종의 분류 문제로 간주할 수 있다. 본 연구는 혼용 유전자 알고리즘 기반의 분류방법을 도입함으로써 의료 진단 문제와 같은 다차원의 패턴 분류 문제를 해결할 수 있는 방안을 제안하고 있다. 일반적으로 분류 문제는 데이터 패턴에 존재하는 여러 클래스 간 구분경계를 생성하는 접근방법을 사용하는데, 이를 위해 본 연구에서는 일단의 영역 에이전트들을 도입하여 이들을 유전자 알고리즘 및 국소 적응조작을 혼용함으로써 데이터 패턴에 적응하도록 유도하고 있다. 일반적인 유전자 알고리즘의 진화단계를 거친 에이전트들에 적용되는 국소 적응조작은 영역 에이전트의 확장, 회피 및 재배치로 이루어지며, 각 에이전트의 적합도에 따라 이들 중 하나가 선택되어 해당 에이전트에 적용된다. 제안된 의료 진단용 분류 방법은 UCI 데이터베이스에 있는 잘 알려진 의료 데이터, 즉 간, 당뇨, 유방암 관련 진단 문제에 적용하여 검증하였다. 그 결과, 기존의 대표적인 분류기법인 최단거리이웃방법(the nearest neighbor), C4.5 알고리즘에 의한 의사 결정트리(decision tree) 및 신경망보다 우수한 진단 수행도를 나타내었다.