• 정보과학회 논문지
• /
• 제42권11호
• /
• pp.1303-1313
• /
• 2015

맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권4호
• /
• pp.327-332
• /
• 2015

k-인접 이웃 그래프는 모든 정점에 대한 k-NN 정보를 나타내는 데이터 구조로서, 많은 정보검색 및 추천 시스템에서 k-인접 이웃 그래프를 활용하고 있다. 현재까지 k-인접 이웃 그래프를 생성하는 다양한 방법들이 제안되었지만, 다음의 두 조건을 동시에 만족하는 알고리즘은 제안되지 못했다: (1) 특정유사도 척도를 가정하지 않는다. (2) 정점 또는 차원의 수가 증가하더라도 정확도가 감소하지 않는다. 본 논문에서는 balanced canopy clustering을 이용하여 위 두 조건을 모두 만족하는 k-NN 그래프 생성 알고리즘을 제안한다. 실험 결과, 정점과 차원의 수에 상관없이 기본 알고리즘에 비해 5배 이상 빠르면서 약 92%의 정확도를 유지했다. 본 알고리즘은 새로운 유사도 척도를 사용하거나, 높은 정확도를 보장해야 할 경우 효과적으로 사용될 수 있다.

• 한국멀티미디어학회논문지
• /
• 제20권9호
• /
• pp.1567-1573
• /
• 2017

The k-nearest neighbor (k-NN) algorithm is one of the most widely used benchmark algorithm in classification. Nowadays it has been further applied to predict time series. However, one of the main concerns of the algorithm applied on short-term electricity load forecasting is high computational burden. In the paper, we propose an approach of dimension reduction that follows the principles of highlighting the temperature effect on electricity load data series. The results show the proposed approach is able to reduce the dimension of the data around 30%. Moreover, with temperature effect highlighting, the approach will contribute to finding similar days accurately, and then raise forecasting accuracy slightly.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.183-192
• /
• 2017

k-nearest neighbor (K-NN) is a well-known classification algorithm, being feature space-based on nearest-neighbor training examples in machine learning. However, K-NN, as we know, is a lazy learning method. Therefore, if a K-NN-based system very much depends on a huge amount of history data to achieve an accurate prediction result for a particular task, it gradually faces a processing-time performance-degradation problem. We have noticed that many researchers usually contemplate only classification accuracy. But estimation speed also plays an essential role in real-time prediction systems. To compensate for this weakness, this paper proposes correlation coefficient-based clustering (CCC) aimed at upgrading the performance of K-NN by leveraging processing-time speed and plurality rule-based density (PRD) to improve estimation accuracy. For experiments, we used real datasets (on breast cancer, breast tissue, heart, and the iris) from the University of California, Irvine (UCI) machine learning repository. Moreover, real traffic data collected from Ojana Junction, Route 58, Okinawa, Japan, was also utilized to lay bare the efficiency of this method. By using these datasets, we proved better processing-time performance with the new approach by comparing it with classical K-NN. Besides, via experiments on real-world datasets, we compared the prediction accuracy of our approach with density peaks clustering based on K-NN and principal component analysis (DPC-KNN-PCA).

• Journal of information and communication convergence engineering
• /
• 제17권1호
• /
• pp.41-48
• /
• 2019

In recent years, sentiment analysis research has become popular. The research results of sentiment analysis have achieved remarkable results in practical applications, such as in Amazon's book recommendation system and the North American movie box office evaluation system. Analyzing big data based on user preferences and evaluations and recommending hot-selling books and hot-rated movies to users in a targeted manner greatly improve book sales and attendance rate in movies [1, 2]. However, traditional machine learning-based sentiment analysis methods such as the Classification and Regression Tree (CART), Support Vector Machine (SVM), and k-nearest neighbor classification (kNN) had performed poorly in accuracy. In this paper, an improved kNN classification method is proposed. Through the improved method and normalizing of data, the purpose of improving accuracy is achieved. Subsequently, the three classification algorithms and the improved algorithm were compared based on experimental data. Experiments show that the improved method performs best in the kNN classification method, with an accuracy rate of 11.5% and a precision rate of 20.3%.

• Communications for Statistical Applications and Methods
• /
• 제17권1호
• /
• pp.17-27
• /
• 2010

분류분석에 사용되는 k-최근접이웃 분류기에 유전알고리즘을 적용하여 의미 있는 변수들과 이들에 대한 가중치 그리고 적절한 k를 동시에 선택하는 알고리즘을 제시하였다. 다양한 실제 자료에 대하여 기존의 여러 방법들과 교차타당성 방법을 통하여 비교한 결과 효과적인 것으로 나타났다.

• 대한교통학회지
• /
• 제34권2호
• /
• pp.158-167
• /
• 2016

본 연구는 실시간 자료를 기반으로 k-NN을 활용한 단기 교통상황 예측 시 각 단계별 세부절차 및 변수결정, 입력자료 구축 등의 각 단계별 잠재적 예측오차에 대한 원인분석 및 시사점 도출을 목적으로 한다. 다양한 단기 예측모형에 대한 선행연구 검토를 통하여 k-NN 모형의 유용성을 검토하였고 이에 대한 적용가능성을 분석하였다. 본 연구의 k-NN 모형은 이력자료 평활화 및 패턴DB 구축의 입력자료 부분, 실시간 자료와 과거 이력자료와의 유사성 측정 및 k 근접이웃 결정 등의 k-NN 알고리즘 부분, 그리고 예측 시간간격에 따른 출력결과 부분 등으로 구성되며 올림픽대로 김포방향 한강대교 남단~여의상류IC 구간을 대상으로 분석을 실시하였다. 교통자료의 불규칙 잡음으로 인하여 정확한 패턴매칭을 위해서 이력자료의 평활화를 실시하였으며, 이력자료 패턴 DB는 일반 및 이벤트 상황으로 구분하여 활용하였다. 최적의 시계열 자료 및 k 근접이웃 결정을 위해서 시행착오 방법을 적용하였으며, 단기 교통상황 예측 시 예측 시간간격이 증가할수록 예측오차가 증가하는 패턴, 그리고 교통상태가 급변하는 시점에서도 예측오차가 증가함을 알 수 있었다. 본 연구의 k-NN 모형에 대한 각 단계별 예측오차에 대한 원인을 분석하여 개선방향을 제시함으로써 향후 신뢰성 있는 단기 교통상황예측 정보제공 및 시스템에 활용이 가능할 것으로 판단된다.

• 한국컴퓨터정보학회논문지
• /
• 제26권4호
• /
• pp.63-74
• /
• 2021

위치 기반 서비스(LBS)는 가장 바쁜 시간에 동시에 도착하는 최단 경로 및 k-최근접 이웃 질의를 포함한 다양한 공간 질의를 효과적으로 처리한다. 동시에 도착하는 공간 질의를 빠르게 처리하기 위한 간단한 해결 방법은 LBS 서버를 추가하는 것이다. 이 방법은 서비스 운영 비용을 많이 증가시킨다. 최근에는 공유 가능한 계산을 사용하여 일련의 질의를 한꺼번에 모아서 처리하는 일괄 처리 방법이 제안되었다. 본 연구에서는 교통 상황에 따라 각 도로 구간의 이동 시간이 빈번하게 변하는 동적 공간 네트워크에서 움직이는 k-최근접 이웃 질의를 한꺼번에 처리하는 방법을 연구한다. 순차적 질의 처리를 기반으로 하는 LBS 서버는 중복 계산으로 인해 한꺼번에 요청이 들어오는 움직이는 k-최근접 이웃 질의를 효과적으로 처리하지 못한다. 본 연구의 목표는 움직이는 k-최근접 이웃 질의를 한꺼번에 처리하고 공유 가능한 계산을 재사용하여 알고리즘을 효율성을 개선한다. 실제 지도 데이터를 사용한 실험 평가는 최신 방법보다 제안된 방법이 우수하다는 것을 보여준다.

• 대한공간정보학회지
• /
• 제19권2호
• /
• pp.39-48
• /
• 2011

대기 중 온실가스 증가로 인한 지구온난화의 영향으로 각종 자연 재해가 증가하면서, 온실가스에서 가장 큰 비율을 차지하는 이산화탄소의 자연 포집지인 산림이 저장하고 있는 탄소량을 추정하기 위한 많은 연구가 진행 중에 있다. 하지만 국내 지역의 환경에 적합한 탄소저장량 추정 기법 및 자료 선정에 대한 연구는 아직 부족한 상황으로, 이에 대한 연구가 요구되고 있다. 본 논문에서는 전 세계적으로 탄소저장량 추정에 보편적으로 이용되고 있는 회귀 모델과 $k$NN($k$-Nearest Neighbor) 알고리즘을 이용하여 충청북도 단양군을 대상으로 산림이 저장하고 있는 탄소 저장량을 추정하고 결과를 비교 분석하였다. 연구 자료로써 Landsat TM 영상과 제5차 NFI(National Forest Inventory) 자료를 이용하였으며, 지형효과 보정 및 식생 구분에 특화된 다양한 비율영상을 사용하였다. 분석 결과, 단양군의 탄소저장량 추정에는 회귀 모델보다 $k$NN 알고리즘을 이용하는 것이 더 유리하며, 비율영상의 경우 정확도 향상에 큰 영향을 미치지 않는 것으로 나타났다.

• Journal of Information Processing Systems
• /
• 제14권2호
• /
• pp.418-434
• /
• 2018

With the increasing use of the Internet and electronic documents, automatic text categorization becomes imperative. Several machine learning algorithms have been proposed for text categorization. The k-nearest neighbor algorithm (kNN) is known to be one of the best state of the art classifiers when used for text categorization. However, kNN suffers from limitations such as high computation when classifying new instances. Instance selection techniques have emerged as highly competitive methods to improve kNN through data reduction. However previous works have evaluated those approaches only on structured datasets. In addition, their performance has not been examined over the text categorization domain where the dimensionality and size of the dataset is very high. Motivated by these observations, this paper investigates and analyzes the impact of instance selection on kNN-based text categorization in terms of various aspects such as classification accuracy, classification efficiency, and data reduction.