DOI QR코드

DOI QR Code

An Efficient kNN Algorithm

효율적인 kNN 알고리즘

  • 이재문 (한성대학교 컴퓨터공학부)
  • Published : 2004.12.01

Abstract

This paper proposes an algorithm to enhance the execution time of kNN in the document classification. The proposed algorithm is to enhance the execution time by minimizing the computing cost of the similarity between two documents by using the list of pairs, while the conventional kNN uses the iist of pairs. The 1ist of pairs can be obtained by applying the matrix transposition to the list of pairs at the training phase of the document classification. This paper analyzed the proposed algorithm in the time complexity and compared it with the conventional kNN. And it compared the proposed algorithm with the conventional kNN by using routers-21578 data experimentally. The experimental results show that the proposed algorithm outperforms kNN about $90{\%}$ in terms of the ex-ecution time.

본 논문은 문서분류 방법인 kNN의 실행속도를 개선하는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 kNN이 사용하는 <용어, 가중치>쌍의 목록 대신, <문서, 가중치>쌍의 목록을 사용하여 유사성 계산을 빠르게 함으로써 실행속도를 개선하는 것이다. <문서, 가중치>의 목록은 문서분류의 학습단계에서 <용어, 가중치>의 목록을 행렬 전치함으로써 구한다. 본 논문에서는 제안된 알고리즘을 시간복잡도 측면에서 분석하고 기존의 kNN과 비교 하였으며, 로이터-21578 데이터를 사용하여 실험적으로 성능을 비교 하였다. 실험결과, 본 논문에서 제안한 알고리즘이 기존의 kNN보다 실행속도측면에서 약 $90{\%}$정도의 우수함을 알 수 있었다.

Keywords

References

  1. Y. Yang, 'Expert Network : Effective and efficient learning from human decisions in text categorization and retrieval,' In 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1994
  2. S. T. Dumais, J. Platt, D. Heckerman, and M. Sahami, 'Inductive learning algorithms and representations for text categorization,' In CIKM, 1998 https://doi.org/10.1145/288627.288651
  3. Y. Yang and X. Liu., 'Are-examination of text categorization methods,' In 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, Berkley, August, 1999
  4. Calvo, R. A. and H. A. Ceccatto, 'Intelligent Document Classification,' Intelligent Data Analysis, Vol.4, No.5, 2000
  5. Calvo R. A, Classifying financial news with neural networks, In 6th Australian Document Symposium, p.6, December, 2001
  6. ?Tom Ault and Y. Yang, 'kNN, Rocchio and Metrics for Information Filtering at TREC-10,' In The 10th Text Retrieval Conference(TREC-10), NIST, 2001
  7. Y. Yang, A Study on Thresholding Strategies for Text Categorization, In 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, New York, 2001
  8. Reuters-21578 Document Collection, http://about.reuters.com/researchandstandards/corpus
  9. Sebastiani F., 'Machine learning in automated text categorization,' ACM Computing Surveys, Vol.34, No.1, pp.1-47, 2002 https://doi.org/10.1145/505282.505283
  10. Williams K. and R. A. Calvo, 'A Framework for Text Categorization,' 7th Australian Document Computing Symposium December, 2002
  11. 김한준, '텍스트 마이닝 기술을 적용한 대용량 온라인 문서 데이터의 계층적 조직화 기법', 서울대학교 대학원 박사학위논문, 2002
  12. Calvo, R. A and J. M. Lee, 'Coping with the News : the machine learning way,' The 9th Australian World Wide Web Conference(AUSWEB 03), 2003
  13. 이재문, '휴리스틱을 이용한 kNN의 효율성 개선', 정보처리학회논문지B, 제10-B권 제6호, 2003
  14. 이석호, 'C로 쓴 자료구조론', 사이텍미디어, pp.68-88