Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

A Design of the Small File Grouping System Based on Naive Bayesian Classifier Model

나이브 베이지안 분류기 모델 기반의 소용량 파일 그룹화 시스템 설계

  • Kim, Min-Jae (College of Information and Communication Engineering, Sungkyunkwan University) ;
  • Kim, Kyung-Tae (College of Information and Communication Engineering, Sungkyunkwan University) ;
  • Youn, Hee-Young (College of Information and Communication Engineering, Sungkyunkwan University)
  • 김민재 (성균관대학교 정보통신대학) ;
  • 김경태 (성균관대학교 정보통신대학) ;
  • 윤희용 (성균관대학교 정보통신대학)
  • Published : 2014.07.16
Download PDF
⟨ Previous Next ⟩

Abstract

빠른 웹의 성장으로 대용량 데이터를 효과적으로 처리할 수 있는 플랫폼 기술에 대한 관심이 높아지고 있다. 특히, HDFS는 이상적인 분산 파일 시스템으로 각광받고 있으며 대용량 파일의 처리를 목적으로 개발되었다. 하지만, 실제 파일들의 집합에서 소용량 파일이 차지하는 비중은 높은 편이다. 많은 수의 소용량 파일은 HDFS 성능 감소에 치명적인 원인이 된다. 많은 수의 소용량 파일들이 HDFS에 저장된다면 NameNode의 메모리 소비량이 증가하게 되며 많은 수의 소용량 파일은 많은 수의 DataNode와 NameNode를 요구하므로 상대적으로 처리시간이 많이 소모된다. 따라서 본 논문에서는 HDFS에서 소용량 파일의 저장과 액세스 효율성을 향상시키기 위하여 나이브 베이지안 분류기 알고리즘을 적용한 파일 그룹화 시스템을 설계하였다.

Keywords