A Distributed Cache Management Scheme Based on Metadata Synchronization for Efficient Accesses of Small Files in HDFS

HDFS에서 소형 파일의 효율적인 접근을 위한 메타데이터 동기화 기반의 분산 캐시 관리 기법

최근 개인 사용자에게 최적화된 정보 및 서비스를 제공하기 위해 다수의 소형파일에 대한 분석이 요구되고 있다. 이런 요구사항을 고려해 본 논문에서는 통신주기에 따라 캐시 메타데이터 동기화를 적용한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형파일을 병합하여 청크에 저장함으로써, 네임노드가 관리하는 메타데이터의 양을 줄였으며, 클라이언트 캐시에 캐시 메타데이터를 추가적으로 저장하는 구조를 갖는다. 또한, 클라이언트와 네임노드 간 통신주기 조절을 통해 클라이언트의 캐시 메타데이터를 갱신함으로써 불필요한 처리시간을 감소시킨다.