• 정보과학회 논문지
• /
• 제41권9호
• /
• pp.611-616
• /
• 2014

데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
• /
• pp.460-463
• /
• 2008

현재의 스토리지 시스템 및 백업 시스템에서 중복된 데이터의 증가로 인한 문제가 점점 대두되고 있다. 이러한 중복 데이터를 검사하거나 파일의 유사성을 검사하는 데에는 BSW알고리즘이 많이 사용되고 있으며 이 BSW알고리즘 내에서 해시 값을 구하는데에는 Rabin's Fingerprint알고리즘이 일반적으로 사용되고 있다. 본 논문에서는 Rabin's Fingerprint알고리즘에 비해 보다 빠르고 간단한 Modulo-K알고리즘을 제안하며 BSW알고리즘에서 Rabin's Fingerprint를 대체함으로써 최종적으로 BSW알고리즘의 속도를 향상 시킬 수 있는 Modulo-K알고리즘을 제안한다.