• 한국멀티미디어학회논문지
• /
• 제7권5호
• /
• pp.689-697
• /
• 2004

모바일 컴퓨팅의 급속한 발전과 무선 통신의 유용성은 모바일 사용자들에게 사용자나 데이터의 위치에 상관없이 데이터 접근을 용이하게 제공해 주고있다. 기존 기법인 정적중복배치(SRA)는 서버상에서 중복 데이터 사용을 위해 현재 사용되고 있으며 이동 호스트가 셀에 이동하고 나서 복제서버에 데이터를 복제하는 방법이다. 이 기법은 복제 작업이 간단하고 쉽게 재배치 할 수 있다. 그러나 이동한 셀에 이동사용자가 존재하지 않을 경우에는 데이터 일관성 문제로 인하여 데이터가 삭제된다. 그리고 이동호스트가 복제된 셀로부터 이동하게 되면 경로를 통한 데이터의 접근도 어렵게 된다. 따라서 이 논문에서는 데이터 공유와 효율적 중복데이터 관리를 위해 데이터 일관성 유지 메커니즘을 기반으로 한 새로운 재배치 전략인 일관성 기반 사용자 선택 중복배치(USRAC)를 제안하며 이동사용자의 이동율, 이동 호스트의 접근율 그리고 이동사용자와 이동 호스트의 셀 수에 따른 접근 비용에 대해 기존방법과 비교 분석한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (D)
• /
• pp.150-154
• /
• 2008

무한 웹 컨텐츠 환경에서는 사용자의 컨텐츠 선택을 용이하게 하기 위하여 메타데이터를 다양한 방법으로 수집할 수 있다. 그러나 한 가지 방법으로는 메타데이터의 수신이 제한적이고 풍부한 메타데이터 수신을 위해서는 다양한 방법을 이용해야 한다. 그래서 본 논문에서는 메타데이터 수집 방법들을 통합하는 장치를 제안하고, 통합 메타데이터의 품질 향상을 위해 통합과정에서 발생하는 중복 메타데이터의 필터링 방법을 제시 및 검증한다. 구체적으로는 현재 웹 상에서 다양하게 제공되고 있는 메타데이터 수집 기능들을 분석하고, 통합 장치의 개념적인 구조를 제시하며, 웹 상에서 많이 보급되고 있는 RSS Reader를 통해 메타데이터를 수집하고 이를 토대로 분석하여 중복 컨텐츠를 판단하는 방법을 제안하였다.

• 정보보호학회논문지
• /
• 제25권1호
• /
• pp.123-132
• /
• 2015

최근 클라우드 스토리지 사용이 급증함에 따라 스토리지의 효율적인 사용을 위한 데이터 중복제거 기술이 활용되고 있다. 그러나 외부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근, 스토리지의 절약뿐만 아니라 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트측 소스기반 중복제거 기술을 제안한다.

• 융합정보논문지
• /
• 제10권10호
• /
• pp.1-8
• /
• 2020

최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제20권12호
• /
• pp.623-631
• /
• 2014

데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.

• 스마트미디어저널
• /
• 제10권2호
• /
• pp.9-15
• /
• 2021

AMI(Advanced Metering Infrastructure)의 구축 확대로 인해 계량데이터의 수집을 위한 원격검침서비스 이외에도 계량데이터를 이용한 수요관리, 에너지쉼표 등 다양한 융복합 서비스들이 늘어나고 있는 추세이다. 이러한 서비스를 안정적으로 운영하기 위해서는 계량데이터의 효율적 관리가 필수적이다. 본 논문에서는 중복데이터 제거를 통해 AMI의 시스템별 구축목적에 따라 계량데이터를 처리하는 효율성을 분석하고자 한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권8호
• /
• pp.369-374
• /
• 2016

클라우드 컴퓨팅 환경에서 가상 컴퓨팅 및 스토리지 자원에 대한 요구가 대규모로 증가하면서 스토리지 시스템에서는 스토리지 공간을 효율적으로 절감하고 활용할 수 있는 중복제거 기법을 적용하고 있다. 특히 가상 데스크탑 인프라 환경에서 가상 데스크탑 이미지들에 대해 동일한 데이터가 중복되어 저장되는 것을 방지함으로써 스토리지 공간을 절감하는데 큰 효과를 얻을 수 있다. 하지만 안정적인 가상 데스크탑 서비스를 제공하기 위해서는 중복제거로 인한 가상 데스크탑의 성능 오버헤드와 주기적으로 발생하는 데이터 입출력 폭증, 그리고 빈번한 랜덤 입출력 동작과 같은 가상 데스크탑이 가지고 있는 특이한 워크로드를 효과적으로 처리할 수 있는 스토리지 시스템이 필요하다. 본 논문에서는 클라우드 컴퓨팅 환경에서 가상 데스크탑 및 스토리지 서비스를 지원하기 위해 개발된 클러스터 파일 시스템을 제시한다. 여기에서는 가상 데스크탑 이미지들에서 중복된 데이터가 스토리지에 저장되기 이전에 실시간으로 검출하고 제거하는 인라인 데이터 중복제거 기법을 통해 스토리지 공간을 절감한다. 또한 가상 데스크탑 이미지에 대한 중복제거 처리를 가상 호스트가 아니라 가상 데스크탑 이미지가 실제로 저장되는 데이터 서버에서 수행함으로써 중복제거 처리로 인한 가상 데스크탑의 성능 오버헤드를 줄인다.

• 정보보호학회논문지
• /
• 제25권1호
• /
• pp.83-94
• /
• 2015

중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지하는 기법으로 클라이언트(Client)와 클라우드 서버(Cloud Server) 간에 데이터를 저장하고 관리하는데 있어 효율성을 제공한다. 하지만 공개된 환경의 클라우드 서버에 데이터를 저장하고 관리하기 때문에, 클라이언트가 저장한 데이터에 대한 프라이버시 문제가 발생할 뿐만 아니라 데이터의 손실이 발생할 수도 있다. 최근 이러한 문제점들을 해결하기 위해 안전한 중복 제거 기술이 제안되었지만, 여전히 각각의 공격의 안전성에 대한 문제가 발생할 뿐만 아니라 비효율적이다. 본 논문에서는 2013년 Bellare 등이 제안한 기법의 키 서버(Key Server)와 질의-응답 메커니즘(Challenge-Response)을 이용하여 안전하고 효율적인 클라이언트 사이드 중복 제거 기술을 제안한다. 제안 기법은 클라이언트 사이드 중복 제거 기술에서 발생하는 다양한 공격에 대해 안전성을 제공하며, 크기가 큰 데이터를 업로드 하는 환경에서 높은 효율성을 제공한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제4권9호
• /
• pp.321-326
• /
• 2015

본 논문에서는 가청 주파수 영역 중 사람들에게 거의 들리지 않는 고주파와 순환 중복 검사 기법을 이용하여 스마트 기기 간의 신뢰성 있는 데이터를 무선으로 전송하는 알고리즘을 제안한다. 제안 알고리즘은 스마트 기기의 내장 스피커에서 출력할 수 있는 가청 주파수 영역(20 Hz~22 kHz) 중 고주파 영역인 18 kHz~22 kHz를 사용한다. 이때 데이터의 전송량을 높이기 위해 고주파 영역 1(18.0 kHz~21.2 kHz)에서 여러 개의 주파수를 혼합하여 전달하며, 이와 동시에 전송 데이터의 정확성을 높이기 위해 고주파 영역 2(21.2 kHz~22.0 kHz)에서 순환 중복 검사를 위한 체크섬을 전달한다. 제안 방법의 데이터 전송 속도와 정확성을 확인하기 위해 스마트 북과 스마트 기기 간에 데이터 전달 실험을 하였다. 그 결과 평균 235 ms에 32 bits 데이터를 전송할 수 있었으며, 전송 성공률은 99.47%, 그리고 순환 중복 검사에 의한 에러 검출률은 0.53%인 것을 확인하였다. 따라서 제안 방법은 스마트 기기 간에 무선으로 데이터를 전송할 수 있는 유용한 기술이 될 것이다.

• 정보과학회 논문지
• /
• 제41권9호
• /
• pp.611-616
• /
• 2014

데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.