• 정보보호학회논문지
• /
• 제26권5호
• /
• pp.1141-1149
• /
• 2016

중복 제거 파일시스템은 저장 공간 절약의 이점이 있지만, 기존 완전 삭제 도구를 이용하는 경우 여전히 지워진 블록이 복원될 우려가 있다. 본 논문에서는 FUSE(Filesystem in USErspace)를 이용하여 개발된 오픈 소스 중복 제거 파일시스템인 LessFS를 바탕으로 완전 삭제 기법을 연구하였다. 먼저 중복 제거 파일시스템에서 지워진 데이터 블록을 복구하는 취약점을 보였으며, 데이터 블록과 함께 fingerprint DB영역을 고려한 완전 삭제 기법을 제안하고 구현하였다. 성능 측정 결과 완전 삭제에 필요한 시간은 완전 삭제가 적용되지 않은 경우에 비해 60~70배 가량으로 나타났으며, 이러한 작업 수행시간의 증가는 chunk의 증가로 인한 fingerprint DB 접근에 따른 오버헤드가 큰 비중을 차지하는 것으로 나타났다. 또한 chunk 크기가 65,536바이트를 넘는 경우에는 기존 파일시스템의 완전 삭제 기법보다더 좋은 완전 삭제 성능을 보였다.

• 전자공학회논문지
• /
• 제50권2호
• /
• pp.143-151
• /
• 2013

낸드 플래시 기반 SSD(Solid State Drive)는 빠른 입출력 성능, 저전력 등의 장점을 가지고 있어, 타블릿, 데스크탑 PC, 스마트폰, 서버 등의 저장장치로 널리 사용되고 있다. 하지만 SSD는 쓰기 횟수에 따라서 마모도가 증가하는 단점이 있다. SSD의 수명을 향상시키기 위해 다양한 데이터 중복제거 기법이 도입되었으나, 일반적인 고정 크기 분할방식은 데이터의 지역성을 고려하지 않고 청크크기를 할당함으로써, 불필요한 청킹 및 해시값 생성을 수행하는 문제점이 있으며, 가변 크기 분할방식은 중복제거를 위해 바이트 단위로 비교하여 과도한 연산량을 유발한다. 본 논문에서는 SSD 기반 서버급 스토리지에서 쓰기 요청된 데이터의 지역성에 기반한 적응형 청킹 정책을 제안한다. 제안한 방법은 중복데이터가 가지는 응용프로그램 및 파일 이름 기반 지역성에 따라 청크 크기를 4KB 또는 64KB로 적응적으로 분할하여, 청킹 및 해시값 생성에 따른 오버헤드를 감소시키고, 중복 쓰기를 방지한다. 실험결과, 제안하는 기법이 기존의 가변 크기 분할 및 4KB의 고정 크기 분할을 이용한 중복제거기법보다 SSD의 쓰기 성능이 향상되고 전력 소모 및 연산시간을 감소시킬 수 있음을 보여준다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권9호
• /
• pp.305-316
• /
• 2022

사물인터넷 및 빅데이터 등 디지털 데이터의 범람으로, 다수 사용자로부터 방대한 데이터를 처리 및 보관하는 클라우드 서비스 제공자는 효율적 데이터 관리를 위한 데이터 중복제거를 적용할 수 있다. 중앙 클라우드 서버로의 네트워크 혼잡 및 연산 효율성 저하 등의 문제를 개선하기 위한 클라우드의 확장으로 엣지 컴퓨팅 개념이 도입되면서 사용자 경험을 개선할 수 있으나, 전적으로 신뢰할 수 없는 새로운 엣지 디바이스의 추가로 인하여 프라이버시 보존 데이터 중복제거를 위한 암호학적 연산 복잡도의 증가를 야기할 수 있다. 제안 기법에서는 신뢰실행환경을 활용함으로써 사용자-엣지-클라우드 간 최적화된 통신 구조에서 프라이버시 보존 데이터 중복제거의 효율성 개선 방안을 제시한다. 사용자와 클라우드 사이에서의 비밀정보 공유를 통하여 엣지 디바이스에서의 연산 복잡도를 최소화하고, 클라우드 서비스 제공자의 효율적 암호화 알고리즘 사용을 가능하게 한다. 또한, 사용자는 엣지 디바이스에 데이터를 오프로딩함으로써 데이터 중복제거와 독립적인 활동을 가능하게 하여 사용자 경험을 개선한다. 실험을 통하여 제안 기법이 데이터 프라이버시 보존 중복제거 과정에서 엣지-클라우드 통신 효율성 향상, 엣지 연산 효율성 향상 등 성능 개선 효과가 있음을 확인한다.

• 한국통신학회논문지
• /
• 제31권3A호
• /
• pp.337-344
• /
• 2006

본 논문에서는 3DTV를 위한 다시점 동영상 부호화 기법을 제안한다. 제안하는 기법에서는 다수의 카메라 입력에 대하여 기존의 MPEG 기반의 부호화 기법에서 사용된 시 공간적 중복성 제거 뿐 아니라 각 시점에 해당하는 영상간의 공간적 중복성을 제거하여 부호화 효율을 재선할 수 있다. 각 시점 영상간의 공간적 중복성을 효율적으로 제거하기 위하여 전역 시차 보상(global disparity compensation)된 집적영상(assembled image)을 사용하였다. 또한 기존의 디지털 TV 전송 표준인 MPEG-2를 기반으로 하였기 때문에 기존의 디지털 TV 표준을 크게 수정하지 않고 3DTV를 구현할 수 있을 뿐만 아니라 각 시점간의 동기화 문제도 해결할 수 있다. 제안하는 기법은 MPEG-2 기법으로 각 시점에 해당하는 영상을 독립적으로 부호화(simulcast 기법)한 결과와 비교하여 객관적 화질 면에서 우수한 결과를 보였으며, 평행식 카메라 구조로 획득된 영상과 유사한 디지털 홀로그램 부호화에도 적용하여 우수한 성능을 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.140-143
• /
• 2019

본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 다시점 360 비디오 중복성 제거기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+)를 위한 시스템은 다시점에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이에 대한 방안으로 다시점 비디오 간 중복성 제거를 위한 3D warping 을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 다시점 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.1803-1806
• /
• 2010

스마트폰에서 용량을 많이 차지하는 멀티미디어 컨텐츠, 응용 프로그램 데이터가 증가하면서 스마트폰을 위한 백업 프로그램에 대한 요구가 증가하고 있다. 본 논문에서는 중복 제거 기법을 적용한 스마트폰 백업 기술을 제안함으로 네트워크 대역폭을 효율적으로 사용하고 저장 공간을 줄일 수 있는 방안을 제시하고 있다. 제안하는 중복 제거 방식은 스마트폰에서 각 파일을 일정한 크기의 블록 단위로 분할하고 지문을 부여하고, 지문이 동일하지 않을 경우에만 데이터를 전송하는 방식을 사용한다. 실험결과 제안하는 방식이 네트워크 대역폭 및 저장 공간을 효율적으로 사용함을 보이고 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.223-226
• /
• 2014

클라우드 컴퓨팅 및 모바일 통신 서비스의 사용량이 급격히 증가함에 따라 데이터가 기하급수적으로 증가하고 있다. 이러한 데이터를 저장하는 스토리지 장치로서 소비 전력이 작으며 우수한 데이터 접근 성능을 보이는 SSD(Solid State Disk)가 각광받고 있다. SSD는 다수의 NAND 플래시 메모리를 부착하고 호스트에서 요구하는 명령을 받아 수행하는 대용량 장치이다. 이러한 SSD는 비휘발성, 빠른 성능, 내구성, 저전력 등의 장점으로 인해 시장에서 널리 사용되고 있다. 그러나 이러한 SSD의 장점들에도 불구하고 읽기, 쓰기, 삭제 연산 수행 시간의 비대칭성과 불균등한 기본단위, 덮어쓰기 연산의 불가, 한정된 블록 당 삭제횟수 등의 NAND 플래시 메모리의 내재적 단점들이 존재한다. 그 중 NAND 플래시 메모리의 블록 당 한정된 삭제 횟수는 SSD의 수명에 영향을 끼치며 일정한 삭제 횟수를 초과하게 되면 안정성이 크게 떨어지게 되고 더 이상 사용이 불가능하게 된다. 따라서 본 논문에서는 클라우드 환경에서의 SSD에서 NAND 플래시 블록의 한정된 삭제 횟수에 따른 성능의 효율성을 향상시키기 위하여 중복 제거 기법을 적용한 SSD기반의 회복 효율성 최적화 시스템을 설계하였다.

• 전자공학회논문지
• /
• 제50권4호
• /
• pp.117-123
• /
• 2013

최근 클라우드 스토리지 환경에서 전통적인 스토리지장치인 하드디스크를 대체하여 SSD(Solid-State Drive)의 사용량이 증가하고 있다. SSD는 기계적인 동작이 없어 빠른 입출력 성능을 가지는 반면 덮어쓰기가 불가능한 특성을 가지고 있어 공간 효율성을 위한 관리가 중요하다. 이와 같은 마모도 특성을 갖는 SSD의 공간 효율성을 효과적으로 관리하기 위해 데이터 중복제거 기법을 이용한다. 하지만 데이터 중복제거 기법은 데이터 청킹, 해싱, 해시값 검색과정 연산을 포함하기 때문에 오버헤드가 발생하는 문제점이 있다. 본 논문에서는 SSD 스토리지 시스템에서 PRAM 캐시를 이용한 데이터 중복제거 기법을 제안한다. 제안한 방법은 DRAM의 1차 해시테이블에 PRAM에 캐싱된 데이터를 위한 해시값들을 저장하고, LRU(Least Recently Used)기법을 이용하여 관리한다. PRAM의 2차 해시테이블에는 SSD 스토리지에 저장된 데이터에 대한 해시값들을 저장하고, DRAM의 1차 해시테이블에 대한 백업을 PRAM에 유지함으로써 전원 손실등에 대비하여 신뢰성을 향상시킬 수 있다. 실험결과, 제안하는 기법은 기존의 DRAM에 모든 해시값들을 저장하여 관리하는 기법보다 SSD의 쓰기 횟수 및 연산시간을 워크로드별 평균 44.2%, 38.8%의 감소 효과를 보였다.

• 정보과학회 논문지
• /
• 제41권9호
• /
• pp.611-616
• /
• 2014

데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.322-325
• /
• 2017

급격한 데이터의 증가로 인해 효율적으로 데이터를 관리하기 위한 다양한 연구가 진행되고 있다. 2025년 데이터의 총량은 163 ZB 이상으로 증가하고, 그 중 1/4 이상의 데이터는 실시간 데이터가 될 것이라 전망한다. 대용량의 저장장치가 HDD에서 SSD로 바뀌고 있는 추세로, SSD에서 데이터를 효과적으로 관리하기 위한 별도의 방안이 필요하다. 본 논문은 현재까지의 Flash-SSD 관련 시스템 구조 및 데이터 관리 방법 중 중복 제거 관리 방법에 관련한 연구들을 탐색한다. 그리고 중복 제거기법을 적용한 어플리케이션 레벨의 사용자 파일 시스템을 제안하여, 저장 장치의 용량 확보, 성능 저하 및 불필요한 트래픽 최소화 등의 효과를 가져 올 수 있음을 기대한다.