• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1342-1359
• /
• 2021

The data deduplication technique identifies the duplicates and minimizes the redundant storage data in the backup server. The chunk level deduplication plays a significant role in detecting the appropriate chunk boundaries, which solves the challenges such as minimum throughput and maximum chunk size variance in the data stream. To provide the solution, we propose a new chunking algorithm called Dynamic Prime Chunking (DPC). The main goal of DPC is to dynamically change the window size within the prime value based on the minimum and maximum chunk size. According to the result, DPC provides high throughput and avoid significant chunk variance in the deduplication system. The implementation and experimental evaluation have been performed on the multimedia and operating system datasets. DPC has been compared with existing algorithms such as Rabin, TTTD, MAXP, and AE. Chunk Count, Chunking time, throughput, processing time, Bytes Saved per Second (BSPS) and Deduplication Elimination Ratio (DER) are the performance metrics analyzed in our work. Based on the analysis of the results, it is found that throughput and BSPS have improved. Firstly, DPC quantitatively improves throughput performance by more than 21% than AE. Secondly, BSPS increases a maximum of 11% than the existing AE algorithm. Due to the above reason, our algorithm minimizes the total processing time and achieves higher deduplication efficiency compared with the existing Content Defined Chunking (CDC) algorithms.

• 한국식품과학회지
• /
• 제20권1호
• /
• pp.45-51
• /
• 1988

포장방법이 칼치 Chunk의 저장성에 미치는 영향을 알아보기 위하여 시료를 염장 혹은 무염처리 상태로 진공포장, 탈산소제 포장 및 대조구로 하여 $0^{\circ}C$ 또는 $5^{\circ}C$에 저장하면서 실험한 결과는 다음과 같았다. 염장 칼치의 적정 염농도를 4% 내외로 하였을때 적정 식염수의 농도는 15%였고 염장기간은 24시간 이었다. 염장 혹은 무염 처리구의 VBN, TMA, 생균수는 저장 기간이 길어짐에 따라 증가하는 경향이었으나 TBA 값은 $5{\sim}15$일 경에 최고값에 달한후 감소하였다. 칼치 Chunk의 품질 유효지표 성분은 VBN 이었으며 그 함량의 상한선은 29mg%였다. 칼치 Chunk의 간이 품질 평가방법을 도출하였다. $0^{\circ}C$에 저장한 무염처리 칼치의 진공포장, 탈산소제 포장 및 대조구의 경우, 저장 가능기간은 14, 10 및 6일 이었으며, $5^{\circ}C$의 경우는 7, 6 및 4일 이었다. 또한 염장한 칼치를 $5^{\circ}C$에 저장할 경우는 각각 14, 13 및 10일 이었다.

• 한국정보과학회논문지:데이타베이스
• /
• 제30권3호
• /
• pp.225-236
• /
• 2003

다차원 온라인 분석처리 (MOLAP, Multidimensional On-line Analytical Processing) 시스템은 데이타를 큐브라고 불리는 다차원 배열에 저장하고 배열 인덱스를 이용하여 데이타를 엑세스한다. 큐브를 디스크에 저장할 때 각 변의 길이가 같은 작은 청크들로 조각내어 저장하게 되면 데이타 클러스터링 효과를 통해 모든 차원에 공평한 질의 처리 성능이 보장되며, 이러한 큐브 저장 방법을 ‘청크기반 MOLAP 큐브’ 저장 방법이라고 부른다. 공간 효율성을 높이기 위해 밀도가 낮은 청크들은 또한 압축되어 저장되는데 이 과정에서 데이타의 상대 위치 정보가 상실되며 원하는 청크들을 신속하게 엑세스하기 위해 인덱스가 필요하게 된다. 본 연구에서는 비트맵을 사용하여 청크기반 MOLAP 큐브를 인덱싱하는 방법을 제시한다. 인덱스는 큐브가 생성될 때 동시에 생성될 수 있으며, 인덱스 수준에서 청크들의 상대 위치 정보를 보존하여 청크들을 상수 시간에 검색할 수 있도록 하였고, 인덱스 블록마다 가능한 많은 청크들의 위치 정보가 포함되도록 하여 범위 질의를 비롯한 OLAP 주요 연산 처리 시에 인덱스 엑세스 회수를 크게 감소시켰다. 인덱스의 시간 공간적 효율성은 다차원 인덱싱 기법인 UB-트리, 그리드 파일과의 비교를 통해 검증하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제29권4호
• /
• pp.262-273
• /
• 2002

MOLAP(multi-dimensional online analytical processing)은 데이타의 다차원적 분석 기술로서, 이는 질의 처리 속도를 높이기 위해 데이타를 큐브(cube)라고 불리는 다차원 배열에 저장하고 배열 인덱스를 사용하여 데이타를 엑세스한다. 큐브는 다양한 방식으로 디스크에 저장될 수 있으며 이 때 사용되는 방식에 따라 MOLAP의 주요 연산인 슬라이스와 다이스 연산 속도가 크게 영향을 받는다. 이러한 연산들을 효율적으로 처리하기 위해 다차원 배열을 작은 크기의 청크로 나누고 이 들 중에서 희박한 청크들을 압축하여 저장하는 기법이 [1]에 제안되어 있다. 이 방식에서는 청크들을 행우선 순서로 디스크에 저장한다. 본 연구에서는 청크들을 밀도와 인접도 기준으로 배치시킴으로써 슬라이스와 다이스 연산 속도를 향상시키는 방법을 제시한다. 청크 밀도를 이용하여 청크들을 디스크 블록 경계에 가능한 한 맞추었고, Z 인덱싱을 사하여 인접한 저밀도 청크들을 군집화 함으로써 디스크 I/O의 속도를 높였다. 제안한 큐브 저장 방식은 일반적 비즈니스 데이타의 분석에 흔히 사용되는 3~5차원의 큐브 저장에 효율적이라는 것을 실험적으로 보였다.

• 정보보호학회논문지
• /
• 제27권6호
• /
• pp.1373-1383
• /
• 2017

중복 제거는 데이터를 효과적으로 관리하여 저장 공간의 효율성을 높이기 위한 기능이다. 중복 제거 기능이 시스템에 적용되면 저장되어 있는 파일을 청크 단위로 분할하고 중복되는 부분은 하나의 청크로만 저장함으로써 저장 공간을 효율적으로 사용할 수 있게 한다. 하지만 중복 제거된 데이터에 대해 상용 디지털 포렌식 도구에서 파일시스템 해석을 지원하지 않으며, 도구로 추출된 원본 파일을 실행하거나 열람할 수 없는 상황이다. 따라서 본 논문에서는 중복 제거 기능을 적용할 수 있는 윈도우 서버 2012 시스템을 대상으로 청크 단위의 데이터를 생성하는 과정과 그 결과로 생성되는 파일의 구조를 분석하고, 기존 연구에서 다뤄지지 않은 청크가 압축되는 경우에 대해서도 분석결과를 도출하였다. 이러한 결과를 바탕으로 디지털 포렌식 조사에서 적용할 수 있는 수집 절차와 원본 파일로 재조합하기 위한 방법을 제시한다.

• 한국전자통신학회논문지
• /
• 제16권6호
• /
• pp.1145-1152
• /
• 2021

1.4P 대형 스토리지의 성능을 최적화하기 위하여 청크모드별 특성을 조사하고, I/O 속도면에서 청크 512K 모드를 선택하였다. NVME 스토리지 시스템을 구성하여 대형 스토리지의 데이터 서버 성능 측정에 활용하였다. 1.4P 대형 스토리지의 쓰레드 수에 따른 스루풋의 변화를 측정하여 대형 스토리지 시스템의 특성을 파악하였으며, 스루풋의 최대값은 블록크기 32KB에서 133Gbps 성능을 보임을 확인하였다. GridFTP 방식의 globus-url-copy를 이용하여 데이터 송수신 실험을 수행한 결과, 이 대형 스토리지는 33Gbps의 스루풋을 가지고 있음을 알 수 있었다.

• Journal of Information Processing Systems
• /
• 제15권1호
• /
• pp.55-66
• /
• 2019

Storage system often applies erasure codes to protect against disk failure and ensure system reliability and availability. Liberation code that is a type of coding scheme has been widely used in many storage systems because its encoding and modifying operations are efficient. However, it cannot effectively achieve fast recovery from single disk failure in storage systems, and has great influence on recovery performance as well as response time of client requests. To solve this problem, in this paper, we present HRSF, a Hybrid Recovery method for solving Single disk Failure. We present the optimal algorithm to accelerate failure recovery process. Theoretical analysis proves that our scheme consumes approximately 25% less amount of data read than the conventional method. In the evaluation, we perform extensive experiments by setting different number of disks and chunk sizes. The results show that HRSF outperforms conventional method in terms of the amount of data read and failure recovery time.

• 정보보호학회논문지
• /
• 제26권5호
• /
• pp.1141-1149
• /
• 2016

중복 제거 파일시스템은 저장 공간 절약의 이점이 있지만, 기존 완전 삭제 도구를 이용하는 경우 여전히 지워진 블록이 복원될 우려가 있다. 본 논문에서는 FUSE(Filesystem in USErspace)를 이용하여 개발된 오픈 소스 중복 제거 파일시스템인 LessFS를 바탕으로 완전 삭제 기법을 연구하였다. 먼저 중복 제거 파일시스템에서 지워진 데이터 블록을 복구하는 취약점을 보였으며, 데이터 블록과 함께 fingerprint DB영역을 고려한 완전 삭제 기법을 제안하고 구현하였다. 성능 측정 결과 완전 삭제에 필요한 시간은 완전 삭제가 적용되지 않은 경우에 비해 60~70배 가량으로 나타났으며, 이러한 작업 수행시간의 증가는 chunk의 증가로 인한 fingerprint DB 접근에 따른 오버헤드가 큰 비중을 차지하는 것으로 나타났다. 또한 chunk 크기가 65,536바이트를 넘는 경우에는 기존 파일시스템의 완전 삭제 기법보다더 좋은 완전 삭제 성능을 보였다.

• 한국식품과학회지
• /
• 제28권4호
• /
• pp.714-719
• /
• 1996

현미를 투습 투기성이 없는 플라스틱 필름 적층 4겹 포장재에 넣고 저장 온도를 달리 하면서 물리화학적 변화를 관찰 하였다. 곡립의 경도는 $20^{\circ}C$ 이하에서는 거의 변화가 없었으며 $30^{\circ}C$에서는 저장기간이 길수록 증가하였다. 그러나 $40^{\circ}C$에서의 경우는 $30^{\circ}C$와는 다른 양상으로 증가하였다. 곡립의 색도는 L, a, b값 모두 $30^{\circ}C$에서는 큰 변화를 보이지 않았지만 a와 b값은 급격히 증가하였으며, L값은 오히려 저장 3개월 이후부터 급격한 감소 현상을 보였다. 발아율은 $20^{\circ}C$에서는 변화가 없었으나 $30^{\circ}C$에서는 저장 2개월 이후부터 급격히 감소하였으며 $40^{\circ}C$에서는 저장 1개월에 전혀 발아되지 않았다. 현미 가루의 DSC 특성치는 큰 변화를 보이지 않았지만 호화 온도 범위는 저장온도 $30^{\circ}C$까지는 저장 온도가 높을수록 저장 기간이 길수록 증가하는 현상을 보였다. 이러한 결과로 볼 때, 저장중 현미의 품질을 유지하기 위해서는 플라스틱필름 적층 4겹 포장재를 이용하여 $20^{\circ}C$ 이하의 온도에서 저장하는 것도 하나의 방법임을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권4호
• /
• pp.703-719
• /
• 2011

In multi-user wireless communication systems, adaptive modulation and scheduling are promising techniques for increasing the system throughput. However, a mass of wireless recourse will be occupied and spectrum efficiency will be decreased to feedback channel quality indication (CQI) of all users in every subcarrier or chunk for adaptive orthogonal frequency division multiplexing (OFDM) systems. Thus numerous limited feedback schemes are proposed to reduce the system overhead. The recently proposed compressive sensing (CS) theory provides a new framework to jointly measure and compress signals that allows less sampling and storage resources than traditional approaches based on Nyquist sampling. In this paper, we proposed two novel CQI feedback schemes based on general CS and subspace CS, respectively, both of which could be used in a wireless OFDM system. The feedback rate with subspace CS is greatly decreased by exploiting the subspace information of the underlying signal. Simulation results show the effectiveness of the proposed methods, with the same feedback rate, the throughputs with subspace CS outperform the discrete cosine transform (DCT) based method which is usually employed, and the throughputs with general CS outperform DCT when the feedback rate is larger than 0.13 bits/subcarrier.