• 제목/요약/키워드: Ziv-Lempel algorithm

검색결과 15건 처리시간 0.025초

실시간 데이터 압축을 위한 Lempel-Ziv 압축기의 효과적인 구조의 제안 (An efficient Hardware Architecture of Lempel-Ziv Compressor for Real Time Data Compression)

  • 진용선;정정화
    • 대한전자공학회논문지TE
    • /
    • 제37권3호
    • /
    • pp.37-44
    • /
    • 2000
  • 본 논문에서는 실시간 데이터 압축을 위한 Lempel-Ziv 압축기의 효과적인 하드웨어 구조를 제안한다. 일반적으로 Lempel-Ziv 알고리즘의 구현에서는 matching 바이트 탐색과 dictionary 버퍼의 누적된 shift 동작이 처리 속도에 가장 중요한 문제이다. 제안하는 구조에서는 dictionary 크기를 최적화하는 방법과 복수개의 바이트를 동시에 비교하는 matching 바이트 처리 방법, 그리고 회전 FIEO 구조를 이용하여 shift 동작 제어 방법을 이용함으로써 효과적인 Lempel-Ziv 알고리즘의 처리 구조를 제안하였다. 제안된 구조는 상용 DSP를 사용하여 하드웨어적으로 정확하게 동작함을 검증하였으며, VHDL로 기술한 후 회로 합성을 수행하여 상용 FPGA 칩에 구현하였다. 제안된 구조는 시스템 클락 33㎒, 비트율 256Kbps 전용선에서 오류 없이 동작함을 확인하였다.

  • PDF

전략 테이블과 유전 알고리즘을 이용한 LZ77 알고리즘의 성능 개선 (Performance Improvement of LZ77 Algorithm using a Strategy Table and a Genetic Algorithm)

  • 정순철;서동일;문병로
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권12호
    • /
    • pp.1628-1636
    • /
    • 2004
  • 저장 공간이나 전송 시간을 줄여서 비용을 아끼는 데이타 압축 기술은 그 유용성 때문에 오래전부터 연구되어 왔다. Lempel-Ziv 77(LZ77) 알고리즘은 실용적인 사전-기반 비손실 압축 알고리즘이다. 기존의 LZ77 알고리즘에서 알고리즘의 성능에 큰 영향을 미치는, 사전의 크기는 고정되어 있다. 본 논문에서는 사전의 크기를 동적으로 바꾸면서 압축을 하는 동적 LZ77 알고리즘과 동적 LZ77 알고리즘에서 사용하는 전략을 진화시키는 유전 알고리즘을 소개한다. 유전 알고리즘으로 진화시킨 전략을 가지고 동적 LZ77 알고리즘은 기존의 LZ77 알고리즘보다 최대 약 16%까지 더 좋은 압축 효율을 보여 주었다.

대용량 DEM 데이터의 효율적 압축을 위한 DEM_Comp 소프트웨어 개발 (DEM_Comp Software for Effective Compression of Large DEM Data Sets)

  • 강인구;윤홍식;위광재;이동하
    • 한국측량학회지
    • /
    • 제28권2호
    • /
    • pp.265-271
    • /
    • 2010
  • 본 논문에서는 대용량의 수치표고모델(DEM) 데이터의 효율적인 압축을 위해 허프만 코딩과 Lempel-Ziv-Welch 압축방법을 기반으로 하는 새로운 DEM 압축 소프트웨어인 DEM_Comp를 개발하였다. DEM_Comp의 개발을 위해서 $C^{++}$ 언어를 이용하였으며, 모든 Window 플랫폼에서 사용이 가능하도록 하였다. 개발된 소프트웨어의 성능을 평가하기 위해 다양한 지형의 형태를 가지는 DEM에 대해 압축을 수행하고, 출력파일의 용량에 따른 압축효율을 평가하였다. 최근 새로운 지형데이터 취득장비인 LiDAR와 SAR 등에 의해 고해상도의 DEM의 활용이 급격하게 증가하고 있어, 데이터의 저장용량과 전송대역폭을 감소시킬 수 있는 DEM 압축기술이 매우 유용하게 이용되고 있다. 일반적으로 데이터 압축기술은 i) 데이터 사이의 관계를 분석하고, ii) 분석 결과에 따라 압축 및 저장기술을 결정하는 2부분으로 구성되는데, DEM_Comp에서는 정규격자, Lempel-Ziv 압축방법, 허프만 코딩의 3단계 압축 알고리즘을 통해 DEM이 압축된다. DEM_Comp의 압축효율 실험 결과 전처리만 수행하였을 경우 지형의 기복과 상관없이 압축효율은 약 83% 정도를 나타내었지만, 3단계의 압축 알고리즘이 완료된 경우에는 압축효율이 97%까지 증가하는 것으로 나타났다. 이러한 수치는 일반적인 상업용 압축 소프트웨어들과 비교하여 약 14% 정도의 압축효율이 향상되었음을 나타낸다. 이에 따라 본 연구에서 개발된 DEM_Comp S/W를 이용하면 대용량의 고해상도 DEM의 관리, 저장, 배포를 보다 효율적으로 수행할 수 있을 것으로 판단된다.

셀룰러 기반 무선 인지망에서 모바일 이동성과 신경망 스펙트럼 홀 예측에 의한 채널할당 (Channel Allocation Using Mobile Mobility and Neural Net Spectrum Hole Prediction in Cellular-Based Wireless Cognitive Radio Networks)

  • 이진이
    • 한국항행학회논문지
    • /
    • 제21권4호
    • /
    • pp.347-352
    • /
    • 2017
  • 본 논문에서는 셀룰러 기반 무선 인지망에서 스펙트럼 인지(CR)기술을 이용하여 모바일 사용자의 핸드오버 호의 손실확률을 줄이는 방법을 제안한다. 제안한 방법에서는 모바일이 방문할 셀을 Ziv-Lempel 알고리듬을 이용하여 예측하고, 방문할 셀에 할당된 채널이 부족할 때는 CR기술에 기초한 스펙트럼 홀 자원을 예측하여 모바일 사용자를 지원한다. 스펙트럼 홀 자원의 크기는 신경망기법으로 예측하며, 예측된 스펙트럼 홀 자원은 핸드오버 호가 초기 발생 호 보다 우선하여 사용할 수 있게 한다. 시뮬레이션을 통하여 셀룰러 이동 통신망에 CR기술을 사용함으로써 모바일 사용자의 핸드오버 호 손실확률을 줄일 수 있음을 보인다.

임베디드시스템을 위한 혼용텍스트 파일의 개선된 LZW 압축 알고리즘 구현 (Development on Improved of LZW Compression Algorithm by Mixed Text File for Embedded System)

  • 조미남;지유강
    • 한국콘텐츠학회논문지
    • /
    • 제10권12호
    • /
    • pp.70-76
    • /
    • 2010
  • 최근의 스마트폰, 임베디드시스템 등의 정보통신 단말기는 데이터의 송 수신 및 분산처리 등의 업무를 수행하기 위하여 데이터의 크기를 축소시키는 압축률 향상이 매우 크게 대두되어졌다. 일반적으로 텍스트의 압축에는 LZW(Lempel Ziv Welch)알고리즘을 활용하고 있다. 그러나 LZW알고리즘은 1Byte 조합형 텍스트(알파벳 등)의 압축에는 효율적이나 2Byte 완성형 텍스트(한글 등)에 압축률이 현저하게 저하되는 단점을 가지고 있다. 이를 극복하기 위하여 본 논문에서는 2Byte 전위 필드(prefix)와 반복 계수를 위한 1Byte 후위 필드(suffix)를 사용하는 확장된 ELZW(EBCDIC Lempel Ziv Welch)알고리즘을 제안한다. 제안 알고리즘은 압축률 증가를 위해 압축사전을 구성하여, 알파벳, 한글, 포인터에 따라 각각 서로 다른 비트 스트링으로 적절하게 패킹된다. 제안하는 알고리즘의 성능분석을 위하여 각 140,355byte의 영문, 한글, 한영혼용 텍스트를 비교 실험하였고, 실험결과 제안한 ELZW알고리즘의 압축률은 기존의 1Byte 방식의 LZW 알고리즘보다 5.22% 더 우수하고, 2Byte LZW 알고리즘 보다 8.96% 더 우수함을 보였다.

Energy Efficient and Low-Cost Server Architecture for Hadoop Storage Appliance

  • Choi, Do Young;Oh, Jung Hwan;Kim, Ji Kwang;Lee, Seung Eun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권12호
    • /
    • pp.4648-4663
    • /
    • 2020
  • This paper proposes the Lempel-Ziv 4(LZ4) compression accelerator optimized for scale-out servers in data centers. In order to reduce CPU loads caused by compression, we propose an accelerator solution and implement the accelerator on an Field Programmable Gate Array(FPGA) as heterogeneous computing. The LZ4 compression hardware accelerator is a fully pipelined architecture and applies 16 dictionaries to enhance the parallelism for high throughput compressor. Our hardware accelerator is based on the 20-stage pipeline and dictionary architecture, highly customized to LZ4 compression algorithm and parallel hardware implementation. Proposing dictionary architecture allows achieving high throughput by comparing input sequences in multiple dictionaries simultaneously compared to a single dictionary. The experimental results provide the high throughput with intensively optimized in the FPGA. Additionally, we compare our implementation to CPU implementation results of LZ4 to provide insights on FPGA-based data centers. The proposed accelerator achieves the compression throughput of 639MB/s with fine parallelism to be deployed into scale-out servers. This approach enables the low power Intel Atom processor to realize the Hadoop storage along with the compression accelerator.

고효율 엔트로피 부호화를 위한 ICMEP 알고리즘 설계 (Design of the ICMEP Algorithm for the Highly Efficient Entropy Encoding)

  • 이선근;임순자;김환용
    • 대한전자공학회논문지SD
    • /
    • 제41권4호
    • /
    • pp.75-82
    • /
    • 2004
  • 압축 과정 중에 빠른 처리율을 보여주는 렘펠-짚 알고리즘의 결합에 의하여 채널 전송율은 증가한다. 영상정보의 압축 과정동안 처리율을 향상시키기 위하여 ICMEP 알고리즘을 제안하였으며 HDTV에 적용시켜 엔트로피 부호화기를 설계하였으며 이를 검증하였다. ICMEP 엔트로피 암호기는 top-down 방식을 이용하여 설계하였으며 VHDL을 이용하여 회로 합성 및 모의실험을 수행하였다. 모의실험 결과, 구현된 ICHEP 엔트로피 부호화기는 메모리 포화방지 및 압축률 증가로 인하여 전체적인 시스템 효율이 향상됨을 확인하였다.

2바이트 코드워드 표현방법에 의한 자료압축 알고리듬 (Data compression algorithm with two-byte codeword representation)

  • 양영일;김도현
    • 전자공학회논문지C
    • /
    • 제34C권3호
    • /
    • pp.23-36
    • /
    • 1997
  • In tis paper, sthe new data model for the hardware implementation of lempel-ziv compression algorithm was proposed. Traditional model generates the codeword which consists of 3 bytes, the last symbol, the position and the matched length. MSB (most significant bit) of the last symbol is the comparession flag and the remaining seven bits represent the character. We confined the value of the matched length to 128 instead of 256, which can be coded with seven bits only. In the proposed model, the codeword consists of 2 bytes, the merged symbol and the position. MSB of the merged symbol is the comression flag. The remaining seven bits represent the character or the matched length according to the value of the compression flag. The proposed model reduces the compression ratio by 5% compared with the traditional model. The proposed model can be adopted to the existing hardware architectures. The incremental factors of the compression ratio are also analyzed in this paper.

  • PDF

M2M기반 효율적인 생체데이터 전송을 위한 LZW-BitVector 압축 알고리즘 설계 (Design of LZW-Bit Vector Compression Algorithm for Effective BiometricData Transmission in M2M Environment)

  • 강산;박석천;박정환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.652-654
    • /
    • 2015
  • 최근 ICT융합 기술의 비약적인 발전에 따라 소형 휴대가 가능한 다양한 종류의 생체신호 측정센서의 출현으로 유헬스케어 관련 기술이 비약적으로 발전하게 되면서, 실시간으로 발생하는 생체데이터에 대한 효율적인 처리가 중요하게 되었다. 따라서 본 논문에서는 M2M기반에서 발생되는 생체데이터의 효율적인 전송을 위해 LZW(Lempel-Ziv-Welch) 압축 알고리즘과, BitVector압축 알고리즘을 결합한 LZW-BitVector 압축 알고리즘을 제안한다.

HDTV용 엔트로피 부호화기의 메모리 포화 방지에 관한 연구 (A Study on the Memory Saturation Prevention of the Entropy Encoder for He HDTV)

  • 이선근;임순자;김환용
    • 한국통신학회논문지
    • /
    • 제29권5A호
    • /
    • pp.545-553
    • /
    • 2004
  • 네트워크 환경의 발전과 더불어 멀티미디어의 확대는 HDTV와 같은 응용 서비스의 보편화를 요구한다. 이러한 상황에서 핸드폰과 같은 무선통신 시스템과 xDSL과 광케이블에 의한 유선통신 시스템에서 멀티미디어 실시간 처리는 필수조건이다. 그러므로 본 논문에서 영상정보에 대해서 최소의 평균 부호장을 가지며 순간적 디코딩 능력이 뛰어난 허프만 부호화와 압축 수행속도가 우수한 렘펠-지브 알고리즘의 장점을 접목하여 채널 전송률 및 압축과 정중의 처리속도를 증가시키기 위하여 최적 메모리 할당 기법을 HDTV의 엔트로피 부호화기에 적용하여 설계하고 검증하였다. 구현된 최적 메모리 할당 기법을 사용한 엔트로피 부호화기 시스템은 메모리 포화를 방지할 수 있기 때문에 기존 시스템에 비하여 동영상에 대한 압축률이 허프만 부호나 LZW에 비하여 우수하다는 것을 확인하였다.