• 제목/요약/키워드: translation memory

검색결과 135건 처리시간 0.026초

숫자 기호화를 통한 신경기계번역 성능 향상 (Symbolizing Numbers to Improve Neural Machine Translation)

  • 강청웅;노영헌;김지수;최희열
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권6호
    • /
    • pp.1161-1167
    • /
    • 2018
  • 기계 학습의 발전은 인간만이 할 수 있었던 섬세한 작업들을 기계가 할 수 있도록 이끌었고, 이에 따라 많은 기업체들은 기계 학습 기반의 번역기를 출시하였다. 현재 상용화된 번역기들은 우수한 성능을 보이지만 숫자 번역에서 문제가 발생하는 것을 발견했다. 번역기들은번역할문장에 큰숫자가 있을경우종종숫자를잘못번역하며, 같은문장에서숫자만바꿔번역할 때문장의구조를 완전히바꾸어 번역하기도 한다. 이러한 문제점은오번역의 가능성을 높이기 때문에해결해야 될 사안으로여겨진다. 본 논문에서는 Bidirectional RNN (Recurrent Neural Network), LSTM (Long Short Term Memory networks), Attention mechanism을 적용한 Neural Machine Translation 모델을 사용하여 데이터 클렌징, 사전 크기 변경을 통한 모델 최적화를 진행 하였고, 최적화된 모델에 숫자 기호화 알고리즘을 적용하여 상기 문제점을 해결하는 번역 시스템을 구현하였다. 본논문은 데이터 클렌징 방법과 사전 크기 변경, 그리고 숫자 기호화 알고리즘에 대해 서술하였으며, BLEU score (Bilingual Evaluation Understudy score) 를 이용하여 각 모델의 성능을 비교하였다.

플래시 메모리기반 저장장치에서 효율적 메타데이터 관리 기법 (Efficient Metadata Management Scheme in NAND Flash based Storage Device)

  • 김동욱;강수용
    • 디지털콘텐츠학회 논문지
    • /
    • 제16권4호
    • /
    • pp.535-543
    • /
    • 2015
  • 현재 NAND 플래시 메모리기반 저장장치는 NAND 플래시 메모리의 단점을 감추고 장점을 극대화해 나가며 그 활용 영역을 지속적으로 넓혀왔다. 특히, 이러한 저장장치는 NAND 플래시 메모리의 고유한 특성인 "쓰기 전 지우기" 특성을 감추기 위하여 내부적으로 플래시 변환 계층(Flash Translation Layer)이라 불리는 소프트웨어 계층을 포함하고 있다. 플래시 변환 계층은 호스트로부터 요청된 데이터를 관리하기 위한 메타데이터를 포함하며, 메타데이터는 호스트의 요청들을 처리하기 위해 자주 접근되는 데이터이므로 내부 메모리에 저장되어 관리된다. 따라서 메모리에 저장된 메타데이터는 전원손실이 발생하게 되는 경우 모두 소멸되므로, 메타데이터를 주기적으로 저장하고 초기화 과정을 통해 메타데이터를 메모리에 적재할 수 있는 메타데이터 관리 정책이 필요하다. 따라서 우리는 메타데이터 관리의 핵심 요구사항을 모두 만족하면서 효율적으로 동작하는 메타데이터 관리 정책을 제안하며, 실험을 통해 제안하는 기법의 효율성을 증명하였다.

플래시 변환 계층에 대한 TPC-C 벤치마크를 통한 성능분석 (Performance Analysis of Flash Translation Layer using TPC-C Benchmark)

  • 박성환;장주연;서영주;박원주;박상원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권2호
    • /
    • pp.201-205
    • /
    • 2008
  • 최근 플래시 메모리는 소형 정보기기의 주된 저장매체로서 그 사용이 급격히 증가하고 있다. 또한, 플래시메모리의 용량이 점점 증가함에 따라 더욱 많은 정보를 저장하고 관리하려는 시도가 이루어지고 있다. 따라서 효율적으로 정보를 관리하는 시스템인 데이타베이스가 플래시 메모리에서도 필요로 하게 되었다. 그러나 데이타베이스는 임의적인 디스크 I/O를 발생시키는 특징이 있어 현재의 플래시 메모리 시스템에서 그 성능이 매우 좋지 않다. 본 논문에서는 이러한 문제점을 고찰하고자 기존의 FTL 알고리즘들이 플래시 기반의 데이타베이스 시스템에서 어떠한 성능을 보이는지 실험하였다. 그 결과 실험에 사용한 FTL 알고리즘 모두가 매우 좋지 않은 성능을 보였다. 특히 지금까지 상당히 좋은 FTL 알고리즘으로 평가되었던 것들이 데이타베이스 응용에서는 나쁜 성능을 보였다. 또한 현재 플래시 메모리의 성능을 개선하고자 사용되는 칩 인터리빙 기술 또한 모든 FTL 알고리즘에서 좋은 성능을 내지 못하였다. 본 논문에서는 실험 결과를 바탕으로 데이타베이스 시스템을 잘 지원하는 새로운 FTL 알고리즘이 필요한 이유와 그 방향을 제시한다.

페이지 단위 매핑 기반 대용량 NAND플래시를 위한 주소변환기법 (An Address Translation Technique Large NAND Flash Memory using Page Level Mapping)

  • 서현민;권오훈;박준석;고건
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권3호
    • /
    • pp.371-375
    • /
    • 2010
  • SSD는 NAND 플래시 메모리 기반의 저장장치로 속도가 빠르고, 전력 소모량이 작으며, 충격과 진동에 강하다는 좋은 특성 때문에 PC뿐 아니라 스토리지 서버 등에서도 사용되는 경우가 늘고 있다. NAND 플래시 메모리는 덮어쓰기가 불가능하다는 제약이 있으므로 SSD에서는 일반적으로 FTL이라고 불리는 소프트웨어 계층을 사용한다. 다양한 형태의 FTL 중 페이지 단위 변환에 기반한 FTL은 유연성이 높고 효율적인 쓰레기 수집 작업이 가능하다는 점에서 가장 성능이 좋다고 알려져 있다. 한편 이 방법은 64GB MLC SSD의 경우 64MB 크기의 변환 테이블이 메모리에 올라와 있을 것을 요구하므로 현실적인 사용이 제한되어 있다. 본 논문에서는 효율적인 캐시 구조를 통해 SSD에서도 순수한 페이지 단위 변환을 사용하는 방법을 제안한다. 제안된 방법에서는 매핑 테이블 메타 데이터를 사용해 완전 연관 캐시를 구성하고 캐시크기에 무관하게 O(1)시간에 주소를 변환한다 다양한 환경에서 수집한 트레이스를 이용한 시뮬레이션 결과 32KB의 캐시 공간의 경우 80% 이상, 512KB의 경우 90% 이상의 적중률을 보였다. 이 경우 메모리 사용량은 64MB의 1. 9% 에 불과하며 캐시 미스로 인한 오버헤드는 실행시간 기준으로 2% 미만으로 측정되었다.

MLC 낸드 플래시 기반 저장장치의 쓰기 성능 개선을 위한 계층 교차적 최적화 기법 (A Cross Layer Optimization Technique for Improving Performance of MLC NAND Flash-Based Storages)

  • 박지성;이성진;김지홍
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1130-1137
    • /
    • 2017
  • 하나의 메모리 셀에 여러 비트의 정보를 저장하는 다치화 기법은 공정 미세화와 함께 낸드 플래시 메모리의 집적도를 크게 향상시켰지만, 그 반대급부로 MLC 낸드 플래시 메모리의 평균 쓰기 성능은 SLC 낸드 플래시 메모리 대비 두 배 이상 하락하였다. 본 논문에서는 MLC 낸드 플래시 기반 저장장치의 성능 향상을 위해 제안되었던 기존의 계층 교차적 최적화 기법들을 소개하고, 두 기법의 상호 보완성을 분석하여 해당 기법들의 한계점을 극복하는 새로운 통합 기법을 제안한다. MLC 낸드 플래시 디바이스에 존재하는 성능 비대칭성을 플래시 변환 계층 수준에서 최대한 활용함으로써, 제안하는 기법은 인가되는 다수의 쓰기 명령을 SLC 낸드 플래시 디바이스의 성능으로 처리하여 저장장치의 성능 향상을 도모한다. 실험 결과, 제안하는 기법은 기존 기법 대비 평균 39%의 성능 향상을 달성할 수 있음을 확인하였다.

페이지 주소 캐시를 활용한 NAND 플래시 메모리 파일시스템에서의 효율적 주소 변환 테이블 관리 정책 (An Efficient Address Mapping Table Management Scheme for NAND Flash Memory File System Exploiting Page Address Cache)

  • 김정길
    • 디지털콘텐츠학회 논문지
    • /
    • 제11권1호
    • /
    • pp.91-97
    • /
    • 2010
  • 비휘발성, 저전력 소모, 안정성 등의 장점을 가진 NAND 플래시 메모리는 고집적화, 대용량화, 저가격화를 통하여 다양한 디지털시스템의 데이터 저장장치로 사용되고 있다. 플래시 메모리의 다양한 분야에서의 응용 확대와 동시에 플래시 메모리의 대용량화는 플래시 메모리의 주소 변환 테이블의 전체 크기를 증가시켜 SRAM에 저장하기에 용량이 부족한 문제점을 발생시킨다. 본 논문에서는 하이브리드 변환 기법 기반의 플래시 메모리 파일 시스템에서 페이지 주소 캐시를 이용한 효율적인 주소 테이블 관리 정책을 제안한다. 제안하는 기법은 다양한 메타 데이터 기반의 전체 테이블의 정보를 맵블록을 이용하여 효율적으로 통합 관리함으로써 높은 성능을 유지할 수 있다. PC 환경에서의 다양한 응용프로그램을 실험한 결과 제안하는 페이지 주소 캐시는 2.5% 이하의 낮은 미스율로 높은 효율성을 유지하며 전체 쓰기 연산 요청에서 평균 33%의 실제 쓰기 연산의 실행으로 전체 쓰기 연산에서 발생하는 오버헤드를 줄여 주었다.

하이브리드 플래시-디스크 저장장치용 Flash Translation Layer의 성능 개선을 위한 순차패턴 마이닝 기반 2단계 프리패칭 기법 (Improving Flash Translation Layer for Hybrid Flash-Disk Storage through Sequential Pattern Mining based 2-Level Prefetching Technique)

  • 장재영;윤언근;김한준
    • 한국전자거래학회지
    • /
    • 제15권4호
    • /
    • pp.101-121
    • /
    • 2010
  • 본 논문은 플래시 메모리와 하드디스크로 구성되는 하이브리드 저장장치의 성능을 높이기 위한 프리패칭 기법을 제안한다. 하이브리드 저장장치에 포함된 플래시 메모리는 하드디스크에 비해 쓰기/읽기 연산 속도가 상대적으로 빠르기 때문에 이를 캐시 공간처럼 활용하여 성능을 높일 수 있다. 프리패칭을 위한 기본 전략은 순차패턴 마이닝을 이용하는 것이며, 이를 이용하면 시간적 흐름을 가지는 과거 객체 참조열로부터 반복되는 객체 접근 패턴을 추출할 수 있다. 프리패칭 기법을 사용하여 하이브리드 저장장치의 성능을 최대화하기 위하여 본 논문은 두 가지 방법을 사용하였다. 첫 번째는 플래시 메모리 매핑을 위하여 기존의 FAST 알고리즘을 개선하였고, 두 번째는 제한된 플래시 메모리의 공간을 효율적으로 사용하기 위하여 프리패칭 단위로 파일 수준과 블록 수준을 동시에 고려하였다. 제안 기법의 효용성을 평가하기 위해 참조 지역성을 가지는 합성 데이터와 UCC 데이터를 활용하여 실험을 실시하여 제안된 방법의 우수성을 증명하였다.

STP-FTL: An Efficient Caching Structure for Demand-based Flash Translation Layer

  • Choi, Hwan-Pil;Kim, Yong-Seok
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권7호
    • /
    • pp.1-7
    • /
    • 2017
  • As the capacity of NAND flash module increases, the amount of RAM increases for caching and maintaining the FTL mapping information. In order to reduce the amount of mapping information managed in the RAM, a demand-based address mapping method stores the entire mapping information in the flash and some valid mapping information in the form of cache in the RAM so that the RAM can be used efficiently. However, when cache miss occurs, it is necessary to read the mapping information recorded in the flash, so overhead occurs to translate the address. If the RAM space is not enough, the cache hit ratio decreases, resulting in greater overhead. In this paper, we propose a method using two tables called TPMT(Translation Page Mapping Table) and SMT(Segmented Translation Page Mapping Table) to utilize both temporal locality and spatial locality more efficiently. A performance evaluation shows that this method can improve the cache hit ratio by up to 30% and reduces the extra translation operations by up to 72%, compared to the TPM scheme.

GCC2Verilog Compiler Toolset for Complete Translation of C Programming Language into Verilog HDL

  • Huong, Giang Nguyen Thi;Kim, Seon-Wook
    • ETRI Journal
    • /
    • 제33권5호
    • /
    • pp.731-740
    • /
    • 2011
  • Reconfigurable computing using a field-programmable gate-array (FPGA) device has become a promising solution in system design because of its power efficiency and design flexibility. To bring the benefit of FPGA to many application programmers, there has been intensive research about automatic translation from high-level programming languages (HLL) such as C and C++ into hardware. However, the large gap of syntaxes and semantics between hardware and software programming makes the translation challenging. In this paper, we introduce a new approach for the translation by using the widely used GCC compiler. By simply adding a hardware description language (HDL) backend to the existing state-of- the-art compiler, we could minimize an effort to implement the translator while supporting full features of HLL in the HLL-to-HDL translation and providing high performance. Our translator, called GCC2Verilog, was implemented as the GCC's cross compiler targeting at FPGAs instead of microprocessor architectures. Our experiment shows that we could achieve a speedup of up to 34 times and 17 times on average with 4-port memory over PICO microprocessor execution in selected EEMBC benchmarks.

경량 동적 코드 변환을 이용한 커널 수준 소프트웨어 계측에 관한 연구 (Kernel-level Software instrumentation via Light-weight Dynamic Binary Translation)

  • 이동우;김지홍;엄영익
    • 인터넷정보학회논문지
    • /
    • 제12권5호
    • /
    • pp.63-72
    • /
    • 2011
  • 코드변환 기법은 특정 명령어 집합 구조에서 작성된 프로그램 코드를 다른 구조에서 실행할 수 있도록 변환하는 일종의 에뮬레이션 기법이다. 이 기법은 주로 구형 시스템에서 동작하는 응용프로그램을 새로운 시스템에서 동작시키기 위해 사용되었다. 코드를 변환하는 과정에서 동적으로 코드를 삽입하는 것이 가능하기 때문에 소스코드의 수정 없이 기존 응용프로그램을 계측할 수 있다. 이미 응용프로그램 분야에서는 동적코드분석과 가상머신에서 이러한 기법이 널리 활용되고 있다. 반면에 운영체제의 커널은 일반적인 유저 수준의 응용프로그램과는 다른 특성을 지니기 때문에 커널 수준에서 이러한 코드변환 기법을 사용하려면 시스템 성능, 메모리 관리, 특권 명령어 처리 및 동기화와 관련된 문제가 다루어져야 한다. 본 논문에서는 커널 수준의 동적코드변환 기법을 설계하고 코드삽입을 통한 소프트웨어 계측을 제안한다. 제안기법을 리눅스 커널에 적용하여 실험을 수행하고 그 결과를 통해 본 제안기법이 커널수준에서 소프트웨어 계측에 적은 성능 부하만을 야기함을 확인하였다.