• Title/Summary/Keyword: 청킹

Search Result 12, Processing Time 0.03 seconds

Scalable Path Testing Method Adopting Slicing and Chunking Concept (슬라이싱과 청킹 개념을 도입한 확장 가능한 경로 테스팅 방안)

  • Choi, Eun-Man;Choi, Hee-Sung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.164-166
    • /
    • 2012
  • 화이트 박스 테스팅을 위하여 주로 사용하는 경로 테스팅 방법은 테스트 대상 프로그램의 규모에 크게 영향을 받는다. 이런 단점을 해소하기 위하여 이 논문에서는 슬라이싱과 청킹 개념을 도입하였다. 청킹은 논리 흐름의 덩어리를 프레임화 하여 필요에 따라 펼치거나 추상화할 수 있게 한다. 또한 슬라이싱은 프로그램 동작의 부분 집합을 추출하여 복잡도를 줄이고 특정 변수에 집중하게 한다. 본 논문에서는 이런 두 가지 개념을 도입하여 확장 가능한 경로 테스팅 방법을 제안하여 화이트 박스 테스팅의 실용성을 높일 수 있음을 보였다.

A Study on English-Korean Messenger MT System based on Structured Translation Memory (구조화된 번역 메모리 기반 영한 메신저 자동 번역 시스템에 관한 연구)

  • Choi, Sung-Kwon;Kim, Young-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.361-364
    • /
    • 2011
  • 본 논문의 목표는 크게 두 가지이다. 하나는 2010년에 개발한 메신저 자동번역 시스템을 소개하는 것이고, 다른 하나는 메신저 대화체 문장을 더욱 고품질로 번역하기 위한 구조화된 번역 메모리(Structured Translation Memory)를 소개하는 것이다. 구조화된 번역 메모리는 기존의 문자열 기반의 번역 메모리와 자동 번역 시스템의 경계를 허무는 개념으로 구조를 표현하는 계층적 번역 메모리들로 구성된다. 구조화된 번역 메모리는 문자열 번역 메모리, 원형 어휘로 구성된 번역 메모리, 고유명사가 청킹된 번역 메모리, 날짜/숫자가 청킹된 번역 메모리, 기본명사구가 청킹된 번역 메모리, 문장 패턴 번역 메모리로 단계적으로 구성된다. 구조화된 번역 메모리를 적용하기 전의 2010년의 영한 메신저 자동 번역 시스템의 번역률이 81.67%였던 반면에, 구조화된 번역 메모리를 적용하려는 2011년의 영한 메신저 자동 번역 시스템의 시물레이션 번역률은 85.25%인 것으로 평가되었다. 따라서 구조화된 번역 메모리를 적용하였을 때는 기존의 번역률보다 3.58% 향상할 것으로 예측된다.

Data Deduplication Method using Locality-based Chunking policy for SSD-based Server Storages (SSD 기반 서버급 스토리지를 위한 지역성 기반 청킹 정책을 이용한 데이터 중복 제거 기법)

  • Lee, Seung-Kyu;Kim, Ju-Kyeong;Kim, Deok-Hwan
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.50 no.2
    • /
    • pp.143-151
    • /
    • 2013
  • NAND flash-based SSDs (Solid State Drive) have advantages of fast input/output performance and low power consumption so that they could be widely used as storages on tablet, desktop PC, smart-phone, and server. But, SSD has the disadvantage of wear-leveling due to increase of the number of writes. In order to improve the lifespan of the SSD, a variety of data deduplication techniques have been introduced. General fixed-size splitting method allocates fixed size of chunk without considering locality of data so that it may execute unnecessary chunking and hash key generation, and variable-size splitting method occurs excessive operation since it compares data byte-by-byte for deduplication. This paper proposes adaptive chunking method based on application locality and file name locality of written data in SSD-based server storage. The proposed method split data into 4KB or 64KB chunks adaptively according to application locality and file name locality of duplicated data so that it can reduce the overhead of chunking and hash key generation and prevent duplicated data writing. The experimental results show that the proposed method can enhance write performance, reduce power consumption and operation time compared to existing variable-size splitting method and fixed size splitting method using 4KB.

Parallel Rabin Fingerprinting on GPGPU for Efficient Data Deduplication (효율적인 데이터 중복제거를 위한 GPGPU 병렬 라빈 핑거프린팅)

  • Ma, Jeonghyeon;Park, Sejin;Park, Chanik
    • Journal of KIISE
    • /
    • v.41 no.9
    • /
    • pp.611-616
    • /
    • 2014
  • Rabin fingerprinting used for chunking requires the largest amount computation time in data deduplication, In this paper, therefore, we proposed parallel Rabin fingerprinting on GPGPU for efficient data deduplication. In addition, for efficient parallelism in Rabin fingerprinting, four issues are considered. Firstly, when dividing input data stream into data sections, we consider the data located near the boundaries between data sections to calculate Rabin fingerprint continuously. Secondly, we consider exploiting the characteristics of Rabin fingerprinting for efficient operation. Thirdly, we consider the chunk boundaries which can be changed compared to sequential Rabin fingerprinting when adapting parallel Rabin fingerprinting. Finally, we consider optimizing GPGPU memory access. Parallel Rabin fingerprinting on GPGPU shows 16 times and 5.3 times better performance compared to sequential Rabin fingerprinting on CPU and compared to parallel Rabin fingerprinting on CPU, respectively. These throughput improvement of Rabin fingerprinting can lead to total performance improvement of data deduplication.

Design of Adaptive Deduplication Algorithm Based on File Type and Size (파일 유형과 크기에 따른 적응형 중복 제거 알고리즘 설계)

  • Hwang, In-Cheol;Kwon, Oh-Young
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.2
    • /
    • pp.149-157
    • /
    • 2020
  • Today, due to the large amount of data duplication caused by the increase in user data, various deduplication studies have been conducted. However, research on personal storage is relatively poor. Personal storage, unlike high-performance computers, needs to perform deduplication while reducing CPU and memory resource usage. In this paper, we propose an adaptive algorithm that selectively applies fixed size chunking (FSC) and whole file chunking (WFH) according to the file type and size in order to maintain the deduplication rate and reduce the load in personal storage. We propose an algorithm for minimization. The experimental results show that the proposed file system has more than 1.3 times slower at first write operation but less than 3 times reducing in memory usage compare to LessFS and it is 2.5 times faster at rewrite operation.

A CPU-GPGPU Based Multithread File Chunking System (CPU-GPGPU 를 기반으로 멀티스레드 파일청킹 시스템)

  • Tang, Zhi;Won, You-Jip
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.336-337
    • /
    • 2011
  • The popularity of general purpose GPU(GPGPU)makes the CPU-GPGPU heterogeneous architecture normal. Therefore, tradeoff the usage of CPU and GPGPU becomes a way to improve performance of programs. In this work, we exploit the properties of the CPU-GPGPU heterogeneous architecture and use them to accelerate the content based chunking operation of deduplication. We built a prototype system which is able to coordinate CPU and GPGPU to chunk file and has been proven to have a better performance compared to using either CPU or GPGPU alone.

Expert-novice differences in visual information processing in air traffic control (항공관제 전문가와 훈련관제사의 시각정보처리 차이)

  • Kwon, Hyok-Jin;Ham, Seong-Soo;Kim, Hye-Jeong;Han, Jung-Won;Sohn, Young-Woo
    • Journal of the Korean Society for Aviation and Aeronautics
    • /
    • v.18 no.1
    • /
    • pp.72-82
    • /
    • 2010
  • This study investigated how air traffic controllers (ATCs) perceive the visual information on radar screen and examined quantitative and qualitative differences as a function of expertise. Little research has shown that how much information is processed by ATC visually and perceptually, how ATCs represent the information, and what difference exists between experts and novices. Participants were asked to draw representing visual information on the blank sector map after a 5-second exposure. Data were analyzed by a superimposing method to identify correctly represented information. Results showed that the expert group had much larger size of chunking and their pattern was wider and more accurate than the novice group. The practical application and methodological implications are also discussed for further research.

Reference Resolution for Ontology Population (온톨로지 인스턴스 생성을 위한 상호참조 해결 연구)

  • Choi, Miran;Lee, Changki;Wang, Jihyun;Jang, Muyng-Gil
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.140-144
    • /
    • 2007
  • 시맨틱 웹 기술의 주축을 이루는 온톨로지의 구축시에 인스턴스를 생성하기 위하여 대상 문서를 구성하는 자연어 문장을 텍스트 마이닝 기술을 이용하여 트리플을 추출한다. 인스턴스를 생성할 때 보다 많은 정보를 추출하기 위해서 문장에 나타나는 상호참조 해결이 필요하다. 본 연구에서는 문서에서 많이 나타나는 명사구로 이루어진 대용어를 해석하기 위하여 언어 분석된 다양한 결과 정보를 이용한다. 본 연구에서는 계층적인 의미구조와 청킹을 이용한 규칙기반의 상호참조 해결 방법을 제안하고 실험을 통해 알고리즘의 정확도를 제시한다.

  • PDF

Extracting Multi-type Elements Consisting of Multi-words from Sentences (문장으로부터 여러 단어로 구성된 여러 유형의 요소 추출)

  • Yang, Seon;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.73-77
    • /
    • 2014
  • 문장을 대상으로 특정 응용 분야에 필요한 요소를 자동으로 추출하는 정보 추출(information extraction) 과제는 자연어 처리 및 텍스트 마이닝의 중요한 과제 중 하나이다. 특히 추출해야할 요소가 한 단어가 아닌 여러 단어로 구성된 경우 추출 과정에서 고려되어야할 부분이 크게 증가한다. 또한 추출 대상이 되는 요소의 유형 또한 여러 가지인데, 감정 분석 분야를 예로 들면 화자, 객체, 속성 등 여러 유형의 요소에 대한 분석이 필요하며, 비교 마이닝 분야를 예로 들면 비교 주체, 비교 상대, 비교 술어 등의 요소에 대한 분석이 필요하다. 본 논문에서는 각각 여러 단어로 구성될 수 있는 여러 유형의 요소를 동시에 추출하는 방법을 제안한다. 제안 방법은 구현이 매우 간단하다는 장점을 가지는데, 필요한 과정은 형태소 부착과 변환 기반 학습(transformation-based learning) 두 가지이며, 파싱 혹은 청킹 같은 별도의 전처리 과정도 거치지 않는다. 평가를 위해 제안 방법을 적용하여 비교 마이닝을 수행하였는데, 비교 문장으로부터 각자 여러 단어로 구성될 수 있는 세 가지 유형의 비교 요소를 자동 추출하였으며, 실험 결과 정확도 84.33%의 우수한 성능을 산출하였다.

  • PDF

Semi-Automatic Dialog Act Annotation based on Dialog Patterns (대화 패턴 기반 대화 의도 반자동 부착 방법)

  • Choi, Sung-Kwon;Jeong, Sang-Gun;Kim, Young-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1298-1301
    • /
    • 2013
  • 대화 시스템에서 올바른 대화를 진행하기 위해서는 화자의 대화 의도를 파악하는 것이 중요하다. 특히 영어를 교육하기 위한 영어 교육용 대화 시스템에서는 학습자의 대화 의도 파악 오류가 발생할 경우 영어 교육에 문제가 발생하기 때문에 학습자의 대화 의도를 더욱 정확하게 분석 및 파악하는 것이 중요하다. 대화 패턴이란 시스템 발화에 대응되는 사용자 발화의 규칙적인 연쇄라고 할 수 있다. 대화 패턴 기반 대화 의도 부착 방법은 1) 대화 코퍼스 구축 2) 대화 시나리오에 있는 발화를 대상으로 기본 명사구 청킹(Base NP Chunking)을 하고 중심어(Head Word), 토픽 추적(Topic Tracking)에 의한 대화 패턴을 자동으로 추출한 후, 3) 대화 패턴 수동 검수이다. 대화 패턴 기반 대화 의도 부착 방법은 기본 명사구에 대한 지식만 가지고 있으면 대량으로 구축할 수 있다는 장점이 있다. 99 개의 대화 시나리오를 학습코퍼스로 하고 1 개의 대화 시나리오에 대해 대화턴 성공률을 시물레이션 한 결과 63.64%가 나왔다.