• 제목/요약/키워드: 병렬 방법

검색결과 1,839건 처리시간 0.028초

A Solution to The Data Dependency Problem from the Big Data on Parallel Distributed Systems (병렬 분산 시스템에서 대용량 데이터의 의존성 해결을 위한 방법)

  • Kim, Hyun-Jun;Kim, Tae-Won;Kim, Joon-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.163-165
    • /
    • 2012
  • 본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.

Design of Parallel CBF(Cel1-Based Filtering) Scheme using Horizontal1y-Partitioned Method (수평 분할 방법을 이용한 병렬 CBF(Cell-Based Filtering) 기법의 설계)

  • 김남기;장재우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.70-72
    • /
    • 2001
  • 기존의 CBF 기법은 데이타의 차원이 증가함에 따라 검색 성능이 급격히 저하되는 ‘Dimensional Curse’문제를 해결하기 위해 제안되었다. 그러나, 데이타의 양이 증가하고 차원이 증가할수록 검색 성능이 선형적인 감소를 보인다. 따라서, 본 논문에서는 CBF 기법의 성능 향상을 위해 멀티 디스크 환경을 기반으로 하는 병렬 CBF 기법을 제안한다. 제안하는 병렬 CBF 기법은 멀티 디스크 환경하에서 CBF가 지니는 특성을 이용하여 시그니쳐와 특징 벡터 데이타의 수평 분할 방법을 사용한다. 이를 통해, 제안하는 기법은 디스크 개수에 비례하여 선형적인 검색성능 향상을 가져온다.

  • PDF

Implementation of Networked Virtual Environment by Using Effective Java Multi-Thread Parallelism (효과적인 자바 다중 쓰레드 병렬처리를 이용한 네트워크 가상환경의 구현)

  • Kim, Woo-Yeal;Park, Jong-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.829-832
    • /
    • 2004
  • 대단위(large-scale) 가상현실 시스템이나 가상현실 시스템의 구성요소가 네트워크(일반적인 통신망)를 통하여 분산되어 있는 경우를 네트워크 가상현실 시스템(Net-VE : Networked Virtual Environment)이라 한다. 가상현실의 환경을 분산 처리하는 경우 가상현실 시각의 공유방법, 분산시스템의 구성방법, 저속 혹은 고속통신망을 통한 대량의 데이터를 전송하는 방법, 가상현실 내의 이용자의 상호작용 방법, 데이터 공유방법, 분산처리 방법 등 가상현실 기술에 부가하여 통신망기술, 프로토콜 공학, 분산 처리기술 등 다양한 주변 기술이 필요하다. 따라서 본 논문에서는 더 유연성 있고 모듈러한 네트워크 가상 환경을 구축하는데 있어 효율적인 객체 지향 프로그래밍 기술인 자바의 다중 쓰레드 병렬처리 기법을 사용하고자 한다. 자바의 쓰레드 구조를 사용함으로써 네트워크 가상환경에서 여러 클라이언트에서 요청하는 데이터를 네트워크를 통한 지연에 대한 효과적인 대안으로서 자바의 다중 쓰레드 병렬처리 기법을 제안하고자 한다.

  • PDF

Implementation and analysis of a parallel suffix tree construction algorithm using TBB and Cilk Plus (TBB, Cilk Plus를 이용한 병렬 접미사 트리 생성 알고리즘 구현 및 성능 분석)

  • Seo, Jun-Ho;Na, Joong-Chae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.403-405
    • /
    • 2012
  • 접미사 트리는 문자열 압축, 텍스트 처리, 생물정보학 등 다양한 응용 분야에서 사용되는 인덱스 자료구조이다. 최근 64bit 하드웨어와 멀티코어 CPU가 보급됨에 따라 메모리상에서 병렬로 접미사 트리를 생성하는 알고리즘이 활발히 연구되고 있다. 본 논문에서는 McCreight의 선형시간 알고리즘과 Chen의 병렬 알고리즘을 기반으로 메모리상에서 접미사 트리를 병렬로 생성하는 구현 방법을 보였으며, TBB, Cilk Plus와 같은 병렬 프로그래밍 라이브러리를 이용하여 병렬 알고리즘을 구현하였다. 알고리즘 실험 결과 병렬로 수행한 알고리즘이 직렬로 수행한 결과보다 최대 4배 가량 성능 향상을 얻을 수 있었으며, 병렬 라이브러리를 사용함으로써 가지는 오버헤드는 극히 적은 것으로 나타났다.

Design and Implementation of Parallelized Linked List Class Library using Pthread Library (Pthread 라이브러리를 이용한 Linked List 병렬화 클래스 라이브러리의 설계 및 구현)

  • 김홍숙;한동수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.780-782
    • /
    • 1999
  • 병렬 프로세서 시스템이 제고하는 하드웨어적인 장점을 이용하기 위해서는 병렬 프로그래밍을 통한 애플리케이션의 병렬화가 필요하다. 기존의 순차적 코드의 경우에 자동 병렬화 컴파일러 기법을 통하여 병렬 프로세서시스템이 제공하는 성능을 극대화하고 있다. 그러나 자동병렬화는 과학 기술 계산용 코드와 같은 정형성을 지닌 코드에서는 유용하지만 비즈니스 응용에서 사용되는 동적인 자료구조를 사용하는 코드에서는 포인터에 의한 별명과 이에 따른 의존성 분석에 어려움으로 인해 많이 응용되고 있지는 못하다. 본 논문은 병렬 프로세서 시스템이 제공하는 기능을 이용하기 위한 한 방법으로 비즈니스 응용에서 많이 사용되는 동적인 자료 구조 중 linked list 클래스 라이브러리의 설계와 구현에 대하여 기술한다.

  • PDF

Automatic Generation of Training Data for Korean Speech Recognition Post-Processor (한국어 음성인식 후처리기를 위한 학습 데이터 자동 생성 방안)

  • Seonmin Koo;Chanjun Park;Hyeonseok Moon;Jaehyung Seo;Sugyeong Eo;Yuna Hur;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.465-469
    • /
    • 2022
  • 자동 음성 인식 (Automatic Speech Recognition) 기술이 발달함에 따라 자동 음성 인식 시스템의 성능을 높이기 위한 방법 중 하나로 자동 후처리기 연구(automatic post-processor)가 진행되어 왔다. 후처리기를 훈련시키기 위해서는 오류 유형이 포함되어 있는 병렬 말뭉치가 필요하다. 이를 만드는 간단한 방법 중 하나는 정답 문장에 오류를 삽입하여 오류 문장을 생성하여 pseudo 병렬 말뭉치를 만드는 것이다. 하지만 이는 실제적인 오류가 아닐 가능성이 존재한다. 이를 완화시키기 위하여 Back TranScription (BTS)을 이용하여 후처리기 모델 훈련을 위한 병렬 말뭉치를 생성하는 방법론이 존재한다. 그러나 해당 방법론으로 생성 할 경우 노이즈가 적을 수 있다는 관점이 존재하다. 이에 본 연구에서는 BTS 방법론과 인위적으로 노이즈 강도를 추가한 방법론 간의 성능을 비교한다. 이를 통해 BTS의 정량적 성능이 가장 높은 것을 확인했을 뿐만 아니라 정성적 분석을 통해 BTS 방법론을 활용하였을 때 실제 음성 인식 상황에서 발생할 수 있는 실제적인 오류를 더 많이 포함하여 병렬 말뭉치를 생성할 수 있음을 보여준다.

  • PDF

A Study of Energy Harvester Using a Parallel SSHI Method (병렬 SSHI 기법을 이용한 에너지 하베스터 연구)

  • An, Hyunsung;Cha, Hanju
    • Proceedings of the KIPE Conference
    • /
    • 전력전자학회 2016년도 전력전자학술대회 논문집
    • /
    • pp.463-464
    • /
    • 2016
  • 본 논문은 압전소자 발전기를 이용하여 하베스팅 에너지 발전량을 증대시키기 위한 에너지 하베스팅 방법을 제안하였다. 기존의 풀브리지 정류기만을 이용한 standard DC 방법에 압전소자와 병렬로 공진을 위한 인덕터와 MOSFET를 연결하여 parallel SSHI 회로를 구성하였으며, 또한 변위센서와 비교기를 통해 스위치 시점을 결정한다. 시뮬레이션 분석을 위해 압전발전기를 등가회로로 모델링하였으며, standard DC방법과 parallel SSHI 방법의 성능을 비교하여 parallel SSHI 방법이 standard DC 방법보다 약 13%의 전력이 증대된 것을 확인 하였다.

  • PDF

Multistage Parallel Nulling-Partial PIC Receiver for Downlink MIMO MC-CDMA Systems (하향링크 다중 안테나 MC-CDMA 시스템을 위한 다단계 병렬 널링 및 병렬 부분 간섭 제거 수신기 설계)

  • 구정회;김경연;심세준;이충용
    • Journal of the Institute of Electronics Engineers of Korea TC
    • /
    • 제41권11호
    • /
    • pp.1-7
    • /
    • 2004
  • We propose multistage parallel nulling (MPN) partial parallel interference cancellation (PPIC) receiver for downlink multiple-input multiple-output (MIMO) multicarrier (MC)-code division multiple access (CDMA) systems. Though the V-BLAST is a popular MIMO receiver, it shows error floor for multiuser downlink MIMO MC-CDMA systems. The proposed MPN-PPIC receiver does not produce error floor for multiuser case, and achieves substantial performance gains with multistage processing. For single user case, the proposed method also surpasses the V-BLAST receiver with multistage processing for MIMO MC-CDMA systems with chip level interleaving. The system performance of the proposed MPN-PPIC receiver is evaluated through computer simulations.

Method for Detecting Errors of Korean-Chinese MT Using Parallel Corpus (병렬 코퍼스를 이용한 한중 기계번역 오류 탐지 방법)

  • Jin, Yun;Kim, Young-Kil
    • Annual Conference on Human and Language Technology
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.113-117
    • /
    • 2008
  • 본 논문에서는 패턴기반 자동번역시스템의 효율적인 번역 성능 향상을 위해 병렬 코퍼스(parallel corpus)를 이용한 오류 자동 탐지 방법을 제안하고자 한다. 번역시스템에 존재하는 대부분 오류는 크게 지식 오류와 엔진 오류로 나눌 수 있는데 통상 이런 오류는 이중 언어가 가능한 훈련된 언어학자가 대량의 자동번역 된 결과 문장을 읽음으로써 오류를 탐지하고 분석하여 번역 지식을 수정/확장하거나 또는 엔진을 개선하게 된다. 하지만, 이런 작업은 많은 시간과 노력을 필요로 하게 된다. 따라서 본 논문에서는 병렬 코퍼스 중의 목적 언어(Target Language) 문장 즉, 정답 문장과 자동번역 된 결과 문장을 다양한 방법으로 비교하면서 번역시스템에 존재하고 있는 지식 및 엔진 오류를 자동으로 탐지하는 방법을 제안한다. 제안한 방법은 한-중 자동번역시스템에 적용하여 그 정확률과 재현률을 측정하였으며, 자동적으로 오류를 탐지하여 추출 할 수 있음을 증명하였다.

  • PDF

Implementation of a Parallel Web Crawler for the Odysseus Large-Scale Search Engine (오디세우스 대용량 검색 엔진을 위한 병렬 웹 크롤러의 구현)

  • Shin, Eun-Jeong;Kim, Yi-Reun;Heo, Jun-Seok;Whang, Kyu-Young
    • Journal of KIISE:Computing Practices and Letters
    • /
    • 제14권6호
    • /
    • pp.567-581
    • /
    • 2008
  • As the size of the web is growing explosively, search engines are becoming increasingly important as the primary means to retrieve information from the Internet. A search engine periodically downloads web pages and stores them in the database to provide readers with up-to-date search results. The web crawler is a program that downloads and stores web pages for this purpose. A large-scale search engines uses a parallel web crawler to retrieve the collection of web pages maximizing the download rate. However, the service architecture or experimental analysis of parallel web crawlers has not been fully discussed in the literature. In this paper, we propose an architecture of the parallel web crawler and discuss implementation issues in detail. The proposed parallel web crawler is based on the coordinator/agent model using multiple machines to download web pages in parallel. The coordinator/agent model consists of multiple agent machines to collect web pages and a single coordinator machine to manage them. The parallel web crawler consists of three components: a crawling module for collecting web pages, a converting module for transforming the web pages into a database-friendly format, a ranking module for rating web pages based on their relative importance. We explain each component of the parallel web crawler and implementation methods in detail. Finally, we conduct extensive experiments to analyze the effectiveness of the parallel web crawler. The experimental results clarify the merit of our architecture in that the proposed parallel web crawler is scalable to the number of web pages to crawl and the number of machines used.