• 제목/요약/키워드: 분산 병렬처리

검색결과 411건 처리시간 0.044초

고성능, 고확장성 빅데이터 분석 플랫폼 (High-performance and Highly Scalable Big Data Analysis Platform)

  • 박경석;유찬희;김유선;엄정호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

효율적인 병렬처리 프로그램 방식에 관한 연구 (A Study on Efficient Parallel Programming)

  • 윤상혁;김영태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.67-69
    • /
    • 2016
  • 분산 병렬 프로그램의 성능을 향상시키기 위하여 분산 컴퓨터에서는 메시지 전송 방식(MPI)을 사용하고 독립적인 컴퓨터 내에서는 OpenMP를 사용하여 성능을 향상시키는 혼합형 병렬 방식이 많이 사용되고 있다. 본 논문에서는 OpenMP방식과 MPI 방식을 혼용하는 방식을 순수 MPI만 사용하는 방식과 비교하여 성능을 분석하였다. 성능 분석 결과, MPI만을 사용하는 방식의 성능이 효율적임을 보여주었다.

Spark 기반의 분산 병렬 DNA 중복제거 방법 (Spark-based Distributed and Parallel DNA Deduplication Method)

  • 문지혜;이현병;송석일
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.313-314
    • /
    • 2017
  • 이 논문에서는 DNA 분석단계 중 하나인 DNA 리드(Read)에 대한 중복제거 방법을 분산 병렬처리 기법을 적용하여 가속화하는 방법을 제안한다. 기존 제안된 중복제거 기법을 Spark을 기반으로 병렬처리 되도록 하는 접근방법을 취한다. 제안하는 기법은 실험을 통해서 기존 중복제거 기법과 비교하여 성능을 입증한다.

  • PDF

PDSWeb: Intranet에서 분산 병렬 처리 스킴의 성능평가 (PDSWeb: Performance Evaluation of Distributed Parallel Processing Scheme on the Intranet)

  • 송은하;정영식
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 추계학술발표논문집
    • /
    • pp.378-383
    • /
    • 2001
  • Intranet 환경에 다수의 유휴 호스트를 이용하여 많은 계산량을 지닌 응용 문제를 분산시켜 병렬 수행함으로써 효율성의 향상이 기대된다. 하지만 유휴 호스트를 이용하는데 있어서 이질성과 가변성 및 자율성으로 인해 요청에 대한 신뢰성을 예측하기가 어렵다. 본 논문에서는 태스크 할당 및 호스트 관리에 있어서 부하 균등을 위한 동적 분산 병렬 스킴인 적응적 태스크 재할당 기법을 제시한다. 또한, 이미지 랜더링 생성과 프랙탈 이미지 처리와 같은 많은 연산량을 지닌 응용 문제를 PDSWeb 시스템에 적용하여 제안 알고리즘의 성능을 분석하고 평가한다.

  • PDF

대용량 데이터의 분산/병렬 가시화를 위한 응용 독립적 가시화 프로토콜 (Application Independent Network Protocol for Distributed and Parallel Visualization)

  • 김민아
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.126-129
    • /
    • 2011
  • 대용량 데이터의 분산/병렬 가시화를 위해서는 가시화 클라이언트와 서버 사이의 프로토콜이 필요하다. 기존 가시화 도구들은 개발 도구에 특화된 프로토콜을 사용하고 있으며, 이 때문에 클라이언트와 서버는 매우 tightly-coupled 되어 있다. 본 논문에서는 응용에 독립적인 분산/병렬 가시화를 위한 가시화 프로토콜을 설계하고 구현한다. 또한, 시변환 데이터의 효율적 가시화를 위해 animation을 구현할 수 있는 프리미티브를 설계하고 status machine으로 병렬 전송된 데이터들 간의 동기화를 구현한다. 이러한 응용 독립적 가시화 프로토콜을 도입함으로써 가시화는 병렬 분산 가시화를 수행하는 그리드의 서비스나 슈퍼컴퓨팅의 서비스로 확장될 수 있을 것이다.

자바를 위한 분산된 병렬 컴퓨팅 환경 (Distributed Parallel Computing Environment for Java)

  • 이상윤;김승호
    • 전자공학회논문지CI
    • /
    • 제41권6호
    • /
    • pp.23-37
    • /
    • 2004
  • 자바의 쓰레드는 다중 처리 환경에서 하나의 프로그램 공간 내의 독립적인 프로세스로 취급되는 객체 요소이므로 병렬처리를 위한 독립적인 프로세스로 활용할 수 있다. 또한, 자바의 동기화 메커니즘과 쓰레드를 활용하면 병렬 처리를 수행하는 응용프로그램을 쉽게 작성할 수 있다. 이에 따라, 자바의 병렬 처리 지원 기능을 분산된 컴퓨팅 환경에 적용하기 위한 많은 연구 결과가 있다. 본 논문에서는 레거시 자바 프로그램에 포함된 쓰레드를 분산된 컴퓨팅 환경에서 병렬 수행 하도록 지원하는 시스템 환경을 제안한다. TORB(Transparent Object Request Broker)라고 명명된 본 시스템은 프로그래밍 투명성을 지원하므로 이미 작성된 레거시 자바 프로그램을 간단한 변환 과정을 거친 후 병렬 수행 하도록 지원한다. TORB는 본 연구팀에서 이미 발표한 분산 프로그래밍 도구의 기능을 확장한 것이며, 이는 지정된 기능을 지정된 컴퓨터에서 수행하도록 지원하는 전형적인 분산처리 기능만을 보유하고 있었다.

아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화 (Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark)

  • 명노영;안범진;유헌창
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

웹 환경에서의 병렬/분산 처리를 위한 동적 호스트 관리 기법의 개발 (Development of the Dynamic Host Management Scheme for Parallel/Distributed Processing on the Web)

  • 송은하;정영식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권3호
    • /
    • pp.251-260
    • /
    • 2002
  • 웹에 존재하는 수많은 유휴상태 호스트들을 이용한 병렬/분산 처리는 대규모 응용문제에 대해 높은 가격 대 성능비를 가진다. 웹 환경에서 병렬/분산 처리를 위하여 호스트들의 이질성 및 가변성, 자율성, 지속적인 성능보장과 참여 호스트 수 변화 등 예측할 수 없는 상태에 대한 해결책을 제시하여야 한다. 본 논문은 지리적으로 떨어져 있는 참여 호스트들의 작업 처리를 성능에 기반하는 적응적 작업 재할당 전략을 제안한다. 또한, 대규모 응용문제의 병렬 처리 중에 호스트 수가 변하는 동적 환경에 대해 동적 호스트 관리 스킴을 제공한다. 본 논문에서는 PDSWeb (Parallel/Distributed Scheme on Web) 시스템을 구현하여, 많은 연산량을 지닌 랜더링 이미지 생성에 적용하여 평가한다. 그 결과 호스트의 가변성에 대해 적응적 작업 재할당은 최고 90%이상 향상하였으며. 호스트 추가와 삭제에 따른 성능 향상 정도를 보인다.

분산 메모리 다중 프로세서 상에서의 병렬 음성인식 (Parallel Speech Recognition on Distributed Memory Multiprocessors)

  • 윤지현;홍성태;정상화;김형순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.747-749
    • /
    • 1998
  • 본 논문에서는 음성과 자연언어의 통합처리를 위한 효과적인 병렬 계산 모델을 제안한다. 음소모델은 continuous HMM에 기반을 둔 문맥종속형 음소를 사용하며, 언어모델은 knowledge-based approach를 사용한다. 또한 계층구조의 지식베이스상에서 다수의 가설을 처리하기 위해 memory-based parsing기술을 사용하였다. 본 연구의 병렬 음성인식 알고리즘은 분산메모리 MIMD 구조의 다중 Transputer 시스템을 이용하여 구현되었다. 실험을 통하여 음성인식 과정에서 발생하는 speech-specific problem의 해를 제공하고 음성인식 시스템의 병렬화를 통하여 실시간 음성인식의 가능성을 보여준다.

  • PDF

다중 에이전트 시스템 기반의 병렬 계산을 위한 작업 할당 기법과 성능비교 (Task Allocation Methods and Performance Comparison for Parallel Computation Based on Multi-Agent System)

  • 김경하;김영학;오길호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.502-504
    • /
    • 2000
  • 최근 높은 컴퓨팅 파워를 요구하는 응용문제 처리를 위해 고 비용의 슈퍼컴퓨터 대신 인터넷상에 분산된 다수의 일반 컴퓨터들을 이용하는 병렬처리에 관한 연구가 진행되고 있다. 본 연구에서는 다중 에이전트 시스템을 기반으로 하여 이질적인 성능을 갖는 컴퓨터들을 병렬 컴퓨팅 환경으로 구성하고 각 호스트의 성능측정 결과에 따라 효율적으로 작업을 분산하는 기법을 제안한다. 또한 본 연구에서 제안한 방법을 다중 에이전트 시스템인 IBM의 AgletsTM을 사용하여 실험적으로 성능을 평가하고, 기존 연구와 비교한다.

  • PDF