• 제목/요약/키워드: 분산 컴퓨팅 시스템

검색결과 761건 처리시간 0.028초

하둡 분산파일시스템에서 안전한 쓰기, 읽기 모델과 평가 (A Secure Model for Reading and Writing in Hadoop Distributed File System and its Evaluation)

  • 방세중;나일균;김양우
    • 인터넷정보학회논문지
    • /
    • 제13권5호
    • /
    • pp.55-64
    • /
    • 2012
  • 요즘 클라우드 컴퓨팅이 활성화됨에 따라 분산파일시스템의 요구가 증대되고 있지만 클라우드 컴퓨팅 환경에서 민감한 개인정보의 악용을 방지하는 분산파일시스템의 프레임은 아직 없다. 그래서 이 논문에서는 비밀분산 방법을 이용하여 분산파일시스템을 위한 안전한 쓰기/읽기 모델을 제시하였다. 이 모델은 비밀분산 방법을 사용하여 분산파일시스템의 기밀성뿐만 아니라 가용성도 보장한다. 또 제안한 방법으로 비밀 분산, 복구를 실행하였고 이를 대표적 암호화 알고리즘인 SEED 알고리즘에 의한 것과 비교를 함으로써 제시한 방법의 우수성을 보였다. 이와 더불어 이 방법이 하둡 분산파일시스템에 쉽게 이식될 수 있도록 하둡 분산파일시스템의 구조에 의존적이지 않은 쓰기/읽기 모델을 제안하였으며, 비밀분산모델의 성능측정방법으로 제안모델에 대한 이론적 평가를 실시하였다.

CFD 프로그램 수행을 위한 그리드 컴퓨팅 기반의 메타컴퓨팅 시스템 (Metacomputing System on Grid Computing for Executing CFD Programs)

  • 이건우;우균;강경우;권오경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.463-467
    • /
    • 2007
  • CFD(Computational Fluid Dynamics)는 수치 기법(Numerical)과 알고리즘을 사용하여 유체 유동 문제를 풀고 해석하는 것이다. 본 논문에서는 이러한 CFD 분석 프로그램의 효율적인 수행을 위해 분산 환경을 기반으로 하는 메타컴퓨팅(Metacomputing) 시스템에 대해서 기술한다. 실제 CFD 프로그램을 단일 클러스터 시스템에서 수행시켰을 때와 메타컴퓨팅 시스템을 이용하여 수행시켰을 때 소요되는 시간과 결과 파일을 실험을 통하여 비교한다. 그 결과 메타컴퓨팅 시스템을 이용하여 CFD 분석 프로그램을 분산 수행시킨 경우는 그렇지 않은 경우에 소요되는 시간보다 평균 $15.3{\sim}38.5%$ 정도 빨랐고, 동일한 결과를 얻을 수 있음을 확인하였다.

  • PDF

P2P 파일 공유 환경에서 협업시스템 설계 (The Design of Collaborative System in a P2P File Sharing Environment)

  • 구희관;김운용;정계동;최영근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.448-450
    • /
    • 2003
  • P2P 환경의 파일 공유 서비스는 많은 사용자들에 의해 널리 이용됨으로써 거대한 분산 컴퓨팅 환경으로 이끌어 낸다. 이것은 기존의 파일 공유 서비스 이외에 프로세스 공유 측면에서도 좋은 환경을 제공할 수 있다. 이에 본 논문에서는 P2P의 파일 공유 서비스 사용 형태를 기반으로 프로세스 공유를 위한 협업시스템을 설계한다. 제시된 시스템은 P2P에서 발생가능한 Peer들간의 집중현상을 간접적으로 줄이고 다수의 Peef들 간의 분산된 컴퓨팅 능력을 제공함으로써 기존 파일 공유 환경에 효율적인 분산환경을 제공할 수 있다.

  • PDF

하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법 (A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System)

  • 유상현;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

웹 유휴자원을 이용한 자율적 분산 컴퓨팅 환경 (Autonomous Distributed Computing Environment Using Web idle resource)

  • 이기준;정채영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.629-632
    • /
    • 2000
  • 본 연구에서는 인터넷에 연결된 유휴자원을 자율적으로 묶어 하나의 분산시스템을 구축하고 이를 이용하여 사용자에게 병렬 프로그램밍 시스템을 설계, 구현하는 방법에 관하여 기술하였다. 제안된 자율적 웹 분산 컴퓨팅 환경은 인터넷 컴퓨팅 구축에 있어서 필수적인 동적자원의 중계, 작업의 분배방법을 제시한다. 또한 제안된 시스템 구축방안은 지니 기술을 이용함으로써 자율적 웹 분산환경구축이 가능하였고 실험을 통하여 인터넷의 유휴자원을 이용함으로써 적은 비용으로 높은 생산성을 얻을 수 있는 가능성을 제시하였다.

  • PDF

Mobile-Grid : 확장된 가상환경에서의 협업을 위한 미들웨어 설계 (Mobile-Grid : Middleware for Collaboration In Extended Virtual Environment)

  • 강수연;임익진;이승룡
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
    • /
    • pp.617-619
    • /
    • 2003
  • Grid는 고성능의 프로세스와 네트워크의 발전으로 인한 분산 컴퓨팅 환경에서의 이기종성을 극복하고, 대규모의 자원 및 데이터를 관리하고, 고속의 연산 수행이 가능한 시스템 개발을 가능하게 하였다. 또한, 현재 국가 및 대학 연구소를 중심으로 가상 환경에서의 협업 및 정보 공유가 가능한 가상 조직을 구축을 목표로 하고 있다. Grid는 고정된 분산 시스템을 기반으로 연구되고 있으며, 현재 컴퓨팅 환경의 변화의 축인 이동성을 고려하지 않고 있다. 경량화 된 프로세스는 이동기기의 대중화를 가져왔으며, 무선 네트워크의 저가화로 인해 무선 인터넷을 통한 컨텐츠 및 어플리케이션의 사용이 범람하게 되었다. 컴퓨팅 자원들의 산재와 이동성의 부여 둥의 컴퓨팅 환경의 변화는 사용자 중심의 컴퓨터 패러다임을 낳았으며, Grid 환경의 계속적인 발전을 위해서는 이러한 변화 수용이 필수적이다. 또한 변화된 컴퓨팅 환경에서의 사용자의 요구사항들에 대한 Grid 컴퓨팅 환경의 적용에 관한 많은 문제점들이 제시되고 있다. 본 논문에서는 이러한 관점을 고려하여 이동 컴퓨팅 환경의 인프라들을 기반으로 기존의 Grid 컴퓨팅과의 연동을 고려하여 적응성 및 재구성이 가능한 Mobile-Grid 아키텍처를 제시하고, 가상 조직 내에서 확장성, 유연성, 호환성, 개방성 둥의 특징을 가지는 Mobile-Grid의 미들웨어를 제안한다.

  • PDF

IBM Aglets를 기반으로 하는 가상 병렬 컴퓨팅 시스템에서 작업 할당 기법과 성능 비교 (Work Allocation Methods and Performance Comparisons on the Virtual Parallel Computing System based on the IBM Aglets)

  • 김경하;김영학;오길호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권4호
    • /
    • pp.411-422
    • /
    • 2002
  • 최근에 다중 에이전트를 기반으로 하는 가상 병렬 컴퓨팅 시스템에 관한 적극적인 연구가 이루어지고 있다. 가상 병렬 컴퓨팅 시스템은 많은 계산을 요구하는 복잡한 문제들을 해결하기 위해 고비용수퍼 컴퓨터를 사용하는 대신에, 인터넷상에 산재되어 있는 개인용 컴퓨터 혹은 워크스테이션을 사용한다. 가상 병렬 컴퓨팅 시스템은 인터넷상에 이용 가능한 자원에 의존하여 동질 혹은 이질형의 컴퓨터들로 구성될 수 있다. 본 논문에서는 IBM Aglets를 기반으로 하는 가상 병렬 컴퓨팅 환경에서 작업자 에이전트와 작업 패키지를 효율적으로 분산하는 새로운 방법을 제안한다. 기존의 방법들은 작업자 에이전트와 작업 패키지를 분산하기 위해서 주로 마스터/슬레이브 유형을 사용한다. 그러나 이러한 방법에서 에이전트의 수가 증가하게되면 중앙 마스터에서 작업부하가 급속하게 증가된다. 이러한 문제에 대한 해결로서 본 논문에서는 작업자 에이전트와 작업 패키지의 분산을 작업자 에이전트에게 위임하는 방법을 사용한다. 제안된 방법은 가상 병렬 컴퓨팅 시스템에서 다양한 방식으로 평가되었으며, 그 결과는 기존의 방법에 비해서 괄목할 만한 수준으로 개선되었다.

클라우드 서비스를 위한 고가용성 대용량 데이터 처리 아키텍쳐 (Implementation of Data processing of the High Availability for Software Architecture of the Cloud Computing)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권2호
    • /
    • pp.32-43
    • /
    • 2013
  • 최근 많은 기관들로부터 클라우드 서비스가 향후 대세적인 IT서비스로의 확고한 기술로서 예견하고 있고, 실질적으로 IT를 리딩하는 많은 벤더 기업들을 주축으로 실질적인 클라우드 서비스를 제공 하고 있다. 따라서 클라우드 사용자는 서비스의 물리적인 위치나, 시스템 환경과 같은 부분들을 관여하지 않고, 스토리지 서비스, 데이터의 사용, 소프트웨어의 사용들을 제공하는 획기적인 서비스로 거듭나고 있다. 한편, 클라우드 컴퓨팅 기술들은 인프라스트럭처에서 요구되는 서비스의 수준, 다양한 시스템에서 요구되는 하드웨어적인 문제들을 벗어서 자유스럽게 원하는 만큼의 IT 리소스를 쉽게 사용할 수 있는 장점을 가지고 있지만, 고가용성 측면에서 반드시 기술적인 해결 방안을 모색하여야 한다. 따라서 본 논문 에서는 고가용성 측면에서의 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템을 통한 분산처리 기술을 참고하여 고가용성 대용량 분산 데이터 처리 아키텍처를 클라우드 서비스 측면에서 구현하였다.

클라우드 스토리지를 위한 오픈 소스 기반 분산 파일 시스템의 성능 평가 (Performance Evaluation of Open Source Based Distributed File System for Cloud Storage)

  • 이세호;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.185-187
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 기술은 기존의 서버, 데스크톱 컴퓨팅 환경을 빠르게 변화시키며, 차세대 인터넷 서비스의 핵심 분야로 부각되고 있다. 클라우드 컴퓨팅 기술 중 특히 저비용, 안정성, 확장성, 무결성 그리고 보안성을 가지고 있는 클라우드 스토리지 서비스가 각광 받고 있다. 이에 본 논문은 클라우드 스토리지 기반 기술인 분산 파일 시스템에 관해서 살펴보고, 오픈소스 기반의 분산 파일 시스템인 MooseFS, XtreemFS, GlusterFS, Ceph 등을 이용하여 시스템 구축 및 성능 측정을 수행 하였다. 수행결과 Postmark에서는 GlusterFS, MD5SUM에서는 XtreemFS가 가장 좋은 성능을 보여주었다.

Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경 대용량 이미지 머신러닝 시스템 (Image Machine Learning System using Apache Spark and OpenCV on Distributed Cluster)

  • 김하윤;김원집;이협건;김영운
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.33-34
    • /
    • 2023
  • 성장하는 빅 데이터 시장과 빅 데이터 수의 기하급수적인 증가는 기존 컴퓨팅 환경에서 데이터 처리의 어려움을 야기한다. 특히 이미지 데이터 처리 속도는 데이터양이 많을수록 현저하게 느려진다. 이에 본 논문에서는 Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경의 대용량 이미지 머신러닝 시스템을 제안한다. 제안하는 시스템은 Apache Spark를 통해 분산 클러스터를 구성하며, OpenCV의 이미지 처리 알고리즘과 Spark MLlib의 머신러닝 알고리즘을 활용하여 작업을 수행한다. 제안하는 시스템을 통해 본 논문은 대용량 이미지 데이터 처리 및 머신러닝 작업 속도 향상 방법을 제시한다.