• Title/Summary/Keyword: 데이터 분산

Search Result 3,169, Processing Time 0.065 seconds

Design and Implementation of Distributed XQuery Query Processor using Distributed ORDBMSs (분산 객체 관계 데이터베이스 시스템을 이용한 분산 XQuery 질의 처리기 설계 및 구현)

  • Lee, Jae-Min;Jang, Gun-Up;Hong, Eui-Kyeong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.55-59
    • /
    • 2007
  • 최근 컴퓨팅 환경은 인터넷 환경의 웹을 기반으로 한 분산 컴퓨팅 환경으로 변화하고 있다. 그에 따라 XML 문서의 사용과 XML 문서의 양이 급속하게 증가하였으며, 언제나 쉽게 필요한 XML 문서에 접근할 수 있어야 한다. 또한 다양한 형태로 분산 저장된 XML 문서에서 원하는 데이터를 추출하고 변환하며, 단편화된 XML 데이터를 통합하는 작업들이 필요하게 된다. 따라서 XML 문서를 분산 객체 관계 데이터베이스 시스템에 효율적으로 저장하는 시스템을 개발하고, 분산 저장된 XML 문서에서 사용자가 필요한 정보를 검색할 수 있도록 하기 위해 XQuery 질의어를 지원하는 연구가 필요하다. 본 논문에서는 분산 객체 관계 데이터베이스 시스템에 저장된 XML 데이터를 접근할 수 있도록 하기 위해 XPath를 분산 SQL로 변환하여 실행하는 분산 XPath 의 처리기를 확장하여 XQuery를 분산 SQL로 변환하여 실행하는 분산 XQuery 질의 처리기를 설계 및 구현하였다.

  • PDF

An Analysis and Comparison of Open Source Based Distributed File System for Cloud Environment (클라우드 환경의 오픈소스 기반 분산 파일 시스템 분석 및 비교)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.182-184
    • /
    • 2012
  • 클라우드 컴퓨팅이 많은 관심을 받고 발전하면서 여러 IT선도업체에서 클라우드 컴퓨팅 기술 개발에 많은 투자를 하고 있다. 이러한 클라우드 컴퓨팅 환경에서는 대부분의 데이터를 서버에 저장한다. 이러한 이유로 클라우드 환경에서 사용되는 파일 시스템은 기존의 파일 시스템 보다 많은 데이터를 저장하게 된다. 이에 따라 많은 데이터를 처리하기 위해서 클라우드 환경에서는 분산 파일 시스템 기술을 활용하고 있다. 또한 분산 파일 시스템은 네트워크상의 여러 스토리지 서버에 데이터가 분산되어 저장되기 때문에 데이터의 관리뿐만 아니라 성능, 장애 허용, 보안 등의 요구사항을 만족해야 한다. 본 논문에서는 XtreemFS, Ceph, GlusterFS, MooseFS 등의 분산 파일 시스템들을 기능적 측면에서 살펴보고, 각 분산 파일 시스템을 본 논문에서 제안하는 기능적 평가요소 측면에서 비교하고 평가한다.

High-Performance Secret Sharing Scheme based on XOR for Distributed Storage Server in Cloud Computing (클라우드 컴퓨팅의 분산저장서버를 고려한 XOR기반의 고성능 비밀분산 기법)

  • Kim, Su-Hyun;Hong, In-Sik;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.556-559
    • /
    • 2013
  • 클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 암호화하여 저장한다. 구글, 야후 등 글로벌 인터넷 서비스 업체들은 인터넷 서비스 플랫폼의 중요성을 인식하고 자체 연구 개발을 수행, 저가 상용 노드를 기반으로 한 대규모 클러스터 기반의 클라우드 컴퓨팅 플랫폼 기술을 개발 활용하고 있다. 이와 같이 분산 컴퓨팅 환경에서 다양한 데이터 서비스가 가능해지면서 대용량 데이터의 분산관리가 주요 이슈로 떠오르고 있다. 한편, 대용량 데이터의 다양한 이용 형태로부터 악의적인 공격자나 내부 사용자에 의한 보안 취약성 및 프라이버시 침해가 발생할 수 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 XOR기반의 효율적인 분산 저장 및 복구 기법을 제안하였다.

Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments (분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법)

  • Choi, Kitae;Yoon, Sangwon;Park, Jaeyeol;Lim, Jongtae;Bok, Kyoungsoo;Yoo, Jaesoo
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.1
    • /
    • pp.44-49
    • /
    • 2016
  • Recently, data has been growing dramatically along with the growth of social media and digital devices. A distributed memory processing system has been used to efficiently process large amounts of data. However, if a load is concentrated in a certain node in distributed environments, a node performance significantly degrades. In this paper, we propose a load balancing scheme to distribute load in a distributed memory environment. The proposed scheme replicates hot data to multiple nodes for managing a node's load and migrates the data by considering the load of the nodes when nodes are added or removed. The client reduces the number of accesses to the central server by directly accessing the data node through the metadata information of the hot data. In order to show the superiority of the proposed scheme, we compare it with the existing load balancing scheme through performance evaluation.

Technology of Distributed Stream Computing (분산 스트림 컴퓨팅 기술 동향)

  • Lee, M.Y.
    • Electronics and Telecommunications Trends
    • /
    • v.26 no.1
    • /
    • pp.80-88
    • /
    • 2011
  • 데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

  • PDF

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-Dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.39-40
    • /
    • 2013
  • 최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

  • PDF

Imputation Methods for Nonresponse and Their Effect (무응답 대체 방법과 대체 효과)

  • 김규성
    • Proceedings of the Korean Association for Survey Research Conference
    • /
    • 2000.06a
    • /
    • pp.1-14
    • /
    • 2000
  • We consider statistical methods for nonresponse problem in social and economic sample surveys. To create a complete data set, which does not include item nonresponse data, imputation methods are generally used. In this paper, we introduce some imputation methods and compare them with one another. Also, we consider some problems, which occur when an imputed data set is treated as a response data set. Due to the imputed values, the true variance of the estimator after imputation is increased by the imputation variance. However, since usual naive variance estimator constructed from the imputed data set does not estimate the imputation variance, the true variance of the estimator after imputation tends to be underestimated. Theoretical reason is investigated and serious results are explained through a simulation study. Finally, some adjusted variance estimation methods to compensate for underestimation are presented and discussed.

  • PDF

Imputation Methods for Nonresponse and Their Effect (무응답 대체 방법과 대체 효과)

  • Kim, Kyu-Seong
    • Survey Research
    • /
    • v.1 no.2
    • /
    • pp.1-14
    • /
    • 2000
  • We consider statistical methods for nonresponse problem in social and economic sample surveys. To create a complete data set, which does not include item nonresponse data, imputation methods are generally used. In this paper, we introduce some imputation methods and compare them with one another. Also, we consider some problems, which occur when an imputed data set is treated as a response data set. Due to the imputed values, the true variance of the estimator after imputation is increased by the imputation variance. However, since usual naive variance estimator constructed from the imputed data set does not estimate the imputation variance, the true variance of the estimator after imputation tends to be underestimated. Theoretical reason is investigated and serious results are explained through a simulation study. Finally, some adjusted variance estimation methods to compensate for underestimation are presented and discussed.

  • PDF

A Deign and Implementation of Data Display for Distributed Diagnosis/ Correction System (분단 진단/ 교정 시스템을 위한 데이터 디스플레이에 관한 설계 및 구현)

  • 정연정;조영욱;이단형
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.142-144
    • /
    • 1998
  • 분산 처리 시스템은 여러 대의 컴퓨터에 분산된 프로그램들이 상호 통신을 통해 협력하면서 작업을 수행하는 시스템이다 .본 논문은 분산 처리시스템의 소프트웨어 개발을 효율적으로 지원하는 유니부(Uniview)를 개발하는 데 있어서 디스플레이 데이터의 설계 및 운용 방안을 제시한다. 디스플레이 데이터는 디버깅 작업과 관련된 정보를 효과적으로 페치, 저장할 수 있는 구조가 되어야 한다. 제안된 디스플레이 데이터 구조와 운용 방법은 디버깅 작업의 흐름에 따라 데이터를 생성, 유지하며 필요한 데이터만을 검사하여 효율적으로 운용한다.

  • PDF

Mapping System based on Indexing for Integrating Distributed Data (분산 데이터 통합을 위한 색인기반의 매핑 시스템)

  • 설진안;김운용;정계동;최영근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10c
    • /
    • pp.436-438
    • /
    • 2003
  • 분산된 데이터는 이질적인 시스템 환경으로 인하여 공유하기 어렵고. 데이터의 형식 및 데이터 모델이 서로 다르게 정의되어 사용함으로서 통합하기 또한 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해 분산된 데이터를 XML문서로 변환한다. 또한 색인기법으로 문서의 구조 및 컨텐츠 정보를 추출하여 서로 다르게 정의된 의미정보를 데이터 사전과 비교하여 표준문서로 통할할 수 있는 색인 기반의 매핑 시스템에 대해 기술한다. 제안된 매핑 시스템은 DOM이나 SAX와 같은 표준 인터페이스를 사용하여 XML문서를 통합하는 것보다 효율적으로 통합할 수 있다.

  • PDF