• Title/Summary/Keyword: 데이터 확장성 문제

Search Result 425, Processing Time 0.027 seconds

Analysis and Evaluation of Data Partitioning Methods or On-line Scaling in a Shared Nothing Database Cluster (비공유 데이터베이스 클러스터에서 온-라인 확장을 위한 데이터 분할 기법의 분석 및 평가)

  • Jang, Yong-Il;Lee, Chung-Ho;Lee, Jae-Dong;Bae, Hae-Young
    • Annual Conference of KIPS
    • /
    • 2002.11c
    • /
    • pp.1859-1862
    • /
    • 2002
  • 비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

  • PDF

Design of Scalable Blockchain Storage Technology (고확장성 블록체인 저장 기술 설계)

  • Kim, Changsoo;Lee, Myungcheol
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.316-319
    • /
    • 2021
  • 블록체인은 블록체인 네트워크에 참여하는 모든 노드에 동일한 원장을 중복 저장함으로써 참여자 모두에게 데이터가 공개되며, 이를 통해 데이터의 투명성을 확보하고 참여자 다수의 합의를 통해 데이터의 신뢰성을 보장하는 기술이다. 현재의 블록체인 시스템은 이러한 데이터 소유의 탈중앙화를 통해 데이터의 신뢰성을 확보할 수 있게 되었으나, 합의, 저장, 분석 등 여러 방면에서 확장성 한계로 인해 주로 가상 자산의 거래에만 활용되고 있다. 본 논문은 다양한 일반 산업 및 비즈니스에서의 블록체인 기술의 활용성을 증대하기 위해 요구되는 데이터의 다양성, 대규모 용량, 대용량 데이터, 트랜잭션 처리 속도 등 저장 확장성 문제를 해결하기 위한 고확장성 블록체인 저장 기술을 제안하고 설계 개념 및 특징, 그리고 고확장성 저장 기술을 제공하기 위한 시스템 SW 구조를 제시한다.

A Extension Technique of Parallel VOD server using Striping Policy (스트라이핑 정책을 이용한 병렬 VOD 서버의 확장기법)

  • 한주희;최숙영;유관종
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.668-670
    • /
    • 2000
  • 병렬 VOD서버를 구성하기 위해서는 서버의 확장성과 서버 결함의 복구문제 등이 충분히 고려되어야 한다. 본 논문에서는 서버의 확장성을 고려한 병렬 VOD서버를 설계한다. 또 기존의 병렬 VOD서버에 새로운 서버가 추가될 경우 부하 불균형 문제를 방지하기 위한 데이터 분배 방법을 고려한다. 이 문제를 해결하기 위해서 로드밸런스를 유지하면서, 서버에 저장되어 있는 최소한의 데이터만을 이동시킴으로써 각 서버의 사용 가능한 디스크 공간을 조정하는 스트라이핑 방법을 제시한다. 그리고 제시한 스트라이핑 방법을 모의 실험을 통해 분석한다.

  • PDF

Design and Implementation of a Mobile Internet Middleware for Data Synchronization (모바일 인터넷 동기화 미들웨어(MoIM-Sync) 시스템의 설계 및 구현)

  • Suh, Young-Ho;Lee, Kang-Woo;Park, Nam-Sik;Song, Seung-Bum;Ham, Ho-Sang
    • Annual Conference of KIPS
    • /
    • 2002.11a
    • /
    • pp.123-126
    • /
    • 2002
  • 근래 들어 무선 인터넷이 가능한 고성능의 휴대형 단말들이 널리 보급되어 감에 따라, 모바일 기업 응용에 대한 요구가 증가하고 있다. 모바일 기업 응용에서는 모바일 클라이언트와 기업 서버간의 데이터 동기화가 필수적이다. 왜냐하면, 모바일 클라이언트는 그 특성상 기업 서버에 항상 접속해 있을 수 없기 때문이다. 하지만 이러한 모바일 기업 응용을 작성하기 위해서는 확장성 이형성, 자원제약, 보안등과 같은 여러 기술적인 문제들을 해결해야만 한다. 따라서 본 논문에서는 이러한 기술적인 문제들 뿐만 아니라 데이터 동기화 부분을 처리해 줌으로써 응용 개발자들에게 오직 데이터 동기화를 위한 추상화된 인터페이스만을 제공해주는 데이터 동기화 미들웨어 시스템인 MoIM-Sync 시스템의 설계 및 구현에 관해 기술한다. 우리 시스템은 구현 언어로 Java를, 동기화 프로토콜로 표준 동기화 프로토콜인 SyncML을 사용함으로써 이형성 문제를 극복하였으며, 3 계층 구조를 통해 확장성 및 기존 동기화 시스템/서버 시스템들과의 연동 문제를 해결하였다.

  • PDF

Web Search Engine based on Database Management System (데이터베이스 관리 시스템에 기반한 웹검색엔진의 구현)

  • Kang, Byung-Ju;Lee, Ji-Dong;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.211-218
    • /
    • 1997
  • 웹검색엔진은 색인되는 웹문서가 많아질수록 시스템 확장성(scalability)이라든지, 데이터베이스 유지 관리의 용이성, 데이터의 안전성 문제, 등의 많은 문제가 웹검색엔진에 부담으로 주어지게 된다. 반면에 인트라넷(intranet)용 검색엔진의 경우는 확장성보다는 검색엔진 자체의 개발의 용이성이 더욱 중요하다. Oracle $ConText^{TM}$는 오라클 사(社의) RDBMS인 $Oracle7^{TM}$의 정보검색 확장 옵션으로 텍스트를 Oracle7의 기본 데이터 타입으로 사용될 수 있게 한다. Oracle7+ConText는 대용량의 문서 베이스와 개발의 용이성을 동시에 보장할 수 있는 매우 훌륭한 웹검색엔진 개발 도구이다. 우리는 이를 검증하기 위하여 Oracle7+ConText에 기반한 WEBSECT(Web Search Engine With ConText)라는 웹검색엔진을 개발하였다. 본 논문은 WEBSECT의 개발과 시험 운영을 통해 데이터베이스에 기반한 웹검색엔진의 우수한 확장성과 텍스트 애플리케이션 개발의 용이성 등을 소개한다.

  • PDF

A Reference Architecture for Blockchain-based Federated Learning (블록체인 기반 연합학습을 위한 레퍼런스 아키텍처)

  • Goh, Eunsu;Mun, Jong-Hyeon;Lee, Kwang-Kee;Sohn, Chae-bong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.11a
    • /
    • pp.119-122
    • /
    • 2022
  • 연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

  • PDF

An Extensible Index for XML Containment Queries (XML 포함질의를 위한 확장형 인덱스)

  • Lee, Sang-Won
    • The KIPS Transactions:PartD
    • /
    • v.11D no.2
    • /
    • pp.317-324
    • /
    • 2004
  • Containment queries for XML documents is one of the most important query types, and thus the efficient support for this type of query is crucial for XML databases. Recently, object-relational database management system (ORDBMS) vendors try to store and retrieve XML data in their products. In this paper, we propose an extensible index to support containment queries over the XML data stored as BLOB type in ORDBMSs. That is, we describe how to implement the index using the extensibility feature of an ORDBMS, and describe its usage.

Consideration and Research of Bitcoin-NG Protocol Considering Scalability (확장성이 고려 된 Bitcoin-NG 프로토콜 고찰 및 연구)

  • Kim, Soo Hyeon;Cha, Jeong Hun;Park, Jong Hyuk
    • Annual Conference of KIPS
    • /
    • 2020.05a
    • /
    • pp.242-245
    • /
    • 2020
  • 최근 IT 기술의 발전에 따라 블록체인 기술과 융합하려는 다양한 시도를 보인다. 비트코인(Bitcoin)의 탄생으로 알려지게 된 블록체인은 P2P (Peer-to-Peer) 네트워크에서 데이터의 무결성 조건을 만족할 수 있게 되면서 보안 기술에 대해 많은 연구가 진행 중이다. 데이터의 무결성을 증명하기 위해 합의 알고리즘을 사용하는데 합의 알고리즘의 처리속도 및 저장 공간 문제 등으로 인해 다른 분야로 확장에 어려움을 겪고 있다. 따라서 블록체인을 구성하는 환경이나 목표에 따라서 적절한 합의 알고리즘을 선택하는 것이 중요하다. 본 논문에서는 확장성 문제를 해결할 수 있는 Bitcoin-NG 합의 알고리즘을 비롯하여 다양한 합의 알고리즘의 원리와 장단점을 소개한다. 블록의 합의에 참여하는 범위, 리더를 선정하는 방법 등의 기준으로 Bitcoin-NG 알고리즘이 확장성 문제에 긍정적인 합의 알고리즘으로서 갖춘 특징을 살펴 보고 앞으로 합의 알고리즘의 발전 방향에 대해 고찰한다.

The Design and Implementation of Update Protocol for Distributed Spatial Data based on Middleware (미들웨어 기반의 분산 공간 데이터 변경 프로토콜의 설계 및 구현)

  • 정민규;조대수;오병우;홍봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.104-106
    • /
    • 2000
  • 이 논문은 클라이언트에서 다수의 서버에 대한 공간 데이터의 변경 문제를 대상으로 한다. 분산 환경에서의 데이터 변경은 다음과 같은 요구조건을 가진다. 첫째, 분산 환경에서는 서로 다른 구조의 클라이언트 및 서버에 대해 확장성을 고려해야 한다. 둘째, 공간 데이터 간에는 공간 관련성이 존재하기 때문에, 서로 다른 서버에 분산 저장된 공간 데이터간의 공간 관련성을 유지해야 한다. 셋째, 한 클라이언트에서의 변경은 여러 서버 및 다른 클라이언트와의 협동 작업을 통해 수행되어야 한다. 이 논문에서는 클라이언트에서의 공간 데이터 변경을 처리하기 위해 서비스 제공자를 설계, 구현한다. 서비스 제공자는 미들웨어 컴포넌트로써 동일한 인터페이스를 제공하기 때문에, 클라이언트 및 서버의 확장이 용이한 장점을 갖는다. 이 논문에서 제공하는 서비스 제공자는 2PC 기반의 변경 프로토콜에 따라 분산된 서버간에 존재하는 공간 관련성을 유지하면서 공간 데이터의 변경을 수행한다. 즉, 서비스 제공자는 클라이언트에서 변경을 요청한 객체에 대해 공간 관련성 유무를 검사하고, 공간 관련성을 가진 객체를 포함한 서버에 변경 내용을 전파한 후, 협동 작업을 통해 변경을 확정하거나 취소하게 된다.

  • PDF

A XPDL based Workflow Dynamic Repository Mechanism (XPDL 기반의 워크플로우 동적 저장소 메커니즘)

  • 정재우;심성수;안형진;박민재;문기동;오종태;김광훈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.689-691
    • /
    • 2003
  • 워크플로우 관리 시스템은 모델링에서 비즈니스 프로세스 정의 데이터를 엔진으로 전송하기 위한 방법으로 정적 저장소와 동적 저장소 방식을 이용한다. 정적 저장소를 통한 데이터 전송은 로컬간 데이터 교환에 장점이 있지만 유연성과 확장성의 문제점을 갖는다. 본 논문에서는 유연성과 확장성 문제 해결 방법으로 동적 저장소 방식을 이용하며 알려지지 않는 외부 데이터의 신뢰성을 체크하기 위하여 WfMC 표준에서 제정한 XPDL를 사용함으로써 문법적, 의미적 타당성을 검증한다. 즉 XPDL 기반의 동적 저장소 전송 메커니즘을 설계하고 신뢰성 있는 데이터 전송을 위하여 문법적, 의미적 타당성 검증에 필요한 컴포넌트를 제시하고자 한다.

  • PDF