• 제목/요약/키워드: distributed data storage

검색결과 299건 처리시간 0.027초

소유역 지표유출의 공간적 해석을 위한 지리정보시스템의 응용모형(II) - 격자 물수지 모형을 위한 GIS응용 모형 개발 - (GIS Application Model for Spatial Simulation of Surface Runoff from a Small Watershed( II))

  • 김대식;정하우;김성준;최진용
    • 한국농공학회지
    • /
    • 제37권5호
    • /
    • pp.35-42
    • /
    • 1995
  • his paper is to develop a GIS application model (GISCELWAB) for the spatial simulation of surface runoff from a small watershed. The model was constituted by three submodels : The input data extraction model (GISINDATA) which prepares cell-based input data automatically for a given watershed, the cell water balance model (CELWAB) which calculates the water balance for a cell and simulates surface runoff of watershed simultaneously by the interaction of cells, and the output data management model (GISOUTDISP) which visualize the results of temporal and spatial variation of surface runoff. The input data extraction model was developed to solve the time-consuming problems for the input-data preparation of distributed hydrologic model. The input data for CELWAB can be obtained by extracting ASCII data from a vector map. The output data management model was developed to convert the storage depth and discharge of cells into grid map. This model enables to visualize the spatial formulation process of watershed storage depth and surface runoff wholly with time increment.

  • PDF

t-(v,k,1) 조합 디자인 기반의 데이터 분산 관리 방식 (Distributed Data Management based on t-(v,k,1) Combinatorial Design)

  • 송유진;박광용;강연정
    • 정보처리학회논문지C
    • /
    • 제17C권5호
    • /
    • pp.399-406
    • /
    • 2010
  • 유비쿼터스 네트워크 환경에서 다양한 데이터 서비스가 가능해지면서 악의적인 공격자나 내부 사용자에 의한 보안 취약성 및 프라이버시 침해로 인한 문제를 해결하기 위해 다양한 콘텐츠나 대용량 데이터의 안전한 보안 관리 문제가 주요 이슈로 떠오르고 있다. 기존 다항식 기반을 이용한 Ito, Saito, Nishizeki 할당 방식은 분산된 비밀정보를 복원하기 위해 Share 모두가 필요하게 된다. 반면, 본 제안 방식의 경우, 임계치 이상의 Share가 모아지면 비밀정보를 복원할 수 있다. 또한, 데이터를 분산 복원하는 분산 DBMS 운영상의 효과 특히, 데이터베이스(DB) 서버 및 Share 선택의 규칙성이 있고 조합적 구조인 Combinatorial Design상의 파라메터 t,v,k를 이용함으로써 구현상의 유연성(flexibility)을 갖는다. 본 논문에서는 Share의 할당 문제를 해결하고자 비밀분산 방식을 이용하여 데이터를 분산저장관리 할 때 Share의 할당을 위해 t-(v,k,1) 디자인이 갖는 행렬구조를 적용시킴으로써 새롭게 Share 할당법을 구성하고 데이터 분산저장관리에의 응용에 대해 검토한다.

A Secure Decentralized Storage Scheme of Private Information in Blockchain Environments

  • Han, Seungjin
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권1호
    • /
    • pp.111-116
    • /
    • 2018
  • Recently, IoT and Big Data dealing with voluminous and complex sensitive information is one of the key issues in the era of the 4th industrial revolution. There have been a lot of studies to store the collected and processed sensitive information safely in storage data. Especially biometric information, if it is leaked and becomes identity theft, is hard to be corrected and results in serious event. To fix the problem, methods such as FIDO or KFTC have been proposed. In this paper, we propose a modified method of TTAK.KO-12.0098 according to the environment of this paper and propose a method of safely storing the generated disposable template in a block chain. We show that our method is better by comparing the existing method and the security analysis.

아파트 부엌의 수납실태와 거주자 만족도 (The storage space and the degree of residents' satisfaction for kitchen in apartment house)

  • 허지혜;이민아
    • 한국생활과학회지
    • /
    • 제17권5호
    • /
    • pp.989-999
    • /
    • 2008
  • The purpose of this study was to supply the basic data for the plan of the storage space in the kitchen by investigating the actual condition of the use and residents' satisfaction. The questionnaires were distributed to 136 families of the local apartment in South Chung-Cheong Province of Korea. The results were summarized as follows; first, among the furniture for storage, the upper and lower space have been installed in every furniture. The general tablewares were stored in the upper part of the kitchen and the frequently used goods for cooking were largely stored in the lower part. Second, in the method of reforming the kitchen space, it showed highest figure in case of purchasing the shelf and there were many cases of storing things by using the subsidiary storage furniture and boxes and it came to the conclusion that the housewives have a tendency to solve the storage problem by using the less expensive, simple and passive ways. Third, in the degree of satisfaction for the space for storage, it showed that the respondents were a little bit dissatisfied with the size of storage space, the position of furniture for storage, the convenience for using and the storage rapacity. Among the furniture for storage in the kitchen, the degree of satisfaction for the upper and lower parts was a little bit low, but it is higher for the others. For the plan of storage space, the aesthetic appreciation reflects visually being in order was considered to be the important factor.

맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법 (A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce)

  • 손인국;류은경;박준호;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권11호
    • /
    • pp.21-27
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다.

파일 분산 저장 시스템의 에너지 효율성 증대를 위한 파일 블록 관리 기술 (File Block Management for Energy-Efficient Distributed Storages)

  • 서민국;김성우;서승우
    • 전자공학회논문지
    • /
    • 제53권1호
    • /
    • pp.97-104
    • /
    • 2016
  • 저장해야 하는 데이터양이 상당히 증가하여 필요 저장 장치의 수가 증가하게 되었다. 다수의 저장 장치 이용 시 일부 저장 장치가 사용 불가능하여도 파일의 가용성을 보장하는 파일 분산 저장 기술이 필수적이다. 최근 다수의 저장 장치로 구성된 파일 분산 저장 시스템의 에너지 소모가 문제가 되고 있다. 파일 분산 저장 시스템의 에너지 효율성을 향상시키기 위한 대표적인 기존 기술은 효율적인 파일 블록 배치를 통하여 사용량이 적은 시간에 일부 저장 장치를 절전 상태로 변경하는 것이다. 한 번 배치가 된 파일 블록의 재배치는 기존 연구에서 고려되지 않는데, 대량의 파일을 저장하고 있는 파일 분산 저장 시스템에서 파일 블록의 재배치에는 큰 비용이 필요할 수 있기 때문이다. 하지만 새 저장 장치나 파일이 추가되는 경우를 고려할 때 파일 블록의 재배치는 필수적이다. 본 논문은 파일 블록의 재배치 시 필요한 블록 이동수를 최소화하는 정수 최적화 문제를 제시하고 이를 분기한정법 알고리즘으로 해결하는 방법을 제안한다. 이를 통해 최소한의 파일 블록 이동으로 최대한의 많은 수의 저장 장치를 절전 상태로 변경할 수 있다. 하지만 정수 최적화 문제의 분기한정법 알고리즘을 통한 해결은 연산 속도가 문제 크기에 따라 지수 함수적으로 증가하는 문제가 있다. 따라서 본 논문에서는 모든 파일과 데이터 서버를 여러 집단으로 나누어 크기가 작은 문제 다수를 해결하는 방식을 제안한다.

A web-based collaborative framework for facilitating decision making on a 3D design developing process

  • Nyamsuren, Purevdorj;Lee, Soo-Hong;Hwang, Hyun-Tae;Kim, Tae-Joo
    • Journal of Computational Design and Engineering
    • /
    • 제2권3호
    • /
    • pp.148-156
    • /
    • 2015
  • Increased competitive challenges are forcing companies to find better ways to bring their applications to market faster. Distributed development environments can help companies improve their time-to-market by enabling parallel activities. Although, such environments still have their limitations in real-time communication and real-time collaboration during the product development process. This paper describes a web-based collaborative framework which has been developed to support the decision making on a 3D design developing process. The paper describes 3D design file for the discussion that contains all relevant annotations on its surface and their visualization on the user interface for design changing. The framework includes a native CAD data converting module, 3D data based real-time communication module, revision control module for 3D data and some sub-modules such as data storage and data management. We also discuss some raised issues in the project and the steps underway to address them.

A Study on the IDL Compiler using the Marshal Buffer Management

  • Kim, Dong-Hyun
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.843-847
    • /
    • 2005
  • The development of distributed application in the standardized CORBA(Common Object Request Broker Architecture) environments reduces the developing time and maintaining cost of the systems. Because of these advantages, the development of application is being progressed in the several fields using the CORBA environments. The programmers in the CORBA environments usually develop the application programs using the CORBA IDL(Interface Definition Language). The IDL files are compiled by IDL compiler and translated into the stubs and skeleton codes which are mapped onto particular target language. The stubs produced by IDL compilers processes the marshaling a data into message buffer. Before a stub can marshal a data into its message buffer, the stub must ensure that the buffer has at least enough free space to contain the encoded representation of the data. But, the stubs produced by typical IDL compilers check the amount of free buffer space before every atomic data is marshaled, and if necessary, expand the message buffer. These repeated tests are wasteful and incidence of overheads, especially if the marshal buffer space must be continually expanded. Thus, the performance of the application program may be poor. In this paper, we suggest the way that the stub code is maintain the enough free space before marshaling the data into message buffer. This methods were analyzes the overall storage requirements of every message that will be exchanged between client and server. For these analysis, in the Front End of compiler has maintain the information that the storage requirements and alignment constraints for data types. Thus, stub code is optimized and the performance of application program is increased.

  • PDF

An Adaptive Workflow Scheduling Scheme Based on an Estimated Data Processing Rate for Next Generation Sequencing in Cloud Computing

  • Kim, Byungsang;Youn, Chan-Hyun;Park, Yong-Sung;Lee, Yonggyu;Choi, Wan
    • Journal of Information Processing Systems
    • /
    • 제8권4호
    • /
    • pp.555-566
    • /
    • 2012
  • The cloud environment makes it possible to analyze large data sets in a scalable computing infrastructure. In the bioinformatics field, the applications are composed of the complex workflow tasks, which require huge data storage as well as a computing-intensive parallel workload. Many approaches have been introduced in distributed solutions. However, they focus on static resource provisioning with a batch-processing scheme in a local computing farm and data storage. In the case of a large-scale workflow system, it is inevitable and valuable to outsource the entire or a part of their tasks to public clouds for reducing resource costs. The problems, however, occurred at the transfer time for huge dataset as well as there being an unbalanced completion time of different problem sizes. In this paper, we propose an adaptive resource-provisioning scheme that includes run-time data distribution and collection services for hiding the data transfer time. The proposed adaptive resource-provisioning scheme optimizes the allocation ratio of computing elements to the different datasets in order to minimize the total makespan under resource constraints. We conducted the experiments with a well-known sequence alignment algorithm and the results showed that the proposed scheme is efficient for the cloud environment.

온-프레미스 기반 지속적인 자원 서비스를 위한 서버 무중단 기법 (Non-Disruptive Server Management for Sustainable Resource Service Based on On-Premise)

  • 김현우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권12호
    • /
    • pp.295-300
    • /
    • 2018
  • 최근 IT 기술의 급성장에 따라 종래의 많은 수동적인 업무가 자동화되었다. 이러한 자동화를 통해 많은 사람들의 여가 시간이 증대되고 이를 위한 다양한 서비스들이 개발되고 있다. 또한, 소형화되고 휴대에 편리한 스마트 디바이스의 등장으로 시간과 장소에 구애를 받지 않고 다양한 인터넷 서비스 이용이 가능하다. 많은 디바이스 및 서비스에서 발생되는 빅 데이터의 효율적인 저장 처리를 위해 가상화 기반의 다양한 연구들이 진행되고 있다. 이러한 연구 중에 온-프레미스 기반 분산된 데스크탑 자원을 통합하고 사용자에게 제공하는 데스크탑 스토리지 가상화는 가상화를 이용하여 분산된 레거시 데스크탑내에 사용되지 않는 자원을 통합한다. 이는 사용자에게 신뢰성 제공을 위한 고가용성이 매우 중요시된다. 또한, 분산된 데스크탑 기반 자원 통합 환경에서 효율적인 데이터 분배 저장 처리를 위한 계층적 구조 및 자원통합 연구들이 진행되고 있다. 그러나 온-프레미스 기반 자원 통합 환경에서 서버 고장 발생시 효율적인 대처를 위한 운영 연구가 미흡하다. 이러한 운영적 서버 고가용성을 위해 본 논문에서는 온-프레미스 기반 분산된 데스크탑내 스토리지 통합 환경에서 데스크탑 서버의 장애 발생에 따른 능동적인 대처가 가능한 무중단 서버 관리 기법을 제안한다. 이는 데스크탑 기반 통합 환경에서 데스크탑 추가 및 제거가 용이하다. 또한, 장애발생에 따라 대체 서버가 능동적으로 수행된다.