• Title/Summary/Keyword: 데이터 처리량

Search Result 2,586, Processing Time 0.033 seconds

Metadata Structrues of Huge Shared Disk File System for Large Files in GIS (GIS에서 대용량 파일을 위한 대용량 공유 디스크 파일시스템의 메타데이터 구조)

  • 김경배;이용주;박춘서;신범주
    • Spatial Information Research
    • /
    • v.10 no.1
    • /
    • pp.93-106
    • /
    • 2002
  • The traditional file system are designed to store and manage fur small size files. So. we cannot process the huge files related with geographic information data using the traditional file system such as unix file system or linux file system. In this paper, we propose new metadata structures and management mechanisms for the large file system in geographic information system. The proposed mechanisms use dynamic multi-level mode for large files and dynamic bitmap for huge file system. We implement the proposed mechanisms in the metadata structures of SANtopia is shared disk huge file system for storage area networks(SAN).

  • PDF

I/O Cost Evaluation of the MapReduce Framework (MapReduce 프레임워크의 I/O 비용 평가)

  • Kim, Hyeon-Gyu;Kang, Woo-Lam
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1068-1069
    • /
    • 2013
  • 최근 정보 기술과 웹의 발전으로 많은 응용에서 데이터의 양이 급격이 증가하였다. MapReduce는 이러한 대용량 데이터를 처리하기 위해 구글에서 제안한 프레임워크이다. MapReduce 프레임워크는 데이터 전달 패러다임을 기반으로 한다. 이로부터, 데이터 처리 및 질의에 있어 I/O 비용이 전체 처리 비용에서 큰 부분을 차지한다. 본 논문에서는 MapReduce 프레임워크에서 I/O에 소요되는 비용을 확인하기 위해, 실제 데이터를 기반으로 실험을 수행하였다. 이를 통해, MapReduce 기반 시스템의 성능 예측이나 성능 향상을 위해 고려되어야 할 부분을 제시하고자 하였다.

Structural Change Detection Technique for RDF Data in MapReduce (맵리듀스에서의 구조적 RDF 데이터 변경 탐지 기법)

  • Lee, Taewhi;Im, Dong-Hyuk
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.3 no.8
    • /
    • pp.293-298
    • /
    • 2014
  • Detecting and understanding the changes between RDF data is crucial in the evolutionary process, synchronization system, and versioning system on the web of data. However, current researches on detecting changes still remain unsatisfactory in that they did neither consider the large scale of RDF data nor accurately produce the RDF deltas. In this paper, we propose a scalable and effective change detection using a MapReduce framework which has been used in many fields to process and analyze large volumes of data. In particular, we focus on the structure-based change detection that adopts a strategy for the comparison of blank nodes in RDF data. To achieve this, we employ a method which is composed of two MapReduce jobs. First job partitions the triples with blank nodes by grouping each triple with the same blank node ID and then computes the incoming path to the blank node. Second job partitions the triples with the same path and matchs blank nodes with the Hungarian method. In experiments, we show that our approach is more accurate and effective than the previous approach.

Implementation of a large-volume Web search engine using the multi-level data caching (계층적 캐슁 기법을 이용한 대용량 웹 검색 엔진의 구현)

  • Lim, Sung-Chae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06c
    • /
    • pp.87-91
    • /
    • 2007
  • 논문에서는 6,000만개 웹 페이지의 색인 데이터에 대해 일 600만 질의를 처리하는 대용량 웹 검색 시스템을 위해 구현된 계층적 캐슁 기법을 소개한다. 논문에서 설명된 시스템 구조 및 알고리즘은 실제 상용 웹 검색 엔진에서 구현되고 운영 결과를 통해 그 유용성이 입증된 것들로서, 구현된 시스템과 유사성을 가지는 대용량 데이터 처리 시스템에 적용 가능할 것이다. 본 논문에서는 기존에 많이 소개되지 않았던 웹 검색 엔진의 운영 절차 및 웹 질의 처리 시스템에 대한 기술적 내용이 기술되었으며, 기술된 내용을 통해 웹 검색 엔진에 대해 보다 정확한 이해가 가능해 질 것이다.

  • PDF

Construction of Energy Model on Hot Rolling Process (열간압연공정 에너지 사용 모델 기술개발)

  • Hong, Jongheui;Lee, Jinhee;Shin, Gihoon;Kim, Seongjoo
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.01a
    • /
    • pp.265-267
    • /
    • 2020
  • 본 논문에서는 열간압연 공정에 있어 효율적인 제품 생산 스케줄링에 필수적인 제품단위 에너지 사용 모델링 기법을 제안한다. 제안된 모델은 시스템 자원을 효율적 혹은 최소화하여 사용하여 실시간 처리량을 최대화함으로써 생산 예정 리스트로부터의 예측 작업 수행시간을 최소화할 수 있도록 한다. 제안된 기법은 다변량 선형 모델 방식으로 구성됨으로써 인공 지능 혹은 신경망 학습 방식에 비교하여 그 처리 속도가 빠르다는 장점을 가지고 있다. 본 논문에서는 서두에서 대상 응용처인 철강 산업과 열간 압연 공정 및 에너지 스케줄링에 대하여 간략히 언급한 후 본문에서 모델링을 위한 사전 데이터 수집, 모델링 기법을 자세히 설명하고 결론에서 모델의 정확도 성능을 최신 신경망 기법과 비교하여 검증하였다.

  • PDF

A Multi-Rate Aware Distributed Packet Scheduling in Ad-hoc Networks (에드혹 네트워크에서 다중 데이터률을 고려하는 분산 패킷 스케쥴링)

  • Roh Kwen-Mun;Chen Yong-Qian;Yoo Sang-Jo
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.31 no.7B
    • /
    • pp.642-651
    • /
    • 2006
  • In ad-hoc network, the most of existing packet scheduling schemes provides throughput-based fairness. To provide throughput-based fairness, it basically supposes that the channel capacity is fixed. But, the supposing that the channel capacity is fixed is not appropriate because IEEE 802.11b and 802.11g which are normally used for organizing ad-hoc network can provide various data rate according to channel conditions. So, we define time-based fairness for each flow to consider multi-rate and suggest the MRADPS reaching the defined time-based fairness. Simulation result shows that MRADPS improves the total network throughput in ad-hoc network with providing time-based fairness to each flow.

A Study on Distributed Processing of Big Data and User Authentication for Human-friendly Robot Service on Smartphone (인간 친화적 로봇 서비스를 위한 대용량 분산 처리 기술 및 사용자 인증에 관한 연구)

  • Choi, Okkyung;Jung, Wooyeol;Lee, Bong Gyou;Moon, Seungbin
    • Journal of Internet Computing and Services
    • /
    • v.15 no.1
    • /
    • pp.55-61
    • /
    • 2014
  • Various human-friendly robot services have been developed and mobile cloud computing is a real time computing service that allows users to rent IT resources what they want over the internet and has become the new-generation computing paradigm of information society. The enterprises and nations are actively underway of the business process using mobile cloud computing and they are aware of need for implementing mobile cloud computing to their business practice, but it has some week points such as authentication services and distributed processing technologies of big data. Sometimes it is difficult to clarify the objective of cloud computing service. In this study, the vulnerability of authentication services on mobile cloud computing is analyzed and mobile cloud computing model is constructed for efficient and safe business process. We will also be able to study how to process and analyze unstructured data in parallel to this model, so that in the future, providing customized information for individuals may be possible using unstructured data.

Adaptive Upstream Backup Scheme based on Throughput Rate in Distributed Spatial Data Stream System (분산 공간 데이터 스트림 시스템에서 연산 처리율 기반의 적응적 업스트림 백업 기법)

  • Jeong, Weonil
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.14 no.10
    • /
    • pp.5156-5161
    • /
    • 2013
  • In distributed spatial data stream processing, processed tuples of downstream nodes are replicated to the upstream node in order to increase the utilization of distributed nodes and to recover the whole system for the case of system failure. However, while the data input rate increases and multiple downstream nodes share the operation result of the upstream node, the data which stores to output queues as a backup can be lost since the deletion operation delay may be occurred by the delay of the tuple processing of upstream node. In this paper, the adaptive upstream backup scheme based on operation throughput in distributed spatial data stream system is proposed. This method can cut down the average load rate of nodes by efficient spatial operation migration as it processes spatial temporal data stream, and it can minimize the data loss by fluid change of backup mode. The experiments show the proposed approach can prevent data loss and can decrease, on average, 20% of CPU utilization by node monitoring.

Design of Scalable Blockchain Storage Technology (고확장성 블록체인 저장 기술 설계)

  • Kim, Changsoo;Lee, Myungcheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.316-319
    • /
    • 2021
  • 블록체인은 블록체인 네트워크에 참여하는 모든 노드에 동일한 원장을 중복 저장함으로써 참여자 모두에게 데이터가 공개되며, 이를 통해 데이터의 투명성을 확보하고 참여자 다수의 합의를 통해 데이터의 신뢰성을 보장하는 기술이다. 현재의 블록체인 시스템은 이러한 데이터 소유의 탈중앙화를 통해 데이터의 신뢰성을 확보할 수 있게 되었으나, 합의, 저장, 분석 등 여러 방면에서 확장성 한계로 인해 주로 가상 자산의 거래에만 활용되고 있다. 본 논문은 다양한 일반 산업 및 비즈니스에서의 블록체인 기술의 활용성을 증대하기 위해 요구되는 데이터의 다양성, 대규모 용량, 대용량 데이터, 트랜잭션 처리 속도 등 저장 확장성 문제를 해결하기 위한 고확장성 블록체인 저장 기술을 제안하고 설계 개념 및 특징, 그리고 고확장성 저장 기술을 제공하기 위한 시스템 SW 구조를 제시한다.

Design of Middleware Platform for Construction of Spatial Data Infrastructure (공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관한 연구)

  • Lee, Jin-Kyu;Chang, Min-Young;Lee, Hyoung-Jin
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.137-142
    • /
    • 2008
  • 본 논문에서는 공간정보 인프라 구축을 위한 미들웨어 플랫폼에 관하여 연구하였다. 국내에서 활용되고 있는 지리정보시스템은 데이터 저장방식 및 서로 상이한 응용프로그램들의 사용으로 서로 다른 GIS 수요기관들 간의 공간데이터 교환이 어렵고, 시스템간의 호환이 거의 되지 않아 수요기관별로 개별적인 투자를 함으로써 중복투자의 문제가 심각하다. 이에 본 논문에서는 공간정보 인프라 구축을 위하여, 수치지도 갱신에 따른 비용 문제를 해결하고, 산업화에 직접 적용할 수 있는 미들웨어의 구조를 설계하고 기술하였다. 이는 상호이질적인 지형 데이터의 처리와 분산된 대용량 데이터를 처리하고, 데이터 갱신에 필요한 Long Transaction 처리, 다양한 데이터 소스에 대한 접근, 관리를 위한 서버측 프로시계의 생성 및 호출기능을 수행한다. 또한 클라이언트 측 어플리케이션과의 연결을 위한 방법으로 CORBA 인터페이스를 제공하여 프로그램 언어, 하드웨어/OS에 독립적인 분산처리가 가능하도록 설계 하였다.

  • PDF