• 제목/요약/키워드: Data-intensive processing

검색결과 131건 처리시간 0.026초

대규모 분산 컴퓨팅 환경에서 확장성을 고려한 실시간 데이터 공급 기법 (Scalable Data Provisioning Scheme on Large-Scale Distributed Computing Environment)

  • 김병상;윤찬현
    • 정보처리학회논문지A
    • /
    • 제18A권4호
    • /
    • pp.123-128
    • /
    • 2011
  • 본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.

The Performance Potential of Data Dependent Computation on Asynchronous Superscalar Processor

  • Kim, Suk-Jin;Park, Byung-Soo;Park, Chan-Ho;Lee, Dong-Ik
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 ITC-CSCC -1
    • /
    • pp.414-416
    • /
    • 2000
  • We investigate potential advantages and problems when a superscalar processor is designed and implemented using asynchronous design methods. Conventional techniques of superscalar processing are applied and data dependent adder is considered as an asynchronous component. Intensive simulations on SPEC INT95 benchmark suites are made for the purpose of performance comparison between a synchronous and an asynchronous superscalar processor, respectively. The simulation results show about 5% speedup with asynchronous design methods in the sense of Issue Rate.

  • PDF

시공간 슬라이딩윈도우기법을 이용한 데이터스트림의 인과관계 결합질의처리방법 (Causality join query processing for data stream by spatio-temporal sliding window)

  • 권오제;이기준
    • Spatial Information Research
    • /
    • 제16권2호
    • /
    • pp.219-236
    • /
    • 2008
  • 센서로부터 획득되는 데이터 스트림은 스트림 데이터 간의 인과관계와 같은 다양한 유용한 정보를 포함한다. 센서 스트림에 대한 인과관계 조인질의는 스트림으로부터 인과관계의 (원인, 결과) 쌍을 찾아내는 것이다. 하지만 센서로부터 DSMS로 데이터가 전송될 때 발생하는 지연과 제한된 윈도우 크기로 인해 일부의 인과관계 결과 쌍이 손실될 수 있다. 본 논문에서는 먼저 데이터 스트림에서 인과관계 조인질의를 처리할 때 고려해야할 시간적, 공간적 그리고 시공간적 관점에 대해 관찰하고 이러한 관찰들을 고려한 다양한 슬라이딩 윈도우 처리 방법들을 제안한다. 제안된 방법들의 성능은 다양한 실험들을 통해 평가되어지는데 실험 결과들은 본 논문에서 제안된 방법들이 기존의 FIFO 방법에 비해 인과관계 질의 처리 결과가 더 정확함을 보여준다.

  • PDF

Low-grade waste heat recovery and repurposing to reduce the load on cooling towers

  • McLean, Shannon H.;Chenier, Jeff;Muinonen, Sari;Laamanen, Corey A.;Scott, John A.
    • Advances in Energy Research
    • /
    • 제7권2호
    • /
    • pp.147-166
    • /
    • 2020
  • Industrial cooling towers are often ageing infrastructure that is expensive to maintain and operate. A novel approach is introduced in which a heat pump circuit is incorporated to reduce the load upon the towers by extracting low-grade energy from the stream sent to the towers and repurposing in on-site processing operations. To demonstrate the concept, a model was constructed, which uses industrial data on cooling towers linked to a smelter's sulphuric acid plant, to allow direct economic and environmental impact comparison between different heat recovery and repurposing scenarios. The model's results showed that implementing a heat pump system would significantly decrease annual operating costs and achieve a payback period of 3 years. In addition, overall CO2 emissions could be reduced by 42% (430,000 kg/year) and a 5% heat load reduction on the cooling towers achieved. The concept is significant as the outcomes introduce a new way for energy intensive industrial sectors, such as mineral processing, to reduce energy consumption and improve long-term sustainable performance.

타원곡선기반 하둡 분산 시스템의 초기 인증 프로토콜 (Initial Authentication Protocol of Hadoop Distribution System based on Elliptic Curve)

  • 정윤수;김용태;박길철
    • 디지털융복합연구
    • /
    • 제12권10호
    • /
    • pp.253-258
    • /
    • 2014
  • 최근 스마트폰 사용이 증가하면서 빅 데이터 서비스를 제공하는 클라우드 컴퓨팅 기술이 발달하고 있으며, 빅 데이터 서비스를 제공받으려는 사용자 또한 증가하고 있다. 빅 데이터 서비스 중 하둡 프레임워크는 데이터 집약적인 분산 어플리케이션을 지원하는 하둡 파일 시스템과 하둡 맵리듀스로 서비스를 제공하고 있으나, 하둡 시스템을 이용하는 스마트폰 서비스는 데이터 인증시 보안에 매우 취약한 상태이다. 본 논문에서는 스마트폰 서비스를 제공하는 하둡 시스템의 초기 과정의 인증 프로토콜을 제안한다. 제안 프로토콜은 하둡 시스템의 안전한 다중 데이터 처리를 지원하기 위해서 대칭키 암호 기술과 함께 ECC 기반의 알고리즘을 조합하였다. 특히, 제안 프로토콜은 사용자가 하둡 시스템에 접근하여 데이터를 처리할 때, 초기 인증키를 대칭키 대신 타원 곡선 기반의 공개키를 사용함으로써 안전성을 향상시켰다.

영역기반 스테레오 영상 정합을 위한 고속 SAD 알고리즘 (A Fast SAD Algorithm for Area-based Stereo Matching Methods)

  • 이우영;김정길
    • 한국위성정보통신학회논문지
    • /
    • 제7권2호
    • /
    • pp.8-12
    • /
    • 2012
  • 스테레오 비전 분야에서 영역 기반의 영상 정합은 스테레오 영상 분석을 위한 대표적인 방법이다. SAD (Sum of Absolute Difference) 알고리즘은 영역 기반 정합 알고리즘의 한 종류로서 대규모 데이터 집약적 계산을 요구하여 소프트웨어 방식을 사용할 경우 처리속도가 매우 느리게 된다. 본 논문에서는 소프트웨어 기반 SIMD (Single Instruction Multiple Data) 병렬 기법인 SSE (Streaming SIMD Extensions) 명령어를 이용한 고속 SAD 알고리즘을 제안한다. SSE 명령어를 지원하는 CPU는 16개의 128비트 크기의 XMM 레지스터를 보유하여 SIMD 명령어 집합 확장을 가능하게 하였다. 제안하는 소프트웨어 기반 병렬 고속화 기법의 성능 측정을 위하여 일반적 SAD를 이용한 영상 정합 알고리즘과 SSE 명령어를 사용한 알고리즘의 수행 속도차이를 측정하였다. 제안하는 기법은 일반적 SAD 알고리즘보다 평균 4배의 성능 향상의 결과를 보임으로 소프트웨어 기반 고속병렬 처리를 통한 실시간 스테레오 비전 응용분야에 효과적으로 적용될 수 있음을 보였다.

효율적인 ROLAP 큐브 생성 방법 (An Efficient ROLAP Cube Generation Scheme)

  • 김명;송지숙
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권2호
    • /
    • pp.99-109
    • /
    • 2002
  • ROLAP(Relational Online Analytical Processing)은 다차원적 데이타 분석을 위한 제반 기술로써, 전사적 데이타 웨어하우스로부터 고부가가치를 창출하는데 필수적인 기술이다. 질의처리 성능을 높이기 위해서 대부분의 ROLAP 시스템들은 집계 테이블들을 미리 계산해 둔다. 이를 큐브 생성이라고 하며, 이 과정에서 기존의 방법들은 데이타를 여러 차례 정렬해야 하고 이는 큐브 생성의 성능을 저하시키는 큰 요인이다. (1)은 MOLAP 큐브 생성 알고리즘을 통해 간접적으로 ROLAP 큐브를 생성하는 것이 훨씬 빠르다는 것을 보였다. 본 연구에서도 MOLAP 큐브 생성 알고리즘을 사용한 신속하고 확장적인 ROLAP 큐브 생성 알고리즘을 제시하였다. 분석할 입력 사실 테이블을 적절하게 조각내어 메모리 효율을 높였고, 집계 테이블들을 최소 부모 집계 테이블로부터 생성하도록 하여 큐브 생성 시간을 단축하였다. 제안한 방법의 효율성은 실험을 통해 검증하였다.

Intelligent Character Recognition System for Account Payable by using SVM and RBF Kernel

  • Farooq, Muhammad Umer;Kazi, Abdul Karim;Latif, Mustafa;Alauddin, Shoaib;Kisa-e-Zehra, Kisa-e-Zehra;Baig, Mirza Adnan
    • International Journal of Computer Science & Network Security
    • /
    • 제22권11호
    • /
    • pp.213-221
    • /
    • 2022
  • Intelligent Character Recognition System for Account Payable (ICRS AP) Automation represents the process of capturing text from scanned invoices and extracting the key fields from invoices and storing the captured fields into properly structured document format. ICRS plays a very critical role in invoice data streamlining, we are interested in data like Vendor Name, Purchase Order Number, Due Date, Total Amount, Payee Name, etc. As companies attempt to cut costs and upgrade their processes, accounts payable (A/P) is an example of a paper-intensive procedure. Invoice processing is a possible candidate for digitization. Most of the companies dealing with an enormous number of invoices, these manual invoice matching procedures start to show their limitations. Receiving a paper invoice and matching it to a purchase order (PO) and general ledger (GL) code can be difficult for businesses. Lack of automation leads to more serious company issues such as accruals for financial close, excessive labor costs, and a lack of insight into corporate expenditures. The proposed system offers tighter control on their invoice processing to make a better and more appropriate decision. AP automation solutions provide tighter controls, quicker clearances, smart payments, and real-time access to transactional data, allowing financial managers to make better and wiser decisions for the bottom line of their organizations. An Intelligent Character Recognition System for AP Automation is a process of extricating fields like Vendor Name, Purchase Order Number, Due Date, Total Amount, Payee Name, etc. based on their x-axis and y-axis position coordinates.

Conjugate Point Extraction for High-Resolution Stereo Satellite Images Orientation

  • Oh, Jae Hong;Lee, Chang No
    • 한국측량학회지
    • /
    • 제37권2호
    • /
    • pp.55-62
    • /
    • 2019
  • The stereo geometry establishment based on the precise sensor modeling is prerequisite for accurate stereo data processing. Ground control points are generally required for the accurate sensor modeling though it is not possible over the area where the accessibility is limited or reference data is not available. For the areas, the relative orientation should be carried out to improve the geometric consistency between the stereo data though it does not improve the absolute positional accuracy. The relative orientation requires conjugate points that are well distributed over the entire image region. Therefore the automatic conjugate point extraction is required because the manual operation is labor-intensive. In this study, we applied the method consisting of the key point extraction, the search space minimization based on the epipolar line, and the rigorous outlier detection based on the RPCs (Rational Polynomial Coefficients) bias compensation modeling. We tested different parameters of window sizes for Kompsat-2 across track stereo data and analyzed the RPCs precision after the bias compensation for the cases whether the epipolar line information is used or not. The experimental results showed that matching outliers were inevitable for the different matching parameterization but they were successfully detected and removed with the rigorous method for sub-pixel level of stereo RPCs precision.

Developing a Dynamic Materialized View Index for Efficiently Discovering Usable Views for Progressive Queries

  • Zhu, Chao;Zhu, Qiang;Zuzarte, Calisto;Ma, Wenbin
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.511-537
    • /
    • 2013
  • Numerous data intensive applications demand the efficient processing of a new type of query, which is called a progressive query (PQ). A PQ consists of a set of unpredictable but inter-related step-queries (SQ) that are specified by its user in a sequence of steps. A conventional DBMS was not designed to efficiently process such PQs. In our earlier work, we introduced a materialized view based approach for efficiently processing PQs, where the focus was on selecting promising views for materialization. The problem of how to efficiently find usable views from the materialized set in order to answer the SQs for a PQ remains open. In this paper, we present a new index technique, called the Dynamic Materialized View Index (DMVI), to rapidly discover usable views for answering a given SQ. The structure of the proposed index is a special ordered tree where the SQ domain tables are used as search keys and some bitmaps are kept at the leaf nodes for refined filtering. A two-level priority rule is adopted to order domain tables in the tree, which facilitates the efficient maintenance of the tree by taking into account the dynamic characteristics of various types of materialized views for PQs. The bitmap encoding methods and the strategies/algorithms to construct, search, and maintain the DMVI are suggested. The extensive experimental results demonstrate that our index technique is quite promising in improving the performance of the materialized view based query processing approach for PQs.