• 제목/요약/키워드: Large-Scale Data

검색결과 2,787건 처리시간 0.031초

대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법 (RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data)

  • 권순현;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.686-698
    • /
    • 2014
  • 최근 스마트폰의 폭발적인 보급, IoT와 클라우드 컴퓨팅 기술의 고도화, 그리고 IoT 디바이스의 보편화로 대용량 스트리밍 센싱데이터가 출현하였다. 또한 이를 기반으로 데이터의 공유와 매쉬업 통해 새로운 데이터의 가치를 창출하기 위한 요구사항의 증대로 대용량 스트리밍 센싱데이터 환경에서 시맨틱웹 기술과의 접목에 관한 연구가 활발히 진행되고 있다. 하지만 데이터의 대용량성 스트리밍성으로 인해 새로운 지식을 도출하기 위한 지식 추론분야에서 많은 이슈들에 직면하고 있다. 이러한 배경하에, 본 논문에서는 IoT 환경에서 발생하는 대용량 스트리밍 센싱데이터를 시맨틱웹 기술로 처리하여 서비스하기 위해 RDFS 규칙기반 병렬추론 기법을 제시한다. 제안된 기법에서는 기존의 규칙추론 알고리즘인 Rete 알고리즘을 하둡프레임워크 맵리듀스를 통해 병렬로 수행하고, 공용 스토리지로서 하둡 데이터베이스인 HBase를 사용하여 데이터를 공유한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센싱데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하고, 이를 입증한다.

형상관리기법을 활용한 대형 프로젝트 정보화 전략개발 (A Study on Information Strategy Development Using Configuration Management in Large-scale Construction Project)

  • 원서경
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2018년도 춘계 학술논문 발표대회
    • /
    • pp.66-67
    • /
    • 2018
  • Large-scale construction projects require various license and technologies for the manufacturing and handling processes. Also, the whole life cycle business process management determines the success of the project. Then, the efficiency of the business conducted by stakeholders and their possessed technology should be enhanced in order to strengthen their competitive power. For this reason, many experts pointed out to focus on the improvement of the life cycle process and efficient management. Since it is very important to keep up-to-date data and utilize it for work during the long-term project to reflect changes in the large-scale project, the most important part of the project management in project is information change management. Therefore, the objective of this study is applying configuration management(CM) technique in order to managing change data generated for planning in early phase. The result of this research will certainly assist the large-scale project managers in the development of information change management system.

  • PDF

CXL 인터커넥트 기술 연구개발 동향 (Trends in Compute Express Link(CXL) Technology)

  • 김선영;안후영;박유미;한우종
    • 전자통신동향분석
    • /
    • 제38권5호
    • /
    • pp.23-33
    • /
    • 2023
  • With the widespread demand from data-intensive tasks such as machine learning and large-scale databases, the amount of data processed in modern computing systems is increasing exponentially. Such data-intensive tasks require large amounts of memory to rapidly process and analyze massive data. However, existing computing system architectures face challenges when building large-scale memory owing to various structural issues such as CPU specifications. Moreover, large-scale memory may cause problems including memory overprovisioning. The Compute Express Link (CXL) allows computing nodes to use large amounts of memory while mitigating related problems. Hence, CXL is attracting great attention in industry and academia. We describe the overarching concepts underlying CXL and explore recent research trends in this technology.

Enhancing Network Service Survivability in Large-Scale Failure Scenarios

  • Izaddoost, Alireza;Heydari, Shahram Shah
    • Journal of Communications and Networks
    • /
    • 제16권5호
    • /
    • pp.534-547
    • /
    • 2014
  • Large-scale failures resulting from natural disasters or intentional attacks are now causing serious concerns for communication network infrastructure, as the impact of large-scale network connection disruptions may cause significant costs for service providers and subscribers. In this paper, we propose a new framework for the analysis and prevention of network service disruptions in large-scale failure scenarios. We build dynamic deterministic and probabilistic models to capture the impact of regional failures as they evolve with time. A probabilistic failure model is proposed based on wave energy behaviour. Then, we develop a novel approach for preventive protection of the network in such probabilistic large-scale failure scenarios. We show that our method significantly improves uninterrupted delivery of data in the network and reduces service disruption times in large-scale regional failure scenarios.

A Study on Competition Analysis in Retail Distribution Industry Using GIS in Seoul

  • YOO, Byong-Kook;KIM, Soon-Hong
    • 유통과학연구
    • /
    • 제19권3호
    • /
    • pp.49-60
    • /
    • 2021
  • Purpose: This study aims to utilize geographic data to analyze how various retail formats of large-scale stores around the traditional market affect the performance of the traditional market in Seoul, Korea. Research design, data, and methodology: The two types of catchment areas were demarcated (circle of 1km radius and Thiessen polygon) for each traditional market, and the large-scale stores located within each catchment area were identified for 153 traditional markets in Seoul, Korea. Additionally, multiple regression analysis was utilized. Results: The results revealed that the influence on the performance of the traditional markets were different depending on the retail format of the large-scale stores. Large discount stores were found to have a negative effect on the sales and the visitors of traditional markets, whereas complex shopping malls and department stores had a positive effect on the traditional markets. Conclusions: As a result of the differences in the retail format such as product categories and leisure functions, the impact of some large-scale stores on the traditional market may have a greater agglomeration effect than the consumer churn effect. Therefore, it is suggested that in the regulation of these large-scale stores, the differences in retail format should be considered for the future.

해시 트리 기반의 대규모 데이터 서명 시스템 구현 (Implementation of the Large-scale Data Signature System Using Hash Tree Replication Approach)

  • 박승규
    • 융합보안논문지
    • /
    • 제18권1호
    • /
    • pp.19-31
    • /
    • 2018
  • ICT기술이 발전함에 따라 산업 전분야에 걸쳐 이전보다 훨씬 많은 디지털 데이터들이 생성, 이동, 보관, 활용되고 있다. 산출되는 데이터의 규모가 커지고 이를 활용하는 기술들이 발전함에 따라 대규모 데이터 기반의 신 서비스들이 등장하여 우리의 생활을 편리하게 하고 있으나 반대로 이들 데이터를 위변조 하거나 생성 시간을 변경하는 사이버 범죄 또한 증가하고 있다. 이에 대한 보안을 위해서는 데이터에 대한 무결성 및 시간 검증 기술이 필요한데 대표적인 것이 공개키 기반의 서명 기술이다. 그러나 공개키 기반의 서명 기술의 사용은 인증서와 키 관리 등에 필요한 부가적인 시스템 자원과 인프라 소요가 많아 대규모 데이터 환경에서는 적합하지 않다. 본 연구에서는 해시 함수와 머클 트리를 기반으로 시스템 자원의 소모가 적고, 동시에 대규모 데이터에 대해 서명을 할 수 있는 데이터 서명 기법을 소개하고, 서버 고장 등 장애 상황에서도 보다 안정적인 서비스가 가능하도록 개선한 해시 트리 분산 처리 방법을 제안하였다. 또한, 이 기술을 구현한 시스템을 개발하고 성능분석을 실시하였다. 본 기술은 클라우드, 빅데이터, IoT, 핀테크 등 대량의 데이터가 산출되는 분야에서 데이터 보안을 담보하는 효과적인 기술로써 크게 활용될 수 있다.

  • PDF

Large-scale 3D fast Fourier transform computation on a GPU

  • Jaehong Lee;Duksu Kim
    • ETRI Journal
    • /
    • 제45권6호
    • /
    • pp.1035-1045
    • /
    • 2023
  • We propose a novel graphics processing unit (GPU) algorithm that can handle a large-scale 3D fast Fourier transform (i.e., 3D-FFT) problem whose data size is larger than the GPU's memory. A 1D FFT-based 3D-FFT computational approach is used to solve the limited device memory issue. Moreover, to reduce the communication overhead between the CPU and GPU, we propose a 3D data-transposition method that converts the target 1D vector into a contiguous memory layout and improves data transfer efficiency. The transposed data are communicated between the host and device memories efficiently through the pinned buffer and multiple streams. We apply our method to various large-scale benchmarks and compare its performance with the state-of-the-art multicore CPU FFT library (i.e., fastest Fourier transform in the West [FFTW]) and a prior GPU-based 3D-FFT algorithm. Our method achieves a higher performance (up to 2.89 times) than FFTW; it yields more performance gaps as the data size increases. The performance of the prior GPU algorithm decreases considerably in massive-scale problems, whereas our method's performance is stable.

고차원 대용량 자료의 시각화에 대한 고찰 (A study on high dimensional large-scale data visualization)

  • 이은경;황나영;이윤동
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1061-1075
    • /
    • 2016
  • 본 논문에서는 고차원 대용량 자료의 시각화에서 발생할 수 있는 문제점들을 살펴보고 이에 대하여 개발된 방법들에 대하여 논의하였다. 고차원 자료의 경우 2차원 공간상에 표현하기 위하여 중요 변수를 선택해야하며 다양한 시각적 표현 속성과 다면화 방법을 이용하여 좀 더 많은 변수들을 표현할 수 있었다. 또한 관심있는 뷰를 보이는 낮은 차원을 찾는 사영추정방법을 이용할 수 있다. 대용량 자료에서는 점들이 겹쳐지는 문제점을 흩트림과 알파 블렌딩 등을 이용하여 해결할 수 있었다. 또한 고차원 대용량 자료의 탐색을 위하여 개발된 R 패키지인 tabplot과 scagnostics, 그리고 대화형 웹 그래프를 위한 다양한 형태의 R 패키지들을 살펴보았다.

화강암-안산암 접촉부 대규모 사면의 붕괴 사례 연구 (A case study of large-scale slope failure in Granite - Andesite contact area)

  • 이수곤;양홍석;황의성
    • 한국지반공학회:학술대회논문집
    • /
    • 한국지반공학회 2003년도 봄 학술발표회 논문집
    • /
    • pp.503-508
    • /
    • 2003
  • In this study, we peformed ahead a field geological investigation, boring investigation for slope stability analysis in large scale slope failure area. But the geological stratum was not clearly grasped, because ground was very disturbed by large scale Granite intrusion. Furthermore, the existing test data was not pertinent to the large scale Granite intrusion site like here. Therefore, various kind of field test were performed to grasp clearly for geological stratum. And the results of back analysis, various kind tests used to slope stability analysis.

  • PDF

Design of Distributed Cloud System for Managing large-scale Genomic Data

  • Seine Jang;Seok-Jae Moon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권2호
    • /
    • pp.119-126
    • /
    • 2024
  • The volume of genomic data is constantly increasing in various modern industries and research fields. This growth presents new challenges and opportunities in terms of the quantity and diversity of genetic data. In this paper, we propose a distributed cloud system for integrating and managing large-scale gene databases. By introducing a distributed data storage and processing system based on the Hadoop Distributed File System (HDFS), various formats and sizes of genomic data can be efficiently integrated. Furthermore, by leveraging Spark on YARN, efficient management of distributed cloud computing tasks and optimal resource allocation are achieved. This establishes a foundation for the rapid processing and analysis of large-scale genomic data. Additionally, by utilizing BigQuery ML, machine learning models are developed to support genetic search and prediction, enabling researchers to more effectively utilize data. It is expected that this will contribute to driving innovative advancements in genetic research and applications.