• 제목/요약/키워드: Massive Data Processing

검색결과 231건 처리시간 0.025초

데이터 마이닝 기반의 6 시그마 방법론 : 철강산업 적용사례 (A Six Sigma Methodology Using Data Mining : A Case Study of "P" Steel Manufacturing Company)

  • 장길상
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제20권3호
    • /
    • pp.1-24
    • /
    • 2011
  • Recently, six sigma has been widely adopted in a variety of industries as a disciplined, data-driven problem solving approach or methodology supported by a handful of powerful statistical tools in order to reduce variation through continuous process improvement. Also, data mining has been widely used to discover unknown knowledge from a large volume of data using various modeling techniques such as neural network, decision tree, regression analysis, etc. This paper proposes a six sigma methodology based on data mining for effectively and efficiently processing massive data in driving six sigma projects. The proposed methodology is applied in the hot stove system which is a major energy-consuming process in a "P" steel company for improvement of heat efficiency through reduction of energy consumption. The results show optimal operation conditions and reduction of the hot stove energy cost by 15%.

A review on deep learning-based structural health monitoring of civil infrastructures

  • Ye, X.W.;Jin, T.;Yun, C.B.
    • Smart Structures and Systems
    • /
    • 제24권5호
    • /
    • pp.567-585
    • /
    • 2019
  • In the past two decades, structural health monitoring (SHM) systems have been widely installed on various civil infrastructures for the tracking of the state of their structural health and the detection of structural damage or abnormality, through long-term monitoring of environmental conditions as well as structural loadings and responses. In an SHM system, there are plenty of sensors to acquire a huge number of monitoring data, which can factually reflect the in-service condition of the target structure. In order to bridge the gap between SHM and structural maintenance and management (SMM), it is necessary to employ advanced data processing methods to convert the original multi-source heterogeneous field monitoring data into different types of specific physical indicators in order to make effective decisions regarding inspection, maintenance and management. Conventional approaches to data analysis are confronted with challenges from environmental noise, the volume of measurement data, the complexity of computation, etc., and they severely constrain the pervasive application of SHM technology. In recent years, with the rapid progress of computing hardware and image acquisition equipment, the deep learning-based data processing approach offers a new channel for excavating the massive data from an SHM system, towards autonomous, accurate and robust processing of the monitoring data. Many researchers from the SHM community have made efforts to explore the applications of deep learning-based approaches for structural damage detection and structural condition assessment. This paper gives a review on the deep learning-based SHM of civil infrastructures with the main content, including a brief summary of the history of the development of deep learning, the applications of deep learning-based data processing approaches in the SHM of many kinds of civil infrastructures, and the key challenges and future trends of the strategy of deep learning-based SHM.

USN 기반의 화재감시 응용을 위한 센서 데이터 처리 시스템 (A Sensor Data Management System for USN based Fire Detection Application)

  • 박원익;김영국
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권5호
    • /
    • pp.135-145
    • /
    • 2011
  • 오늘날 센서 기술의 발전 및 보급으로 인해 USN 기반의 실시간 모니터링 응용에서의 센서 데이터 처리 시스템에 대한 연구가 활발히 진행 되고 있다. 센서 데이터는 시간에 따라 빠르게 변화하고 연속적인 저수준 상태의 방대한 양의 데이터를 생성하는 특성을 갖는다. 하지만 엔드유저는 상대적으로 고수준 상태의 데이터에 관심이 있기 때문에 빠르게 변화하고 연속적인 대량의 저수준 센서 데이터를 효과적으로 처리하는 시스템이 필수적이다. 본 논문에서는 USN 기반의 화재감시 응용에서 OLAP(On-Line Analytical Processing) 기술을 이용한 다차원 분석 질의 처리 기능과 학습기반 분류기를 통한 이상치 탐지 기능을 제공하는 센서 데이터 처리 시스템을 제안한다. 실험 시나리오를 통해 우리의 센서 데이터 처리 시스템에 대한 타당성을 검증하며 실험에 필요한 다양한 센서 데이터는 자체 개발한 센서 데이터 생성기를 이용한다.

Big Data 분석을 활용한 통신망 관리 시스템의 개선방안에 관한 연구 (A Study on the Enhancement Process of the Telecommunication Network Management using Big Data Analysis)

  • 구성환;신민수
    • 한국산학기술학회논문지
    • /
    • 제13권12호
    • /
    • pp.6060-6070
    • /
    • 2012
  • 시장의 변화 및 소비자의 요구 변화를 비롯한 기업 내외부의 상황변화에 대응해서 얼마나 빠르게 적응할 수 있는가 하는 것이 실시간 기업의 핵심요건이다. 이러한 실시간 기업이 가진 변화의 속도를 지원하기 위해서 최근 Big Data 처리 기술이 각광받고 있다. 특히 최근 유무선 통신망의 진화 및 고도화가 가속되고 있는 상황에서 대규모 통신 트래픽을 실시간으로 처리하여 안정된 서비스를 제공하는 것과 강력한 보안 관제 기능은 매우 필요하다. 따라서 본 논문은 클라우드 컴퓨팅 기반의 Big Data처리기술을 활용하여 통신 사업자들이 갖고 있는 경영상의 문제점을 해결하고 효과적인 통신망 관리 시스템의 운영에 관한 연구를 진행한다.

Large-scale 3D fast Fourier transform computation on a GPU

  • Jaehong Lee;Duksu Kim
    • ETRI Journal
    • /
    • 제45권6호
    • /
    • pp.1035-1045
    • /
    • 2023
  • We propose a novel graphics processing unit (GPU) algorithm that can handle a large-scale 3D fast Fourier transform (i.e., 3D-FFT) problem whose data size is larger than the GPU's memory. A 1D FFT-based 3D-FFT computational approach is used to solve the limited device memory issue. Moreover, to reduce the communication overhead between the CPU and GPU, we propose a 3D data-transposition method that converts the target 1D vector into a contiguous memory layout and improves data transfer efficiency. The transposed data are communicated between the host and device memories efficiently through the pinned buffer and multiple streams. We apply our method to various large-scale benchmarks and compare its performance with the state-of-the-art multicore CPU FFT library (i.e., fastest Fourier transform in the West [FFTW]) and a prior GPU-based 3D-FFT algorithm. Our method achieves a higher performance (up to 2.89 times) than FFTW; it yields more performance gaps as the data size increases. The performance of the prior GPU algorithm decreases considerably in massive-scale problems, whereas our method's performance is stable.

해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현 (Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants)

  • 김성수;원종호
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.840-845
    • /
    • 2015
  • 최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.

CUDA 기반의 병렬 프로그래밍을 통한 H.264/AVC 부호화 속도 향상 및 CPU 부하 경감 (Enhancement of H.264/AVC Encoding Speed and Reduction of CPU Load through Parallel Programming Based on CUDA)

  • 장은빈;하윤수
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제34권6호
    • /
    • pp.858-863
    • /
    • 2010
  • H.264/AVC를 이용한 동영상의 부호화에서 그 속도를 높이기 위해서는 움직임 예측시간을 줄이는 것이 매우 중요하다. 본 논문에서는 H.264/AVC 부호기의 오픈 소스인 x.264를 대상으로 움직임 예측 알고리즘을 CUDA 기반에서 구현함으로서 기존의 압축 기술 이상의 속도 향상 및 CPU의 점유율을 경감 시킬 수 있음을 검증한다.

VLBI 관측 데이터의 전송 알고리즘 개발과 서버와 RVDB 사이의 전송 시험 (Development of Transmission Algorithm of VLBI Observation Data and Transmission Experiment Between Server and RVDB)

  • 염재환;오세진;노덕규;정동규;오충식;윤영주;김효령
    • 융합신호처리학회논문지
    • /
    • 제15권4호
    • /
    • pp.183-191
    • /
    • 2014
  • 본 논문에서는 전파천문학에서 초고속 전송망을 위한 관측 데이터의 전송 알고리즘의 개발에 대해 기술한다. 전파망원경으로 관측한 VLBI 데이터 처리를 위한 전처리 과정으로, 데이터 전송 알고리즘은 대용량 스토리지 서버에 저장된 VLBI 데이터를 대전상관기의 동기재생처리장치(RVDB)에 1대 1 방식으로 동작하며 VDIF 규격과 VDIFCP, UDP 프로토콜을 사용한다. 제안방법은 대전상관기의 동기재생처리장치의 데이터 전송을 기다리고 있으면 대용량 스토리지 서버의 Mark5B VSI 규격으로 저장된 2048 Mbps 급 VLBI 관측 데이터를 읽은 후 UDP로 전송하는 방식이다. 제안방법의 유효성을 확인하기 위해 대용량 스토리지 서버와 RVDB OCTADDB 사이에 실제 VLBI 관측 데이터를 전송하고 전송 전후의 데이터에 대해 상관처리 시험을 수행한 후 결과를 비교하였으며, 데이터 전송손실이 없이 전송 전후의 결과가 동일함을 확인하였다. 향후 본 연구에서 개발한 데이터 전송 알고리즘은 KaVA 네트워크에서 e-VLBI로도 유용하게 활용할 수 있을 것으로 기대한다.

Binary XML을 이용한 전자출결시스템 설계 및 개발 (Design and Development of Electronic Attendance-absence Recording System Using Binary XML)

  • 이재건;염세훈;방혜자
    • 디지털산업정보학회논문지
    • /
    • 제11권3호
    • /
    • pp.11-19
    • /
    • 2015
  • Due to recent development in mobile devices, the mobile device utilization and many related applications have been increasing. Most of initial applications on mobile devices just showed simple information, but now they processes huge data. However, smart devices have certain limitations in processing massive data. Especially, if the size of data increases, the speed of data processing adversely decreases, so the performance of programs also decreases. If hardware specification of the mobile devices is not enough to handle it, response time will be drastically delayed. To overcome these drawbacks, most of application running on mobile devices communicate with their servers to manage data. XML is a proper language for data communication to send and receive data between servers and mobile devices, because it defines rules of document's format and it is a textual data format and small-sized language. However, mobile devices have limitation such as memory, CPU and wireless network to process huge data and XML also takes a lot of time to communicate with servers and devices and handle data, so it could be overhead in service time. Binary XML is an alternative of performance improvement in data processing, which has XML's benefits and minimizes the XML size by binary coding. However, most of binaryXML which are used on applications don't fit on mobile applications. In this paper, we surveyed many kinds of binaryXML, compared merits and demerits to find a binaryXML for mobile applications. We propose how to use binary XML and implemented an electronic attendance system using binary XML to overcome the limitation of XML and to reduce the load of data communications between servers and devices.

CMMI의 형상관리를 적용한 데이터웨어하우스 개발 프로세스의 개선 (Improvement of Datawarehouse Development Process by Applying the Configuration Management of CMMI)

  • 박종모;조경산
    • 정보처리학회논문지D
    • /
    • 제13D권4호
    • /
    • pp.625-632
    • /
    • 2006
  • 운영 서버의 데이터에서 다양한 분석 정보를 추출하여 저장하는 의사결정지원시스템인 데이터웨어하우스는 데이터의 품질과 대용량의 데이터를 처리하기 위한 처리 시간이 매우 중요하다. 따라서 데이터의 품질 안정화와 생산성 향상을 위해 개발 프로세스를 표준화하고 개선할 필요가 있다. 본 연구에서는 소프트웨어 프로세스 향상모델인 CMMI의 형상관리를 적용하여 개선된 데이터웨어하우스 개발 프로세스를 제안한다. 또한 개선된 개발 프로세스를 평가하기 위해 프로세스 평가 척도를 제시하고, 기존의 개발 프로세스와 비교하여 본 연구의 제안이 처리시간 감소에 따른 비용의 절감과 생산성의 향상을 지원하고, 품질의 향상과 재작업비율을 개선시켰음을 보인다.