• 제목/요약/키워드: Data Architecture

검색결과 6,983건 처리시간 0.033초

Data anomaly detection for structural health monitoring using a combination network of GANomaly and CNN

  • Liu, Gaoyang;Niu, Yanbo;Zhao, Weijian;Duan, Yuanfeng;Shu, Jiangpeng
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.53-62
    • /
    • 2022
  • The deployment of advanced structural health monitoring (SHM) systems in large-scale civil structures collects large amounts of data. Note that these data may contain multiple types of anomalies (e.g., missing, minor, outlier, etc.) caused by harsh environment, sensor faults, transfer omission and other factors. These anomalies seriously affect the evaluation of structural performance. Therefore, the effective analysis and mining of SHM data is an extremely important task. Inspired by the deep learning paradigm, this study develops a novel generative adversarial network (GAN) and convolutional neural network (CNN)-based data anomaly detection approach for SHM. The framework of the proposed approach includes three modules : (a) A three-channel input is established based on fast Fourier transform (FFT) and Gramian angular field (GAF) method; (b) A GANomaly is introduced and trained to extract features from normal samples alone for class-imbalanced problems; (c) Based on the output of GANomaly, a CNN is employed to distinguish the types of anomalies. In addition, a dataset-oriented method (i.e., multistage sampling) is adopted to obtain the optimal sampling ratios between all different samples. The proposed approach is tested with acceleration data from an SHM system of a long-span bridge. The results show that the proposed approach has a higher accuracy in detecting the multi-pattern anomalies of SHM data.

기반체계 아키텍처 개발을 위한 MND-AMM 개선 연구 (A study on the improvement of MND-AMM for the expanded application to the architecture development of infra systems)

  • 윤태훈;김의환
    • 시스템엔지니어링학술지
    • /
    • 제11권1호
    • /
    • pp.25-31
    • /
    • 2015
  • Under the relevant regulations, it is required to develop a system architecture for the research and development of the information and communication infra system ; however, the national defense architecture development guides and MND-AF, which provide the instructions on the development and utilization of a system architecture, are still limited to the ITA level and merely providing the guidelines for developing the information system centric architecture. Thus, it is evident that we need a suitable architecture development methodology that corresponds to the growing needs for the communication infra system architecture, as well as the general weapon system architecture. Improving a meta-model is the core of improving a architecture framework. It determines a contents of a architecture and it influences a efficiency and a effectiveness of a architecture. The meta-model of the architecture framework must reflect concerns of various stakeholders and provide a traceability among them. Also, it should be easy to develop and use the architecture by securing the feasibility of the logical relationships and eliminating the duplication of the data inside the architecture. It is implemented through the development of the data-centric architecture and achieved through the "Fit-for-purpose" concept.

인터넷 구조 기반의 동적 데이터 그리드 복제 정책 (A Dynamic Data Grid Replication Strategy Based on Internet Architecture)

  • 김준상;이원주;전창호
    • 전자공학회논문지CI
    • /
    • 제45권3호
    • /
    • pp.1-6
    • /
    • 2008
  • 데이터 그리드는 지리적으로 분산된 대용량의 데이터 자원을 광대역 통신망을 통해 공유한다. 이러한 그리드 환경은 물리적 네트워크인 인터넷 상에서 구현되기 때문에 대용량의 데이터를 전송하는데 많은 시간이 소요된다. 이러한 문제를 극복하기 위해서 여러 가지 복제 정책들이 제안되었는데, 기존의 데이터 그리드 복제 정책은 실제 인터넷의 구조를 고려하지 않고 논리적인 토폴로지를 바탕으로 제안되었기 때문에 실제 구축된 데이터 그리드에서 최적의 성능을 기대할 수 없다. 그리드에서 데이터 접근시간은 물리적 네트워크인 인터넷의 구조에 의해 가장 큰 영향을 받기 때문이다. 본 논문에서는 인터넷 구조 기반의 새로운 데이터 그리드 복제 정책으로 RSIA(Replication Strategy based on Internet Architecture) 복제 정책을 제안한다. 이 정책은 인터넷의 각 요소들 사이에 존재하는 구조적인 계층성을 고려하여 데이터 복사본을 배치하고, 데이터 전송 시 대역폭의 병목 구간을 피함으로써 시스템의 성능 저하를 줄인다. 본 논문에서는 시뮬레이션을 통하여 제안하는 RSIA가 기존의 복제 정책에 비해 데이터 그리드의 성능 향상 면에서 우수함을 보인다.

SBA AF의 구축을 지원하는 온톨로지의 설계 및 구현(ONT-SAF) (The Design and Implementation of Ontology for Simulation based Architecture Framework (ONT-AF) in Military Domain)

  • 권영민;손미애;이우기
    • 정보화연구
    • /
    • 제9권3호
    • /
    • pp.233-241
    • /
    • 2012
  • 본 연구는 SBA AF의 효율적인 구축을 지원하기 위해 Architecture framework(AF)는 Enterprise Architecture(EA)를 운영하고 개발하기 위해 필요한 요소들을 정의하고 그 요소들간의 관계를 파악하기 위한 가이드라인이다. 정부 및 여러 분야에서는 자크만 프레임워크, DoDAF, TOGAF, FEAF와 TEAF 등을 비롯한 많 아키텍처 프레임워크를 사용하고 있다. DoDAF는 국방분야에서 EA의 개발을 지원하기 위해 사용되는 가장 대표적은 아키텍처 프레임워크이다. DoDAF는 8개의 viewpoint와 40개의 view로 구성되어 있다. 특정목저에 맞춰 아키텍처프레임워크를 개발하기 위하여서는 시스템 아키텍트는 일련의 view들 및 해당 view들을 모델링하기 위해 필요한 data들을 선택하여야 한다. 그러나 DoDAF에는 다수의 view 및 data들과 이 들 사이에는 복잡한 연관관계들이 존재한다. 따라서 특정목적을 달성하기 위한 아키텍처 프레임워크를 개발하기 위하여선 매우 많은 시간과 노력이 필요하다. 이러한 시스템 아키텍트의 노력을 줄이기 위하여 본 연구에서는 뷰들사이에 존재하는 순서나 이행 혹은 상호참조관계등을 고려한 ONT-DAF(DoDAF를 위한 온톨로지)를 개발하였다. 또한 단일 아키텍처 프레임워크 내에 존재하는 view와 data의 재사용성을 위하여 DoDAF 가이드라인에 통합적으로 존재하는 view-data의 정보들을 각각 분리하여 구축하였다. 이러한 ONT-DAF는 'viewpoint', 'data', 'view', 'expression method'와 'reference model'의 5개의 class와 'has data', 'has view', 'has related view' 등 총 16개의 properties로 구성되어 있으며 이를 활용하기 위하여 JESS engine과 SWRL rule을 활용한 총 4가지 유형의 8개의 룰을 사용하였다. 본 연구의 효과성을 입증하기 위하여 MoDAF에 존재하는 AV-1의 사례를 기반으로한 사례연구를 진행하였다. 그 결과 본 ONT-DAF를 활용하였을 경우 시스템 아키텍트가 초기에 얻을 수 있는 정보가 단순 view많이 아닌 해당 view와 연관된 view 및 그 들 사이에 존재하는 연관관계와 view를 모델링하기 위해 필요한 data를 포함한 정보들을 제공함으로써 ONT-DAF의 효과성을 입증하였다.

데이터 웨어하우징을 이용한 공군 EIS 아키텍처 (An Executive Information Systems Architecture for the Air Force Using Data Warehousing)

  • 최준섭;서의호;서창교
    • Asia pacific journal of information systems
    • /
    • 제8권3호
    • /
    • pp.1-20
    • /
    • 1998
  • We propose an Executive Information Systems (EIS) Architecture for chief officers of the Air Force using data warehousing method. This architecture has two main proposes. The one is to provide the information for chief officers to control and command their organizations effectively by analyzing operation data at normal times. The other is to provide chief officers with the information about current situation so that they may make right and rapid decisions at emergency. The architecture introduced here is one that analyzes operational trends as well as current trends in a hierarchical organization environment. System analysis and design techniques for the Air Force EIS such as data flow diagram, system structure, entity-relational diagram, and third normal form of relational database were presented. After prototype screens are demonstrated, benefits of new EIS architecture were also discussed as a conclusion.

  • PDF

Apache Kudu와 Impala를 활용한 Lambda Architecture 설계 (Lambda Architecture Used Apache Kudu and Impala)

  • 황윤영;이필원;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.207-212
    • /
    • 2020
  • 데이터의 양은 기술의 발전으로 크게 증가하였고 이를 처리하기 위해 다양한 빅데이터 처리 플랫폼이 등장하고 있다. 이 중 가장 널리 사용되고 있는 플랫폼이 Apache 소프트웨어 재단에서 개발한 하둡이며, 하둡은 IoT 분야에도 사용된다. 그러나 기존에 하둡 기반 IoT 센서 데이터 수집 분석 환경은 하둡의 코어 프로젝트인 HDFS의 Small File로 인한 네임노드의 과부하 문제와 임포트된 데이터의 업데이트나 삭제가 불가능하다는 문제가 있다. 본 논문에서는 Apache Kudu와 Impala를 활용해 Lambda Architecture를 설계한다. 제안하는 구조는 IoT 센서 데이터를 Cold-Data와 Hot-Data로 분류해 각 성격에 맞는 스토리지에 저장하고 배치를 통해 생성된 배치뷰와 Apache Kudu와 Impala를 통해 생성된 실시간뷰를 활용해 기존 하둡 기반 IoT 센서 데이터 수집 분석 환경의 문제를 해결하고 사용자가 분석된 데이터에 접근하는 시간을 단축한다.

Bayesian forecasting approach for structure response prediction and load effect separation of a revolving auditorium

  • Ma, Zhi;Yun, Chung-Bang;Shen, Yan-Bin;Yu, Feng;Wan, Hua-Ping;Luo, Yao-Zhi
    • Smart Structures and Systems
    • /
    • 제24권4호
    • /
    • pp.507-524
    • /
    • 2019
  • A Bayesian dynamic linear model (BDLM) is presented for a data-driven analysis for response prediction and load effect separation of a revolving auditorium structure, where the main loads are self-weight and dead loads, temperature load, and audience load. Analyses are carried out based on the long-term monitoring data for static strains on several key members of the structure. Three improvements are introduced to the ordinary regression BDLM, which are a classificatory regression term to address the temporary audience load effect, improved inference for the variance of observation noise to be updated continuously, and component discount factors for effective load effect separation. The effects of those improvements are evaluated regarding the root mean square errors, standard deviations, and 95% confidence intervals of the predictions. Bayes factors are used for evaluating the probability distributions of the predictions, which are essential to structural condition assessments, such as outlier identification and reliability analysis. The performance of the present BDLM has been successfully verified based on the simulated data and the real data obtained from the structural health monitoring system installed on the revolving structure.

데이터 웨어하우스를 이용한 임원정보시스템 구축용 아키텍쳐 (An Architecture for Implementing Executive Information System Using Data Warehouse)

  • 이희석;홍의기;김태훈
    • Asia pacific journal of information systems
    • /
    • 제7권1호
    • /
    • pp.7-24
    • /
    • 1997
  • Executive information system (EIS) is a computer-based information system that supports decision makings ana management activities for senior executives. Data warehouse is a database that receives data copies from legacy systems and external data sources. Data warehouse is typically optimized for decision supports and can be an attractive solution for EIS implementation. This paper proposes an architecture for implementing EIS by the use of data warehouse. The architecture consists of ten implementation layers. Interrelationships among these layers are investigated for an effective EIS implementation. An EIS prototype for a real-fife enterprise is implemented to demonstrate the usefulness of the proposed architecture.

  • PDF

데이터 웨어하우스를 이용한 임원정보시스템 구축용 아키텍쳐 (An architecture for implementing executive information system using data warehouse)

  • 이희석;홍의기;김태훈
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1996년도 추계학술대회발표논문집; 고려대학교, 서울; 26 Oct. 1996
    • /
    • pp.254-257
    • /
    • 1996
  • Executive information system (EIS) is a computer-based information system that supports decision makings and management activities for senior executives. Data warehouse is a database that receives data copies from legacy systems and external data sources. Data warehouse is typically optimized for decision supports and can be an attractive solution for EIS implementation. This paper proposes an architecture for implementing EIS by the use of data warehouse. The architecture consists of ten implementation layers. Interrelationships among these layers are investigated for an effective EIS implementation. An EIS prototype for a real-life enterprise is implemented to demonstrate the usefulness of the proposed architecture.

  • PDF

마스터 데이터를 활용한 마이크로 서비스 아키텍처에서의 데이터베이스 리버스 엔지니어링 (Database Reverse Engineering Using Master Data in Microservice Architecture)

  • 신광철;이춘열
    • 한국정보통신학회논문지
    • /
    • 제23권5호
    • /
    • pp.523-532
    • /
    • 2019
  • 마이크로 서비스 아키텍처는 매우 밀접한 비즈니스 기능을 수행하기 위한 목적으로 시스템을 소형 경량 서비스로 분할하는 것에 중점을 두고 있기 때문에 민첩성, 개발 생산성, 신뢰성, 배포 용이성에만 집중하는 경향이 있다. 마이크로 서비스 아키텍처에서 바라보는 데이터베이스는 단지 데이터를 저장하고 추출하는 파일 혹은 스토리지이며, 소프트웨어 개발 편리성과 확장성을 위해서 데이터 품질은 희생될 수 있음을 강조한다. 데이터베이스 구조와 데이터 의미를 이해하기 위해 사용되는 데이터베이스 리버스 엔지니어링은 비즈니스 의사 결정을 위한 데이터 활용을 위해 필요하다. 하지만, 데이터 품질을 경시하는 마이크로 서비스 아키텍처에서는 리버스 데이터베이스 엔지니어링 적용에 어려움이 있다. 본 연구는 해결책으로써 개념 데이터 모델 복원 시 마스터 데이터를 활용한 데이터 리버스 엔지니어링 방법을 제안한다. 적용 사례로 마이크로 서비스 아키텍처로 구현된 반품 서비스 데이터베이스에 제안 방법을 구현하여 적용 가능성을 검증하였다.