• Title/Summary/Keyword: 데이터 파이프라인

Search Result 246, Processing Time 0.033 seconds

Preparation and Configuration Method to Enhance Cyber Resilience (사이버 복원력 강화를 위한 준비 및 구성방안)

  • Sunoh Choi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.190-192
    • /
    • 2023
  • 카카오 데이터 센터 화재 사건이나 콜로니얼 파이프라인 해킹 사건과 같이 시스템에 대한 다양한 공격이나 사고가 발생하고 이로 인하여 중요한 필수 서비스가 중단되는 문제가 발생하고 있다. 이러한 문제를 해결하기 위하여 사이버 복원력이 관심을 받고 있다. 사이버 복원력은 사이버 보안에 추가해서 예측, 내구, 회복, 적응의 목적을 가진다. 이 논문에서는 사이버 복원력이 무엇인지 소개하고 사이버 복원력을 기술적인 관점에서와 제도적인 관점에서 소개한다.

Design of Contents Curation System Based on Incremental Learning Technology for Big Data Mining (빅데이터 마이닝을 위한 점진적 학습 기반 콘텐츠 큐레이션 시스템 설계)

  • Min, Byung-Won
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.421-422
    • /
    • 2017
  • 콘텐츠 큐레이션 서비스를 위해서 대용량 데이터를 학습하는 과정에서 발생하는 메모리부족 문제, 학습소요시간 문제 등을 해결하기 위한 "대용량 문서학습을 위한 동적학습 파이프라인 생성기술 중 빅데이터 마이닝을 위한 점진적 학습 모델" 기술이 필요하며, 본 논문에서 제안한 콘텐츠 큐레이션 서비스는 온라인상의 수많은 콘텐츠들 중 개인의 주관이나 관점에 따라 관련 콘텐츠들을 수집, 정리하고 편집하여 이용자와 관련이 있거나 좋아할 만한 콘텐츠를 제공하는 서비스이다. 큐레이션 서비스에서는 개인비서, 금융 분야의 투자, 자율주행, 저널리즘, 효율적인 업무 지시/감독, 제조업의 자동화 공정, 교육, 콘텐츠 유통, 학술정보 등에서 컴퓨터가 방대한 양의 데이터로 부터 학습하여 사람의 일을 대신 처리하거나 의사결정에 도움을 줌으로써 업무의 효율을 높여주는 서비스 산업에 활용이 가능하다.

  • PDF

Efficient Value Rendering using Characteristic point of volume data (체적 데이터의 특징점을 이용한 효율적인 볼륨 랜더링)

  • Kim, Jin-Youl;Kim, Hyeong-Gyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.413-416
    • /
    • 2003
  • 본 논문에서는 3 차원 형태로 체적 데이터를 효율적으로 랜더링 하기 위해서, 체적 데이터의 특징점을 추출하고 이를 이용하여 3차원 형태로 복원하기 위해 3D Points 추출을 위한 PEF 과정과 정적 변환 파이프라인 과정 [6,7] 을 통한 랜더링 방법을 제안한다. 기존의 광선 추적에 비해 저화질의 영상을 나타내지만, 추출된 데이터만 고려하기 때문에 계산량이 줄어들어 그만큼의 랜더링 속도가 빨라짐을 볼 수가 있다. 또한, 기존의 광선 추적 기법에서 표현하는 회전, 절단, 축소/확대의 기능을 OpenGL을 이용하여 3 차원 랜더링 프로그램으로 제작하였다.

  • PDF

A Comparative Research on End-to-End Clinical Entity and Relation Extraction using Deep Neural Networks: Pipeline vs. Joint Models (심층 신경망을 활용한 진료 기록 문헌에서의 종단형 개체명 및 관계 추출 비교 연구 - 파이프라인 모델과 결합 모델을 중심으로 -)

  • Sung-Pil Choi
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.57 no.1
    • /
    • pp.93-114
    • /
    • 2023
  • Information extraction can facilitate the intensive analysis of documents by providing semantic triples which consist of named entities and their relations recognized in the texts. However, most of the research so far has been carried out separately for named entity recognition and relation extraction as individual studies, and as a result, the effective performance evaluation of the entire information extraction systems was not performed properly. This paper introduces two models of end-to-end information extraction that can extract various entity names in clinical records and their relationships in the form of semantic triples, namely pipeline and joint models and compares their performances in depth. The pipeline model consists of an entity recognition sub-system based on bidirectional GRU-CRFs and a relation extraction module using multiple encoding scheme, whereas the joint model was implemented with a single bidirectional GRU-CRFs equipped with multi-head labeling method. In the experiments using i2b2/VA 2010, the performance of the pipeline model was 5.5% (F-measure) higher. In addition, through a comparative experiment with existing state-of-the-art systems using large-scale neural language models and manually constructed features, the objective performance level of the end-to-end models implemented in this paper could be identified properly.

A Fundamental Study on Management Plan of Occurrence Data in Accordance with Engineering & Construction of Pipeline in Frozen Soil Region (동토지역 파이프라인 설계/시공에 따른 발생 데이터의 관리방안에 관한 기초연구)

  • Kim, Chang-Han;Won, Seo-Kyung;Lee, Jun-Bok;Han, Choong-Hee
    • Proceedings of the Korean Institute of Building Construction Conference
    • /
    • 2014.05a
    • /
    • pp.20-21
    • /
    • 2014
  • Recently, activation of related construction projects due to the large traditional gas resource development of frozen soil region of Russia are expected. It is necessary to provide a plan that can be utilized and collectively managed the occurrence data in the engineering & construction stage for continued contracts of the pipe construction. Therefore, this research is aimed to provide a management plan of occurrence data for efficient management in engineering & construction stage of pipeline business in frozen soil region. The data of the engineering & construction(related pipe construction projects) can be accumulated each version and multiply managed. Furthermore, I will be expected to be the foundation of the systematic management of the classifying based on metadata and the optimizing operations using big data method.

  • PDF

The Design of Adaptive Stream Engine for Multimedia Presentation with Guaranteed QoS (멀티미디어 연출 QoS 향상을 위한 적응적 스트림 처리기 설계)

  • 최원희;김정훈;박대원;오미경;임영환
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.817-819
    • /
    • 2001
  • Post PC 시대로 접어 들면서 이동 단말기를 비롯한 임베디드 기기에서 멀티미디어 스트림 서비스가 요구되고 있지만 데스크탑 PC에 비해서 컴퓨팅 파워가 부족하기 때문에 스트링 처리가 쉽지 않다. 이동단말기를 비롯한 임베디드 기기의 특징은 기종마다 멀티미디어 연출 QoS가 다르기 때문에 멀티미디어 스트림 처리가 어렵다. 본 논문에서 적응적 스트림 처리기를 제안한다. 적응적 스트림 처리기는 적응적 버퍼 관리 기법과 필터 파이프 라인으로 구성되어 있다. 적응적 버퍼 관리 기법으로 데이터의 양을 조절하고 필터 파이프 라인으로 데이터를 원하는 형태로 변형시켜서 다양한 멀티미디어 연출 QoS를 만족시킬수 있다.

  • PDF

Design of a Low Power MictoController Core for Intellectual Property applications (IP활용에 적합한 저전력 MCU CORE 설계)

  • Lee, Kwang-Youb;Lee, Dong-Yup
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.2
    • /
    • pp.470-476
    • /
    • 2000
  • This paper describes an IP design of a low-power microcontroller using an architecture level design methodology instead of a transistor level. To reduce switching capacitance, the register-toregister data transfer is adopted to frequently used register transfer micro-operations. Also, distributed buffers are proposed to reduce a input data rising edge time. To reduce power consumption without any loss of performance, pipeline processing should be used. In this paper, a 4-stage pipelined datapath being able to process CISC instructions is designed. Designed microcontroller lessens power consumption by 20%. To measure a power consumption, the SYNOPSYS EPIC powermill is used.

  • PDF

A Robust Disjoint Multipath Scheme based on Geographic Routing in Irregular Wireless Sensor Networks (불규칙적 무선센서네트워크에 강한 위치기반 다중경로 제공 방안)

  • Kim, Sung-Hwi;Park, Ho-Sung;Lee, Jeong-Cheol;Oh, Seung-Min;Kim, Sang-Ha
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.37 no.1B
    • /
    • pp.21-30
    • /
    • 2012
  • Sensor networks are composed of a great number of sensor nodes with constrained battery. Disjoint multipath scheme based flooding method has a merit that efficiently construct multipath in irregular networks, but causes lots of energy consumption in networks. Flooding method is not a suitable technology in wireless sensor networks with constrained battery. We introduce energy-efficient geographic routing scheme considered as an efficient, simple, and scalable routing protocol for wireless sensor networks. The geographic routing scheme on multipath generates a problem with a congestion. So we introduce the concept of multipath pipeline as a congestion avoidance strategy. But multipath pipelines have a big problem on the boundary of holes under irregular networks. We propose a novel disjoint multipath scheme as combined method with geographic routing scheme and hole detouring algorithm on multipath. A novel disjoint multipath scheme constructs disjoint multipath pipelines efficiently for reliability without a collision in irregular wireless sensor networks. Simulation results are provided to validate the claims.

Design of Moa Contents Curation Service System Based on Incremental Learning Technology (점진적 학습 기반 모아 콘텐츠 큐레이션 서비스 시스템 설계)

  • Lee, Jeong-won;Min, Byung-Won;Oh, Yong-Sun
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2018.05a
    • /
    • pp.401-402
    • /
    • 2018
  • 콘텐츠 큐레이션 서비스를 위해서 대용량 데이터를 학습하는 과정에서 발생하는 메모리부족 문제, 학습소요시간 문제 등을 해결하기 위한 "대용량 문서학습을 위한 동적학습 파이프라인 생성기술 중 빅데이터 마이닝을 위한 점진적 학습 모델" 기술이 필요하며, 본 논문에서 제안한 콘텐츠 큐레이션 서비스는 온라인상의 수많은 콘텐츠들 중 개인의 주관이나 관점에 따라 관련 콘텐츠들을 수집, 정리하고 편집하여 이용자와 관련이 있거나 좋아할 만한 콘텐츠를 제공하는 서비스이다. 본 논문에서 설계된 모아 큐레이션 서비스는 대용량의 문서를 학습함에 있어서 메모리 부족 문제, 학습 소요시간 문제 등을 해결하기 위해 학습데이터의 용량 제한이 없는 문서를 자유롭게 학습하고 부분적인 자질추가/변경 시에 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법 등을 제시하였다.

  • PDF

Genome Analysis Pipeline I/O Workload Analysis (유전체 분석 파이프라인의 I/O 워크로드 분석)

  • Lim, Kyeongyeol;Kim, Dongoh;Kim, Hongyeon;Park, Geehan;Choi, Minseok;Won, Youjip
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.2
    • /
    • pp.123-130
    • /
    • 2013
  • As size of genomic data is increasing rapidly, the needs for high-performance computing system to process and store genomic data is also increasing. In this paper, we captured I/O trace of a system which analyzed 500 million sequence reads data in Genome analysis pipeline for 86 hours. The workload created 630 file with size of 1031.7 Gbyte and deleted 535 file with size of 91.4 GByte. What is interesting in this workload is that 80% of all accesses are from only two files among 654 files in the system. Size of read and write request in the workload was larger than 512 KByte and 1 Mbyte, respectively. Majority of read write operations show random and sequential patterns, respectively. Throughput and bandwidth observed in each processing phase was different from each other.