• Title/Summary/Keyword: 데이터 파이프라인

Search Result 247, Processing Time 0.029 seconds

A Study on High-Level Pipeline Synthesis System: Data Path Synthesis and Control Synthesis (상위수준 파이프라인 합성시스템에 관한 연구: 데이트 경로 및 콘트롤 합성)

  • Kim, Jong-Tae
    • Journal of the Korean Society of Industry Convergence
    • /
    • v.3 no.4
    • /
    • pp.299-306
    • /
    • 2000
  • 이 논문은 파이프라인 함성을 위한 상위수준 데이터 경로 하성과 콘트롤 합성의 통합에 관한 연구이다. 현재 대부분의 상위수준 합성 방법은 콘트롤 영역의 영향을 무시하는데 보다 나은 설계를 위하여 데이터 경로디자인 영역과 콘트롤 디자인 영역을 통합하여 탐색하는 파이프라인 상위수준함성 도구를 구현했다. 이 도구는 비용 제한 하에서 최고 성능의 파이프라인을 합성하는 비용재한합성과 성능 제한 하에서 최서 비용의 파이프라인을 합성하는 성능 제한합성의 두 가지 방식을 제공한다.

  • PDF

Development of Enterprise-Level Data Pipeline Monitoring System (엔터프라이즈 레벨의 데이터 파이프라인 모니터링 시스템 개발)

  • So-Young Chae;Ji-Su Park;Hye-Mi Kim
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.331-334
    • /
    • 2023
  • 데이터 처리 과정에서 데이터 손실 및 장애 상황을 감지하고 예방하기 위한 모니터링 시스템의 필요성이 증가하고 있다. 복잡한 데이터 파이프라인에서 각 단계를 실시간으로 관찰하고 문제 상황에 신속하게 대응하기 위해서는 종합적인 모니터링 시스템을 구축하는 것이 중요하다. 본 논문에서는 엔터프라이즈 레벨의 파이프라인 모니터링 시스템을 개발하여 데이터 파이프라인의 안정성을 향상하고 데이터의 신뢰성을 높이고자 하였다. 모니터링을 데이터, 애플리케이션, 운영, 그리고 외부서비스 및 인프라 관점으로 분류 및 설계하고 각 관점에 따라 어떤 방식으로 활용되었는지 소개한다. 본 논문에서 개발한 모니터링 시스템을 통해 비즈니스 및 연구 분야의 데이터 처리 작업을 보다 효과적으로 관리하고, 문제 상황을 조기에 탐지하여 안정성을 향상시킬 수 있을 것으로 기대된다.

First things first: Task Agnostic Data Pipeline Process for Human-in-the-loop (Human-in-the-loop 데이터 파이프라인 : 딥러닝을 위한 데이터 제작의 틀)

  • Eujeong Choi;Chanjun Park
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.559-561
    • /
    • 2022
  • Data-centric AI의 발전으로 데이터의 중요성이 나날이 커져가고 있다. 학계, 기업, 정부 모두에서 데이터의 중요성을 인지하여 다양한 연구와 정책이 개발되고 있다. 물론 데이터를 활용하는 능력도 중요하지만, 데이터를 제작하는 능력도 매우 중요한 요소 중 하나이다. 이러한 흐름에 비추어 본 논문은 데이터 제작이 필요한 경우 과제의 도메인과 무관하게 범용적으로 적용 가능하며 데이터를 쉽고 빠르게 효율적으로 구축할 수 있는 human-in-the-loop 데이터 파이프라인을 제안하고자 한다. 이를 통해 기업이 데이터를 설계하고, 제작하는데 드는 시간과 비용 절감하게 하여 운영 효율화를 돕고자 한다.

  • PDF

Design of AMBA AX I Slave Unit for Pipelined Arithmetic Unit (파이프라인 구조 연산회로를 위한 AMBA AXI Slave 설계)

  • Choi, Byeong-Yoon
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2011.05a
    • /
    • pp.712-713
    • /
    • 2011
  • In this paper, the AMBA AXI slave unit that can verify the pipelined arithmetic unit is proposed and the 2-stage 16-bit pipelined multiplier is introduced as design example. The proposed AXI slave unit consists of input buffer block memory, control registers, pipelined arithmetic unit, control unit, output buffer block memory, and AXI slave interface unit. The main operational procedures are divided into the following steps, such as burst-mode input data loading for the input buffer memory, programming of control registers, arithmetic operations for block data in the input buffer memory, and burst-mode output data unloading from output buffer memory to host processor. Because the proposed AXI slave unit is general structure, it can be efficiently applicable to AMBA AXI and AHB slave unit with pipelined arithmetic unit.

  • PDF

A Scheduling algorithm for pipelined data path synthesis with variable initiation intervals under resource constraints (자원 제약하에서 가변 데이터 입력의 파이프라인 데이터 패스 함성을 위한 스케줄링 알고리즘)

  • 오주영;박도순
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.34-36
    • /
    • 2001
  • 상위 수준 합성 과정에서 스케줄링은 하드웨어 동작을 표현한 연산들이 주어진 제약 조건을 만족하며 최적의 제어단계에 배정되도록 하는 과정이며 스케줄 결과는 목적 하드웨어의 면적과 실행속도에 많은 영향을 준다. 파이프 라인은 순차적인 데이터 입력을 중첩 수행하여 실행 속도와 자원 이용률을 동시에 증가시키는 방법이다. 상위 수준에서 파이프라인 데이터 패스를 합성하기 위한 기존의 스케줄링 알고리즘들은 고정된 데이터 입력 간 격열을 기반으로 제안된 것이 대부분이며, 가변 데이터 입력 간격을 지원하는 스케줄링 알고리즘으로는 시간 제약 하의 자원최소화 알고리즘[5]이 제안되었다. 본 논문에서는 가변데이터 입력 간격을 지원하는 자원 제약하의 실행 시간 최소화 알고리즘을 제안한다. 이를 위해 연산의 스테이지 인덱스가 초기에 고정되는 시간제약하의 스케줄링 알고리즘[5]을 응용하여 자원제약하의 스케줄 진행과정에서 증가되는 제어단계에 따라 스테이지 인덱스가 변경 될 수 있도록 하고 점진적인 모빌리티 축소에 의해 스케줄한다. 제안된 스케줄링 알고리즘의 실험 결과는 다양한 자원제약과 입력 간격렬에 대하여 제약조건을 만족하는 효과적인 스케줄 결과를 유도한다.

  • PDF

Parallel Pipeline Architecture of H.264 Decoder and U-Chip Based on Parallel Array (병렬 어레이 프로세서 기반 U-Chip 및 H.264 디코더의 병렬 파이프라인 구조)

  • Suk, Jung-Hee;Lyuh, Chun-Gi;Roh, Tae Moon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2013.11a
    • /
    • pp.161-164
    • /
    • 2013
  • 본 논문에서는 다양한 멀티미디어 코덱을 고속으로 처리하기 위하여 전용하드웨어가 아닌 병렬 어레이 프로세서 기반의 U-Chip(Universal-Chip) 구조를 제안하고 TSMC 80nm 공정을 사용하여 11,865,090개의 게이트 수를 가지는 칩으로 개발하였다. U-Chip은 역양자화(IQ), 역변환(IT), 움직임 보상(MC) 연산을 위한 $4{\times}16$ 개의 프로세싱 유닛으로 구성된 병렬 어레이 프로세서와 문맥적응적 가변길이디코딩(CAVLC)을 위한 비트스트림 프로세서와 인트라 예측(IP), 디블록킹필터(DF) 연산을 위한 순차 프로세서와 DMAC의 데이터 전송 및 각 프로세서를 제어하여 병렬 파이프라인 스케쥴링을 처리하는 시퀀서 프로세서 등으로 구성된다. 1개의 프로세싱 유닛에 1개의 매크로블록 데이터를 맵핑하여 총 64개의 매크로블록을 병렬처리 하였다. 64개 매크로블록의 대용량 데이터 전송 시간과 각 프로세서들의 연산을 동시에 병렬 파이프라인 함으로서 전체 연산 성능을 높일 수 있는 이점이 있다. 병렬 파이프라인 구조의 H.264 디코더 프로그램을 개발하였고 제작된 U-Chip을 통해 $720{\times}480$ 크기의 베이스라인 프로파일 영상에 대하여 코어 192MHz 동작, DDR 메모리 96MHz 동작에서 30fps의 처리율을 가짐을 확인하였다.

  • PDF

Combining Value and Spatial Locality for Value Prediction (데이터 값 예측기를 위한 값 지역성과 공간 지역성 혼합)

  • 이종찬;최재혁;김정진;최상방
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.928-930
    • /
    • 2004
  • 명령어간의 데이터 종속 관계는 동적으로 스케줄 되는 파이프라인 프로세서의 병렬 처리에 중요한 장애로 남아 있다. 마이크로프로세서의 데이터 종속에 기인한 파이프라인 대기 시간을 줄일 대표적인 두 가지 방법으로 생성 값의 지역성에 기초를 둔 데이터 값 예측과 공간 지역성에 기반으로 예측하는 주소 예측이 있다. 본 논문에서는 성능 개선을 위해 이 두 가지 기술을 독립적으로 수행하는 것 보다 혼합한 형태의 예측이 더 좋은 예측 정확성이 나타나는 것을 보인다.

Design and Implementation of MFL Data Analysis System (자기누설(MFL) 데이터 분석 시스템의 설계 및 구현)

  • Yoon, Chang-Geol;Seo, Won-Suk;Jung, Soon-Ki;Rho, Yong-Woo
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.755-760
    • /
    • 2007
  • 자기누설(MFL) 데이터는 파이프 라인을 통해 이동하는 자기누설 피그에 의해서 얻어지는 데이터이다. 자기 누설 데이터 뿐만 아니라, 이들을 각종 기법으로 분석한 데이터 역시 분석가가 직접적으로 접근하기에는 너무 복잡하며, 원시 데이터를 가지고 파이프 라인의 결함을 빠른 시간 내에 찾아내고 그 원인을 유추하기란 매우 힘든 작업이다. 이러한 불편함을 해결해 주기 위한 소프트웨어의 개발은 사용자가 가상의 파이프 라인을 따라 항해하면서, 개개의 결함이나 두드러진 특징들이 파이프 라인의 어디에 위치하는지에 관한 정보를 보다 쉽고 직관적으로 인지할 수 있게 해준다. 비단 자기누설(MFL) 데이터뿐만 아니라 이와 같은 방대한 양의 데이터를 분석하는데 있어서 가시화 시스템의 역할은 상당히 중요하다. 본 논문에서는 대용량의 데이터를 가시화하는데 있어서 필요한 여러 고려 사항들을 소개하고 각 고려 사항에 대한 해결 방안을 제시한다.

  • PDF

MEGAS : MEtaGenomic data Analysis System (MEGAS : 메타지노믹 데이터 분석 시스템)

  • Park, Sol-Been;Kim, Dong-Wook;Baik, Doo-Kwon
    • Annual Conference of KIPS
    • /
    • 2013.05a
    • /
    • pp.722-725
    • /
    • 2013
  • 최근 시퀀싱 기술의 발전으로 생물 데이터는 폭발적으로 증가되고 있으며 이로 인하여 우리는 지놈 시대를 지나 특정 환경 내에 존재하는 생물체들의 총체적인 지놈을 다루는 메타지놈 시대에 살고 있다. 그러나 메타지노믹 데이터의 증가속도에 비해 이를 효율적으로 분석, 검토, 판별할 수 있는 파이프라인 형태의 프로그램은 전무한 실정이다. 또한, 기존 프로그램은 대부분의 관련연구자들이 다루기 힘든 리눅스 환경의 커맨드 라인 방식이며 대용량 데이터를 처리할 수 없는 제한과 처리 속도의 한계성을 가지고 있다. 이러한 문제점들을 해결하고자 윈도우 환경의 직관적인 그래픽 사용자 인터페이스로 유기적인 데이터 분석이 가능한 메타지노믹 데이터 분석 파이프라인을 설계하고 구현하였다.

Design of Metadata for Provenance Management of Genome Data (유전체 데이터의 유래(Provenance) 관리를 위한 메타데이터의 설계)

  • Song, Myoung-Seon;Chang, Jae-Woo;Um, Jung-Ho;Choi, Dong-Hoon
    • Annual Conference of KIPS
    • /
    • 2011.11a
    • /
    • pp.1195-1198
    • /
    • 2011
  • 최근 의료 분야에 대한 관심이 높아짐에 따라 유전체 데이터를 수집하고 관리하여 분석하는 기술에 대한 많은 연구가 수행되고 있다. 유전체 데이터는 크게 유전체 데이터를 분석하는 전처리단계와 유전체 데이터로부터 변이된 유전체 데이터를 생성하는 후처리단계를 통해 분석된다. 이러한 분석 과정은 많은 시간이 소요되며, 후처리단계에서 결과 데이터는 분석 알고리즘 및 처리 기법에 따라 상이한 결과 데이터를 생성한다. 또한, 유전체 데이터의 각 파이프라인 별 분석된 데이터의 관리가 필요하다. 본 논문에서는 유전체 데이터의 특성을 고려하여, 유전체 데이터 유래 관리를 위한 메타데이터를 설계한다. 아울러 데이터 유래 메타데이터는 자신의 이전데이터들의 결과데이터에 신속한 접근이 가능해야하며, 자신과 유사한 데이터 유래를 지닌 파이프라인의 상세 정보를 신속하게 검색하는 색인구조가 필요하다. 따라서 이를 고려한 유래 메타데이터 검색 알고리즘을 설계한다.