• 제목/요약/키워드: 데이터 파이프라인

검색결과 246건 처리시간 0.032초

상위수준 파이프라인 합성시스템에 관한 연구: 데이트 경로 및 콘트롤 합성 (A Study on High-Level Pipeline Synthesis System: Data Path Synthesis and Control Synthesis)

  • 김종태
    • 한국산업융합학회 논문집
    • /
    • 제3권4호
    • /
    • pp.299-306
    • /
    • 2000
  • 이 논문은 파이프라인 함성을 위한 상위수준 데이터 경로 하성과 콘트롤 합성의 통합에 관한 연구이다. 현재 대부분의 상위수준 합성 방법은 콘트롤 영역의 영향을 무시하는데 보다 나은 설계를 위하여 데이터 경로디자인 영역과 콘트롤 디자인 영역을 통합하여 탐색하는 파이프라인 상위수준함성 도구를 구현했다. 이 도구는 비용 제한 하에서 최고 성능의 파이프라인을 합성하는 비용재한합성과 성능 제한 하에서 최서 비용의 파이프라인을 합성하는 성능 제한합성의 두 가지 방식을 제공한다.

  • PDF

엔터프라이즈 레벨의 데이터 파이프라인 모니터링 시스템 개발 (Development of Enterprise-Level Data Pipeline Monitoring System)

  • 채소영;박지수;김혜미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.331-334
    • /
    • 2023
  • 데이터 처리 과정에서 데이터 손실 및 장애 상황을 감지하고 예방하기 위한 모니터링 시스템의 필요성이 증가하고 있다. 복잡한 데이터 파이프라인에서 각 단계를 실시간으로 관찰하고 문제 상황에 신속하게 대응하기 위해서는 종합적인 모니터링 시스템을 구축하는 것이 중요하다. 본 논문에서는 엔터프라이즈 레벨의 파이프라인 모니터링 시스템을 개발하여 데이터 파이프라인의 안정성을 향상하고 데이터의 신뢰성을 높이고자 하였다. 모니터링을 데이터, 애플리케이션, 운영, 그리고 외부서비스 및 인프라 관점으로 분류 및 설계하고 각 관점에 따라 어떤 방식으로 활용되었는지 소개한다. 본 논문에서 개발한 모니터링 시스템을 통해 비즈니스 및 연구 분야의 데이터 처리 작업을 보다 효과적으로 관리하고, 문제 상황을 조기에 탐지하여 안정성을 향상시킬 수 있을 것으로 기대된다.

Human-in-the-loop 데이터 파이프라인 : 딥러닝을 위한 데이터 제작의 틀 (First things first: Task Agnostic Data Pipeline Process for Human-in-the-loop)

  • 최유정;박찬준
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.559-561
    • /
    • 2022
  • Data-centric AI의 발전으로 데이터의 중요성이 나날이 커져가고 있다. 학계, 기업, 정부 모두에서 데이터의 중요성을 인지하여 다양한 연구와 정책이 개발되고 있다. 물론 데이터를 활용하는 능력도 중요하지만, 데이터를 제작하는 능력도 매우 중요한 요소 중 하나이다. 이러한 흐름에 비추어 본 논문은 데이터 제작이 필요한 경우 과제의 도메인과 무관하게 범용적으로 적용 가능하며 데이터를 쉽고 빠르게 효율적으로 구축할 수 있는 human-in-the-loop 데이터 파이프라인을 제안하고자 한다. 이를 통해 기업이 데이터를 설계하고, 제작하는데 드는 시간과 비용 절감하게 하여 운영 효율화를 돕고자 한다.

  • PDF

파이프라인 구조 연산회로를 위한 AMBA AXI Slave 설계 (Design of AMBA AX I Slave Unit for Pipelined Arithmetic Unit)

  • 최병윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 춘계학술대회
    • /
    • pp.712-713
    • /
    • 2011
  • 본 논문에서는 파이프라인 구조의 연산회로를 효율적으로 검증하기 위한 AMBA AXI Slave 하드웨어 구조를 제안하고, 설계 예로 파이프라인 곱셈기를 내장한 구조를 제시하였다. 제안한 AXI Slave 회로는 입출력 버퍼 블록 메모리, 제어용 레지스터, 파이프라인 구조 연산 회로, 파이프라인 제어회로, AXI 버스 슬레이브 인터페이스로 구성된다. 주요 동작 과정은 입력 버퍼 메모리와 외부 마스터 사이의 버스트 데이터 전송, 제어 레지스터에 동작 모드 설정, 입력 버퍼 메모리에 담긴 데이터에 대한 반복적인 파이프라인 연산회로 동작, 출력 버퍼 메모리에 담긴 출력 데이터와 외부 마스터 사이의 버스트 데이터 전송으로 나누어진다. 제안한 AXI slave 구조는 범용 인터페이스 구조를 갖고 있으므로 파이프라인 구조 구조의 연산회로를 내장한 AMBA AHB와 AXI slave에 응용이 가능하다.

  • PDF

자원 제약하에서 가변 데이터 입력의 파이프라인 데이터 패스 함성을 위한 스케줄링 알고리즘 (A Scheduling algorithm for pipelined data path synthesis with variable initiation intervals under resource constraints)

  • 오주영;박도순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.34-36
    • /
    • 2001
  • 상위 수준 합성 과정에서 스케줄링은 하드웨어 동작을 표현한 연산들이 주어진 제약 조건을 만족하며 최적의 제어단계에 배정되도록 하는 과정이며 스케줄 결과는 목적 하드웨어의 면적과 실행속도에 많은 영향을 준다. 파이프 라인은 순차적인 데이터 입력을 중첩 수행하여 실행 속도와 자원 이용률을 동시에 증가시키는 방법이다. 상위 수준에서 파이프라인 데이터 패스를 합성하기 위한 기존의 스케줄링 알고리즘들은 고정된 데이터 입력 간 격열을 기반으로 제안된 것이 대부분이며, 가변 데이터 입력 간격을 지원하는 스케줄링 알고리즘으로는 시간 제약 하의 자원최소화 알고리즘[5]이 제안되었다. 본 논문에서는 가변데이터 입력 간격을 지원하는 자원 제약하의 실행 시간 최소화 알고리즘을 제안한다. 이를 위해 연산의 스테이지 인덱스가 초기에 고정되는 시간제약하의 스케줄링 알고리즘[5]을 응용하여 자원제약하의 스케줄 진행과정에서 증가되는 제어단계에 따라 스테이지 인덱스가 변경 될 수 있도록 하고 점진적인 모빌리티 축소에 의해 스케줄한다. 제안된 스케줄링 알고리즘의 실험 결과는 다양한 자원제약과 입력 간격렬에 대하여 제약조건을 만족하는 효과적인 스케줄 결과를 유도한다.

  • PDF

병렬 어레이 프로세서 기반 U-Chip 및 H.264 디코더의 병렬 파이프라인 구조 (Parallel Pipeline Architecture of H.264 Decoder and U-Chip Based on Parallel Array)

  • 석정희;여준기;노태문
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2013년도 추계학술대회
    • /
    • pp.161-164
    • /
    • 2013
  • 본 논문에서는 다양한 멀티미디어 코덱을 고속으로 처리하기 위하여 전용하드웨어가 아닌 병렬 어레이 프로세서 기반의 U-Chip(Universal-Chip) 구조를 제안하고 TSMC 80nm 공정을 사용하여 11,865,090개의 게이트 수를 가지는 칩으로 개발하였다. U-Chip은 역양자화(IQ), 역변환(IT), 움직임 보상(MC) 연산을 위한 $4{\times}16$ 개의 프로세싱 유닛으로 구성된 병렬 어레이 프로세서와 문맥적응적 가변길이디코딩(CAVLC)을 위한 비트스트림 프로세서와 인트라 예측(IP), 디블록킹필터(DF) 연산을 위한 순차 프로세서와 DMAC의 데이터 전송 및 각 프로세서를 제어하여 병렬 파이프라인 스케쥴링을 처리하는 시퀀서 프로세서 등으로 구성된다. 1개의 프로세싱 유닛에 1개의 매크로블록 데이터를 맵핑하여 총 64개의 매크로블록을 병렬처리 하였다. 64개 매크로블록의 대용량 데이터 전송 시간과 각 프로세서들의 연산을 동시에 병렬 파이프라인 함으로서 전체 연산 성능을 높일 수 있는 이점이 있다. 병렬 파이프라인 구조의 H.264 디코더 프로그램을 개발하였고 제작된 U-Chip을 통해 $720{\times}480$ 크기의 베이스라인 프로파일 영상에 대하여 코어 192MHz 동작, DDR 메모리 96MHz 동작에서 30fps의 처리율을 가짐을 확인하였다.

  • PDF

데이터 값 예측기를 위한 값 지역성과 공간 지역성 혼합 (Combining Value and Spatial Locality for Value Prediction)

  • 이종찬;최재혁;김정진;최상방
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (A)
    • /
    • pp.928-930
    • /
    • 2004
  • 명령어간의 데이터 종속 관계는 동적으로 스케줄 되는 파이프라인 프로세서의 병렬 처리에 중요한 장애로 남아 있다. 마이크로프로세서의 데이터 종속에 기인한 파이프라인 대기 시간을 줄일 대표적인 두 가지 방법으로 생성 값의 지역성에 기초를 둔 데이터 값 예측과 공간 지역성에 기반으로 예측하는 주소 예측이 있다. 본 논문에서는 성능 개선을 위해 이 두 가지 기술을 독립적으로 수행하는 것 보다 혼합한 형태의 예측이 더 좋은 예측 정확성이 나타나는 것을 보인다.

자기누설(MFL) 데이터 분석 시스템의 설계 및 구현 (Design and Implementation of MFL Data Analysis System)

  • 윤창걸;서원석;정순기;노용우
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2007년도 학술대회 1부
    • /
    • pp.755-760
    • /
    • 2007
  • 자기누설(MFL) 데이터는 파이프 라인을 통해 이동하는 자기누설 피그에 의해서 얻어지는 데이터이다. 자기 누설 데이터 뿐만 아니라, 이들을 각종 기법으로 분석한 데이터 역시 분석가가 직접적으로 접근하기에는 너무 복잡하며, 원시 데이터를 가지고 파이프 라인의 결함을 빠른 시간 내에 찾아내고 그 원인을 유추하기란 매우 힘든 작업이다. 이러한 불편함을 해결해 주기 위한 소프트웨어의 개발은 사용자가 가상의 파이프 라인을 따라 항해하면서, 개개의 결함이나 두드러진 특징들이 파이프 라인의 어디에 위치하는지에 관한 정보를 보다 쉽고 직관적으로 인지할 수 있게 해준다. 비단 자기누설(MFL) 데이터뿐만 아니라 이와 같은 방대한 양의 데이터를 분석하는데 있어서 가시화 시스템의 역할은 상당히 중요하다. 본 논문에서는 대용량의 데이터를 가시화하는데 있어서 필요한 여러 고려 사항들을 소개하고 각 고려 사항에 대한 해결 방안을 제시한다.

  • PDF

MEGAS : 메타지노믹 데이터 분석 시스템 (MEGAS : MEtaGenomic data Analysis System)

  • 박솔빈;김동욱;백두권
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.722-725
    • /
    • 2013
  • 최근 시퀀싱 기술의 발전으로 생물 데이터는 폭발적으로 증가되고 있으며 이로 인하여 우리는 지놈 시대를 지나 특정 환경 내에 존재하는 생물체들의 총체적인 지놈을 다루는 메타지놈 시대에 살고 있다. 그러나 메타지노믹 데이터의 증가속도에 비해 이를 효율적으로 분석, 검토, 판별할 수 있는 파이프라인 형태의 프로그램은 전무한 실정이다. 또한, 기존 프로그램은 대부분의 관련연구자들이 다루기 힘든 리눅스 환경의 커맨드 라인 방식이며 대용량 데이터를 처리할 수 없는 제한과 처리 속도의 한계성을 가지고 있다. 이러한 문제점들을 해결하고자 윈도우 환경의 직관적인 그래픽 사용자 인터페이스로 유기적인 데이터 분석이 가능한 메타지노믹 데이터 분석 파이프라인을 설계하고 구현하였다.

유전체 데이터의 유래(Provenance) 관리를 위한 메타데이터의 설계 (Design of Metadata for Provenance Management of Genome Data)

  • 송명선;장재우;엄정호;최동훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1195-1198
    • /
    • 2011
  • 최근 의료 분야에 대한 관심이 높아짐에 따라 유전체 데이터를 수집하고 관리하여 분석하는 기술에 대한 많은 연구가 수행되고 있다. 유전체 데이터는 크게 유전체 데이터를 분석하는 전처리단계와 유전체 데이터로부터 변이된 유전체 데이터를 생성하는 후처리단계를 통해 분석된다. 이러한 분석 과정은 많은 시간이 소요되며, 후처리단계에서 결과 데이터는 분석 알고리즘 및 처리 기법에 따라 상이한 결과 데이터를 생성한다. 또한, 유전체 데이터의 각 파이프라인 별 분석된 데이터의 관리가 필요하다. 본 논문에서는 유전체 데이터의 특성을 고려하여, 유전체 데이터 유래 관리를 위한 메타데이터를 설계한다. 아울러 데이터 유래 메타데이터는 자신의 이전데이터들의 결과데이터에 신속한 접근이 가능해야하며, 자신과 유사한 데이터 유래를 지닌 파이프라인의 상세 정보를 신속하게 검색하는 색인구조가 필요하다. 따라서 이를 고려한 유래 메타데이터 검색 알고리즘을 설계한다.