• 제목/요약/키워드: parallel data collection

검색결과 55건 처리시간 0.023초

심자도 신호 획득을 위한 고속 병렬 데이터 전송 구현 (Implementation of high-speed parallel data transfer for MCG signal acquisition)

  • 이동하;유재택
    • 한국전기전자재료학회:학술대회논문집
    • /
    • 한국전기전자재료학회 2004년도 추계학술대회 논문집 Vol.17
    • /
    • pp.444-447
    • /
    • 2004
  • A heart diagnosis system adopts hundreds of Superconducting Quantum Interface Device(SQUID) sensors for precision MCG(Magnetocardiogram) or MEG(Magnetoencephalogram) signal acquisitions. This system requires correct and real-time data acquisition from the sensors in a required sampling interval, i.e., 1 mili-second. This paper presents our hardware design and test results, to acquire data from 256 channel analog signal with 1-ksample/sec speed, using 12-bit 8-channel ADC devices, SPI interfaces, parallel interfaces, and 8-bit microprocessors. We chose to implement parallel data transfer between microprocessors as an effective way of achieving such data collection. Our result concludes that the data collection can be done in 250 ${\mu}sec$ time-interval.

  • PDF

Optimization of Data Acquisition System with Parallel Collection for PET

  • Yoshida, Eiji;Shimizu, Keiji;Murayama, Hideo
    • 한국의학물리학회:학술대회논문집
    • /
    • 한국의학물리학회 2002년도 Proceedings
    • /
    • pp.311-313
    • /
    • 2002
  • We are under development of a 3D PET scanner with depth of interaction (DOI) capable of high sensitivity and high resolution. In this scanner, a maximum data transfer rate of coincidence pair's event information is 10 Mcps and one event is a 64-bit data format. This maximum data transfer rate corresponds by 10 times a conventional PET scanner. A data acquisition system, which fulfills the specification of this scanner, is considered for parallel collection with banks including several coincidence units. Data transfer rate is improved by optimizing parameters of a message size, and so on.

  • PDF

블록체인을 활용한 양질의 기계학습용 데이터 수집 방안 연구 (High-quality data collection for machine learning using block chain)

  • 김영랑;우정훈;이재환;신지선
    • 한국정보통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.13-19
    • /
    • 2019
  • 기계학습의 정확도는 학습용 데이터의 양과 데이터의 품질에 많은 영향을 받는다. 기존의 웹을 기반으로 학습용 데이터를 수집하는 것은 실제 학습과 무관한 데이터가 수집 될 수 있는 위험성이 있으며 데이터의 투명성을 보장할 수가 없다. 본 논문에서는 블록체인구조에서 블록들이 직접 병렬적으로 데이터를 수집하게 하고 각 블록들이 수집한 데이터를 타 블록의 데이터와 비교하여 양질의 데이터만을 선별하는 방안을 제안한다. 제안하는 시스템은 각 블록들은 데이터를 서로 블록체인을 통해 공유하며 All-reduce 구조의 Parallel-SGD를 활용하여 다른 블록들의 데이터와 비교를 통해 양질의 데이터만을 선별하여 학습용 데이터셋을 구성할 수가 있다. 또한 본 논문에서는 제안한 구조의 성능을 확인하기 위해 실험을 통해 기존의 벤치마크용 데이터셋의 이미지를 활용하여 변조된 이미지 사이에서 원본 이미지만을 양질의 데이터로 판별함을 확인하였다.

재귀적 자료구조에 대한 재귀 함수의 병렬화 (Parallelization of Recursive Functions for Recursive Data Structures)

  • 안준선;한태숙
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권12호
    • /
    • pp.1542-1552
    • /
    • 1999
  • 자료 병렬성이란 자료 집합의 원소들에 대하여 동일한 작업을 동시에 수행하므로써 얻어지는 병렬성을 말한다. 함수형 언어에서 자료 집합에 대한 반복 수행은 재귀적 자료형에 대한 재귀 함수에 의하여 표현된다. 본 논문에서는 이러한 재귀 함수를 자료 병렬 프로그램으로 변환하기 위한 병렬화 방법을 제시한다. 생성되는 병렬 프로그램의 병렬 수행 구조로는 일반적인 형태의 재귀적 자료형에 대하여 정의되는 다형적인 자료 병렬 연산을 사용하여 트리, 리스트 등과 같은 일반적인 재귀적 자료 집합에 대한 자료 병렬 수행이 가능하도록 하였다. 재귀 함수의 병렬화를 위해서는, 함수를 이루는 각각의 계산들의 병렬성을 재귀 호출에 의해 존재하는 의존성에 기반하여 분류하고, 이에 기반하여 각각의 계산들에 대한 적절한 자료 병렬 연산을 사용하는 병렬 프로그램을 생성하였다.Abstract Data parallelism is obtained by applying the same operations to each element of a data collection. In functional languages, iterative computations on data collections are expressed by recursions on recursive data structures. We propose a parallelization method for data-parallel implementation of such recursive functions. We employ polytypic data-parallel primitives to represent the parallel execution structure of the object programs, which enables data parallel execution with general recursive data structures, such as trees and lists. To transform sequential programs to their parallelized versions, we propose a method to classify the types of parallelism in subexpressions, based on the dependencies of the recursive calls, and generate the data-parallel programs using data-parallel primitives appropriately.

2단 평행판 전기집진기의 서브마이크론 입자 포집특성 실험 (Experiment on Collection Characteristics of Sub micron Particles in Two-Stage Parallel-Plate Electrostatic Precipitators)

  • 오명도;유경훈
    • 설비공학논문집
    • /
    • 제6권3호
    • /
    • pp.237-246
    • /
    • 1994
  • Experimental data are reported for charging and collection of NaCl aerosols in the 0.03- to $0.2{\mu}m$-geometric-mean-diameter range in 2-stage parallel-plate electrostatic precipitators. The NaCl aerosols are generated with geometric standard deviation of about 1.74 and particle generation rate of about 10^9 particles/see by the constant output atomizer and injected into the air flow in the clean wind-tunnel. The 2-stage parallel-plate electrostatic precipitator installed in the test section of the wind-tunnel is operated with a positive corona discharge. The NaCl aerosols in the channel flow are sampled and transported to the aerosol particle number concentration measurement system by using the isoaxial sampling and transport system constructed based on the Okazaki and Willeke design. The aerosol particle number concentration measurement system measures the size distribution of submicrometer aerosols by an electrical mobility detection technique. It is confirmed from comparing the measured collection efficiencies in this study and the predicted ones by our previous theoretical analysis that the predicted collection efficiencies agree well with the experimental ones. It is also found from the comparison that below about $0.02{\mu}m$ all particles are not charged and the uncharged particles are not collected, and consequently 2-stage parallel-plate electrostatic precipitators are not suitable for that particle size range.

  • PDF

Deep Web and MapReduce

  • Tao, Yufei
    • Journal of Computing Science and Engineering
    • /
    • 제7권3호
    • /
    • pp.147-158
    • /
    • 2013
  • This invited paper introduces results on Web science and technology obtained during work with the Korea Advanced Institute of Science and Technology. In the first part, we discuss algorithms for exploring the deep Web, which refers to the collection of Web pages that cannot be reached by conventional Web crawlers. In the second part, we discuss sorting algorithms on the MapReduce system, which has become a dominant paradigm for massive parallel computing.

도커 기반의 실시간 데이터 연계 및 처리 환경을 고려한 빅데이터 관리 플랫폼 개발 (Development of Big-data Management Platform Considering Docker Based Real Time Data Connecting and Processing Environments)

  • 김동길;박용순;정태윤
    • 대한임베디드공학회논문지
    • /
    • 제16권4호
    • /
    • pp.153-161
    • /
    • 2021
  • Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

256-channel 1 ksamples/sec 심자도 신호획득 시스템 (256-channel 1ks/s MCG Signal Acquisition System)

  • 이동하;유재택;허영
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.538-540
    • /
    • 2004
  • Electrical currents generated by human heart activities create magnetic fields represented by MCG(MagnetoCardioGram). Since an MCG signal acquisition system requires precise and stable operation, the system adopts hundreds of SQUID(Superconducting QUantum Interface Device) sensors for signal acquisition. Such a system requires fast real-time data acquisition in a required sampling interval, i.e., 1 mili-second for each sensor. This paper presents designed hardware to acquire data from 256-channel analog signal with 1 ksamples/sec speed, using 12-bit 8-channel ADC devices, SPI interfaces, parallel interfaces, 8-bit microprocessors, and a DSP processor. We implemented SPI interface between ADCs and a microprocessor, parallel interfaces between microprocessors. Our result concludes that the data collection can be done in $168{\mu}sec$ time-interval for 256 SQUID sensors, which can be interpreted to 6 ksamples/sec speed.

  • PDF

심자도 신호획득을 위한 실시간 256-채널 12-bit 1ks/s 하드웨어 (Real-time 256-channel 12-bit 1ks/s Hardware for MCG Signal Acquisition)

  • 유재택
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제54권11호
    • /
    • pp.643-649
    • /
    • 2005
  • A heart diagnosis system adopts Superconducting Quantum Interface Device(SQUD) sensors for precise MCG(MagnetoCardioGram) signal acquisitions. Such system needs to deal with hundreds of sensors, requiring fast signal sampling md precise analog-to-digital conversions(ADC). Our development of hardware board, processing 64-channel 12-bit in 1 ks/s speed, is built by using 8-channel ADC chips, 8-bit microprocessors, SPI interfaces, and specially designed parallel data transfers between microprocessors to meet the 1ks/s, i.e. 1 mili-second sampling interval. We extend the design into 256-channel hardware and analyze the speed .using the measured data from the 64-channel hardware. Since our design exploits full parallel processing, Assembly level coding, and NOP(No Operation) instruction for timing control, the design provides expandability and lowest system timing margin. Our result concludes that the data collection with 256-channel analog input signals can be done in 201.5us time-interval which is much shorter than the required 1 mili-second period.