• 제목/요약/키워드: Partition Processing

검색결과 183건 처리시간 0.025초

PartitionTuner: An operator scheduler for deep-learning compilers supporting multiple heterogeneous processing units

  • Misun Yu;Yongin Kwon;Jemin Lee;Jeman Park;Junmo Park;Taeho Kim
    • ETRI Journal
    • /
    • 제45권2호
    • /
    • pp.318-328
    • /
    • 2023
  • Recently, embedded systems, such as mobile platforms, have multiple processing units that can operate in parallel, such as centralized processing units (CPUs) and neural processing units (NPUs). We can use deep-learning compilers to generate machine code optimized for these embedded systems from a deep neural network (DNN). However, the deep-learning compilers proposed so far generate codes that sequentially execute DNN operators on a single processing unit or parallel codes for graphic processing units (GPUs). In this study, we propose PartitionTuner, an operator scheduler for deep-learning compilers that supports multiple heterogeneous PUs including CPUs and NPUs. PartitionTuner can generate an operator-scheduling plan that uses all available PUs simultaneously to minimize overall DNN inference time. Operator scheduling is based on the analysis of DNN architecture and the performance profiles of individual and group operators measured on heterogeneous processing units. By the experiments for seven DNNs, PartitionTuner generates scheduling plans that perform 5.03% better than a static type-based operator-scheduling technique for SqueezeNet. In addition, PartitionTuner outperforms recent profiling-based operator-scheduling techniques for ResNet50, ResNet18, and SqueezeNet by 7.18%, 5.36%, and 2.73%, respectively.

순서 바이어스 최소화에 의한 안정적 클러스터링 구축에 관한 연구 (A Study on the Construction of Stable Clustering by Minimizing the Order Bias)

  • 이계성
    • 한국정보처리학회논문지
    • /
    • 제6권6호
    • /
    • pp.1571-1580
    • /
    • 1999
  • 데이터 마이닝 또는 기계학습을 위한 무감독 학습 알고리즘인 개념적 클러스터링을 이용하여 계층적 구조를 유도해낼 때 자료를 처리하는 순서에 따라 서로 다른 결과에 도달하는 양상을 보인다. 이 순서 바이어스 문제를 해결하는 방안으로 먼저 주어진 자료 세트에 분류를 시행하여 초기 분류를 형성한다. 이 분류를 통해 최종 분류의 가능한 클래스 수를 예측하고 이 정보에 기반하여 자료 분석과 중심 정렬을 통해 자료 처리 순서를 새로이 결정한다. 재배열된 자료 세트에 ITERATE 분류 과정을 적용해 새로운 분류를 생성한다. 본 논문에서는 이 과정을 반복하여 안정적이고 최적의 분류 점수를 갖도록 하는 알고리즘 REIT를 제안하였다. 이 알고리즘을 여러 자료 세트에 적용하고 순서 바이어스의 영향을 최소화하는지 여부를 실험을 통해 비교 분석하였다.

  • PDF

저장 시스템의 논리 파티션을 이용한 파일 중복 제거 (File Deduplication using Logical Partition of Storage System)

  • 공진산;유혁;고영웅
    • 대한임베디드공학회논문지
    • /
    • 제7권6호
    • /
    • pp.345-351
    • /
    • 2012
  • In traditional target-based data deduplication system, all of the files should be chunked and compared for reducing duplicated data blocks. One of the critical problem of this system arises as the number of files are increasing. The system suffers from computational delay for calculating hash value and processing metadata for handling each file. To overcome this problem, in this paper, we propose a novel data deduplication system using logical partition of storage system. The system applies data deduplication scheme to each logical partition not each file. Experiment result shows that the proposed system is more efficient compared with traditional deduplication scheme where the logical partition is full of files by 50% in terms of deduplication capacity and processing time.

분할처리 기반 SAR 자동초점 기법의 성능 개선 (Performance Improvement of SAR Autofocus Based on Partition Processing)

  • 신희섭;옥재우;김진우;이재민
    • 한국전자파학회논문지
    • /
    • 제28권7호
    • /
    • pp.580-583
    • /
    • 2017
  • 항공기 탑재형 SAR에서 요동보상 후 남아있는 잔여 오차 및 공간 가변적 오차 등으로 인해 품질이 저하된 SAR 영상을 보상하기 위한 분할처리 기반 자동초점 기법을 제시한다. Spotlight SAR는 공간 분할하고, Stripmap SAR는 시간 분할한 뒤, 분할된 데이터에 대해 영상을 생성한 후, 추정된 오차의 적합성 분석과정이 포함된 구역 자동초점 기법(Autofocus)를 수행한다. 또한 분할된 영상에서 위상오차 추정이 되지 않아 보상이 되지 않는 경우에는 인접한 분할 영상의 위상오차에 가중치를 부여하여 보상하는 과정을 통해 전체 영상의 화질을 향상시키는 방법을 제시한다.

상용 데이타 마이닝 도구를 사용한 정량적 연관규칙 마이닝 (Mining Quantitative Association Rules using Commercial Data Mining Tools)

  • 강공미;문양세;최훈영;김진호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권2호
    • /
    • pp.97-111
    • /
    • 2008
  • 상용 데이타 마이닝 도구에서는 기본적으로 이진 속성에 대한 연관규칙 마이닝만을 지원한다. 그러나, 일반적인 트랜잭션 데이타베이스는 이진 속성 뿐 아니라 정량적 속성을 포함한다. 이에 따라, 본 논문에서는 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 마이닝하는 체계적인 접근법을 제안한다. 이를 위해, 우선 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 찾아내기 위한 전체적인 프레임워크를 제안한다. 제안한 프레임워크는 정량적 속성을 이진 속성으로 변환하는 전처리 과정과 마이닝된 이진 연관규칙을 다시 정량적 연관규칙으로 변환하는 후처리 과정으로 구성된다. 다음으로, 전처리 과정을 위한 구간 분할의 개념을 제시하고, 기존의 평균 및 중앙치 기반 양분할 기법과 동일 너비 및 동일 깊이 기반 다분할 기법을 구간 분할의 개념으로 정형적으로 재정의한다. 그런데, 이들 기존 분할 기법은 속성 값의 분포를 고려하지 않은 문제점이 있다. 본 논문에서는 이를 해결하기 위하여 표준편차 최소화 기법을 제안한다. 표준편차 최소화 기법은 이웃한 속성 값의 표준편차 변화가 작다면 동일한 구간에 포함시키고, 표준편차 변화가 크다면 다른 구간으로 분할하는 매우 직관적인 분할 기법이다. 또한, 후처리 과정으로는 이진 연관규칙들을 통합하고 이를 다시 정량적 연관규칙으로 변환하는 방법을 제안한다. 마지막으로, 다양한 실험을 통하여 제안한 프레임워크가 바르게 동작함을 보이고, 표준편차 최소화 기법이 다른 기법에 비하여 우수함을 입증한다. 이 같은 결과를 볼 때, 제안한 프레임워크는 일반 사용자가 상용 데이타 마아닝 도구를 사용하여 정량적 연간규칙을 쉽게 마이닝 할 수 있는 매우 실용적인 접근법이라 생각한다.

히스토그램 분할 펼침과 축소 방법을 이용한 적외선 영상 개선 (Infrared Image Enhancement Using A Histogram Partition Stretching and Shrinking Method)

  • 정민철
    • 반도체디스플레이기술학회지
    • /
    • 제14권4호
    • /
    • pp.50-55
    • /
    • 2015
  • This paper proposes a new histogram partition stretching and shrinking method for infrared image enhancement. The proposed method divides the histogram of an input image into three partitions according to its mean value and standard deviation. The method stretches both the dark partition and the bright partition of the histogram, while it shrinks the medium partition. As the result, both the dark part and the bright part of the image have more brightness levels. The proposed method is implemented using C language in an embedded Linux system for a high-speed real-time image processing. Experiments were conducted by using various infrared images. The results show that the proposed algorithm is successful for the infrared image enhancement.

RPA 기법을 이용한 규칙의 확장 (Expanding Rule Using Recursive Partition Averaging)

  • 한진철;김상귀;윤충화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.489-492
    • /
    • 2004
  • 미지의 패턴을 분류하기 위해서 사용되는 메모리 기반 학습 기법은 만족할만한 분류 성능을 보여주고 있다. 하지만 메모리 기반 학습기법은 단순히 패턴과 메모리에 저장된 예제들 간의 거리를 기준으로 분류하므로, 패턴을 분류하는 처리과정을 설명할 수 없다는 문제점을 가지고 있다. 본 논문에서는 RPA(Recursive Partition Averaging) 기법을 이용하여 패턴을 분류하는 과정을 설명할 수 있는 규칙 추출 알고리즘과 또한 일반화 성능을 향상시키기 위하여 규칙의 조건을 확장하는 알고리즘을 제안한다.

  • PDF

고정 분할 평균 알고리즘을 사용하는 향상된 메모리 기반 추론 (An Improved Memory Based Reasoning using the Fixed Partition Averaging Algorithm)

  • 정태선;이형일;윤충화
    • 한국정보처리학회논문지
    • /
    • 제6권6호
    • /
    • pp.1563-1570
    • /
    • 1999
  • 본 논문에서는 메모리 기반 추론(MBR : Memory Based Reasoning) 기법에서 사용하는 기억공간과 분류시간의 향상을 위하여 고정 분할 평균(FPA : Fixed Partition Averaging) 알고리즘을 제안하였다. 제안된 방법은 전체 학습패턴들을 대표하는 패턴을 추출하여 효과적인 메모리 사용을 가능하게 하는 방법으로서, 패턴 공간을 일정 개수의 초월평면으로 분할한 후, 초월평면별로 소속된 패턴들의 평균값을 계산하여 대표패턴을 추출한다. 또한 분류성능의 향상을 위하여, 특징과 클래스간의 상호정보(Mutual Information)를 특징의 가중치로 사용하였다.

  • PDF

멀티코어 기반 파티셔닝 운영체제를 이용한 분산 복구 블록 설계 기법 및 응용 (Design Technique and Application for Distributed Recovery Block Using the Partitioning Operating System Based on Multi-Core System)

  • 박한솔
    • 전기전자학회논문지
    • /
    • 제19권3호
    • /
    • pp.357-365
    • /
    • 2015
  • 최근 항공기, 자동차와 같은 시스템들은 크기, 무게, 전력 등의 문제로 기존 연합형(Federated) 구조에서 모듈형(Modular) 구조로 개발되는 추세이며, 단일 하드웨어에 파티션 개념을 적용하여 다수의 논리적 노드들을 운용할 수 있는 파티션 운영체제도 등장하고 있다. 분산 복구 블록은 실시간 시스템에 적용 가능한 소프트웨어 결함 허용 기법으로 다수의 물리적 노드들을 동기화 시켜 동작시킴으로써 실시간 절체가 가능하도록 하는 설계 기법이다. 분산 복구 블록은 노드들 간의 실시간 동기화를 필요로 하기 때문에 단일 코어 기반의 파티션 구조에는 적합하지 않으며, 적용을 위해서는 멀티코어를 기반으로 하고 또한 AMP(Asymmetric Multi-Processing) 방식을 이용한 파티션 구조에 적용되어야 한다. 본 논문에서는 멀티코어 기반 supervised-AMP 가상화 방식의 파티션 운영체제를 이용한 분산 복구 블록 설계 기법을 제안한다. 또한 제안된 설계 기법의 유용성을 보이기 위하여 항공기용 비행제어시스템 시뮬레이션을 이용한 사례 연구를 보인다.

A Fast CU Size Decision Optimal Algorithm Based on Neighborhood Prediction for HEVC

  • Wang, Jianhua;Wang, Haozhan;Xu, Fujian;Liu, Jun;Cheng, Lianglun
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.959-974
    • /
    • 2020
  • High efficiency video coding (HEVC) employs quadtree coding tree unit (CTU) structure to improve its coding efficiency, but at the same time, it also requires a very high computational complexity due to its exhaustive search processes for an optimal coding unit (CU) partition. With the aim of solving the problem, a fast CU size decision optimal algorithm based on neighborhood prediction is presented for HEVC in this paper. The contribution of this paper lies in the fact that we successfully use the partition information of neighborhood CUs in different depth to quickly determine the optimal partition mode for the current CU by neighborhood prediction technology, which can save much computational complexity for HEVC with negligible RD-rate (rate-distortion rate) performance loss. Specifically, in our scheme, we use the partition information of left, up, and left-up CUs to quickly predict the optimal partition mode for the current CU by neighborhood prediction technology, as a result, our proposed algorithm can effectively solve the problem above by reducing many unnecessary prediction and partition operations for HEVC. The simulation results show that our proposed fast CU size decision algorithm based on neighborhood prediction in this paper can reduce about 19.0% coding time, and only increase 0.102% BD-rate (Bjontegaard delta rate) compared with the standard reference software of HM16.1, thus improving the coding performance of HEVC.