• 제목/요약/키워드: Binary weight network

검색결과 20건 처리시간 0.023초

이진 가중치 신경망의 하드웨어 구현을 위한 고정소수점 연산 정확도 분석 (Accuracy Analysis of Fixed Point Arithmetic for Hardware Implementation of Binary Weight Network)

  • 김종현;윤상균
    • 전기전자학회논문지
    • /
    • 제22권3호
    • /
    • pp.805-809
    • /
    • 2018
  • 본 연구에서는 이진 가중치 신경망(BWN)을 부동소수점 데이터를 사용하여 학습시킨 후에, 학습된 파라미터와 주요연산을 고정소수점으로 근사화시키는 과정에서 정확도의 변화를 분석하였다. 신경망을 이루고 있는 각 계층의 입력 데이터와 컨볼루션 연산의 계산에 고정소수점 수를 사용했으며, 이때 고정소수점 수의 전체 bit 수와 소수점 이하 bit 수에 변화를 주면서 정확도 변화를 관찰하였다. 각 계층의 입력 값과 중간 계산값의 정수 부분의 손실이 발생하지 않으면 고정소수점 연산을 사용해도 부동소수점 연산에 비해 큰 정확도 감소가 없었다. 그리고 오버플로가 발생하는 경우에 고정소수점 수의 최대 또는 최소값으로 근사시켜서 정확도 감소를 줄일 수 있었다. 이 연구결과는 FPGA 기반의 BWN 가속기를 구현할 때에 필요한 메모리와 하드웨어 요구량을 줄이는 데 사용될 수 있다.

Light-Weight Ethernet 기반 MiTS 네트워크 프로토콜 개발 (A Development of MiTS Network Protocol based on Light-Weight Ethernet)

  • 황훈규;윤진식;이성대;서정민;장길웅;이장세;박휴찬
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제34권8호
    • /
    • pp.1172-1179
    • /
    • 2010
  • 이 논문에서는 Light-Weight Ethernet 기반 MiTS 네트워크에서 시스템 간의 통신 및 데이터 처리를 위한 프로토콜의 개발에 관한 내용을 다룬다. 개발을 위해, Light-Weight Ethernet 기반 MiTS 네트워크 프로토콜을 구성하는 NF 및 SF를 분석하고 그 내용을 바탕으로 라이브러리를 개발하며 검증한다. 프로토콜의 구성 요소인 NF는 UDP 기반의 멀티캐스팅 방식으로 데이터그램을 송/수신하는 역할을 하고 SF는 NF를 통해 송/수신된 메시지를 Sentence 및 바이너리 이미지로 구별하여 처리하는 역할을 한다.

Newly Expanded and Truncated Learning Algorithm for Optimal Synthesis of Binary Neural Network

  • Yun, Ki-Young;Jongwon Jeong;Sangkyu Sung;Lee, Joontark
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2002년도 ICCAS
    • /
    • pp.103.2-103
    • /
    • 2002
  • 1. Introduction 2. Structure of BNN 3. Decision of weight value and threshold value 4. Principle of Extension in the ETL algorithm 5. Approximation problem of one circular region 6. Problem of synthetic image having four class 7. Conclusion

  • PDF

한정된 자원을 갖는 FPGA에서의 이진가중치 신경망 가속처리 구조 설계 및 구현 (Design and Implementation of Accelerator Architecture for Binary Weight Network on FPGA with Limited Resources)

  • 김종현;윤상균
    • 전기전자학회논문지
    • /
    • 제24권1호
    • /
    • pp.225-231
    • /
    • 2020
  • 본 연구에서는 임베디드 시스템에 적용하기 위해 자원이 제한된 조건의 FPGA를 기반으로 BWN 가속처리를 하는 방법을 제시하였다. 사용할 수 있는 로직의 개수가 제한적이기 때문에 다양한 크기의 Conv-layer, FC-layer를 처리할 수 있는 하나의 연산장치를 설계해서 재활용하였다. Input feature map 데이터를 한번에 병렬처리를 할 수 없는 경우 데이터를 여러 번 읽어서 중간결과를계산하고 합산하여 최종 출력을 계산하였다. 사용할 수 있는 BRAM 모듈 개수가 제한적이기 때문에 BWN 가속기내의 데이터 bit수를 최소화한 구조를 사용하였다. 구현한 BWN가속기의 이미지 분류 처리 시간은 소형 시스템과 비교하였을 때 처리시간 측면에서 우수함을 보였고 고성능 시스템과 비교하였을 때는 데스크탑 PC보다는 빠르고 높은 클럭속도의 GPU시스템의 50%정도 느렸다. BWN가속기는 50MHz의 느린 clock을 사용하므로 성능대비 전력측면에서 유리함을 확인할 수 있었다.

가중치 원형 분배 기반 이진 스케쥴링 바퀴구조의 성능 분석 (Performance Analysis of Binary Scheduling Wheel Structure based on Weighted Round Robin)

  • 조해성;이상태;전병실
    • 한국정보과학회논문지:정보통신
    • /
    • 제28권4호
    • /
    • pp.631-640
    • /
    • 2001
  • 프레임 기반 스케쥴링의 일종인 라운드 로빈 스케쥴링은 네트워크에서 다양한 대역이나 지연과 같은 차등화된 서비스들을 제공 할 수 있도록 각 큐에 다른 가중치를 지정함으로써 여러 큐들을 직접적으로 관리할 수 있는 매우 간단한 원리이다. 이러한 원리들 중 가장 대표적인 알고리즘이 WRR 이다. 또한, WRR 알고리즘은 DBSW 구조에 의해 효율적으로 구현될 수 있다. 본 논문은 DBSW 구조의 수학적 분석을 수행하고 분석결과와 시뮬레이션 결과를 비교한다. 분석 데이타와 시뮬레이션 데이타는 DBSW 구조가 각 VC에 할당된 가중치를 정확하게 유지할 수 있기 때문에 DBSW 구조의 평균 퍼버 길이가 감소됨을 보여준다.

  • PDF

Effects of binary conductive additives on electrochemical performance of a sheet-type composite cathode with different weight ratios of LiNi0.6Co0.2Mn0.2O2 in all-solid-state lithium batteries

  • Ann, Jiu;Choi, Sunho;Do, Jiyae;Lim, Seungwoo;Shin, Dongwook
    • Journal of Ceramic Processing Research
    • /
    • 제19권5호
    • /
    • pp.413-418
    • /
    • 2018
  • All-solid-state lithium batteries (ASSBs) using inorganic sulfide-based solid electrolytes are considered prospective alternatives to existing liquid electrolyte-based batteries owing to benefits such as non-flammability. However, it is difficult to form a favorable solid-solid interface among electrode constituents because all the constituents are solid particles. It is important to form an effective electron conduction network in composite cathode while increasing utilization of active materials and not blocking the lithium ion path, resulting in excellent cell performance. In this study, a mixture of fibrous VGCF and spherical nano-sized Super P was used to improve rate performance by fabricating valid conduction paths in composite cathodes. Then, composite cathodes of ASSBs containing 70% and 80% active materials ($LiNi_{0.6}Co_{0.2}Mn_{0.2}O_2$) were prepared by a solution-based process to achieve uniform dispersion of the electrode components in the slurry. We investigated the influence of binary carbon additives in the cathode of all-solid-state batteries to improve rate performance by constructing an effective electron conduction network.

다집단 분류 인공신경망 모형의 아키텍쳐 튜닝 (Tuning the Architecture of Neural Networks for Multi-Class Classification)

  • 정철우;민재형
    • 한국경영과학회지
    • /
    • 제38권1호
    • /
    • pp.139-152
    • /
    • 2013
  • The purpose of this study is to claim the validity of tuning the architecture of neural network models for multi-class classification. A neural network model for multi-class classification is basically constructed by building a series of neural network models for binary classification. Building a neural network model, we are required to set the values of parameters such as number of hidden nodes and weight decay parameter in advance, which draws special attention as the performance of the model can be quite different by the values of the parameters. For better performance of the model, it is absolutely necessary to have a prior process of tuning the parameters every time the neural network model is built. Nonetheless, previous studies have not mentioned the necessity of the tuning process or proved its validity. In this study, we claim that we should tune the parameters every time we build the neural network model for multi-class classification. Through empirical analysis using wine data, we show that the performance of the model with the tuned parameters is superior to those of untuned models.

관성 측정 센서를 활용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템 설계 및 구현 (Design and Implementation of BNN-based Gait Pattern Analysis System Using IMU Sensor)

  • 나진호;지기산;정윤호
    • 한국항행학회논문지
    • /
    • 제26권5호
    • /
    • pp.365-372
    • /
    • 2022
  • 관성 측정 센서는 사람 행동 인식 시스템에 주로 사용되는 센서들에 비해 크기가 작고 가벼우며 낮은 비용으로 시스템의 경량화를 달성할 수 있다. 따라서, 본 논문에서는 관성 측정 센서를 이용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템을 제안하고, 연산 가속을 위한 FPGA 기반 가속기 설계 및 구현 결과를 제시한다. 관성 측정 센서를 통해 걸음걸이에 대한 6가지 신호를 측정하고, 단시간 푸리에 변환을 이용하여 스펙트로그램을 추출한다. 높은 정확도를 가지는 경량화 시스템을 갖추기 위해 걸음걸이 패턴 분류에 BNN (binarized neural network) 기반 구조를 사용하였고, 검증 결과 97.5%의 높은 정확도와 메모리 사용량이 합성곱 신경망에 비해 96.7% 감소한 것을 확인하였다. 이진 신경망의 연산 가속을 위해 FPGA를 이용한 하드웨어 가속기 구조로 설계하였다. 제안된 걸음걸이 패턴 분석 시스템은 24,158개의 logic, 14,669개의 register, 13.687 KB의 block memory를 사용하여 구현되어 62.35 MHz의 최대 동작 주파수에서 1.5ms 내에 연산이 완료되어 실시간 동작이 가능함을 확인하였다.

신경망 이론을 이용한 100MPa급 초고강도 콘크리트의 최적 배합설계모델에 관한 연구 (A Study on the Optimum Mix Design Model of 100MPa Class Ultra High Strength Concrete using Neural Network)

  • 김영수;신상엽;정의창
    • 대한건축학회연합논문집
    • /
    • 제20권6호
    • /
    • pp.17-23
    • /
    • 2018
  • The purpose of this study is to suggest 100MPa class ultra high strength concrete mix design model applying neural network theory, in order to minimize an effort wasted by trials and errors method until now. Mix design model was applied to each of the 70 data using binary binder, ternary binder and quaternary binder. Then being repeatedly applied to back-propagation algorithm in neural network model, optimized connection weight was gained. The completed mix design model was proved, by analyzing and comparing to value predicted from mix design model and value measured from actual compressive strength test. According to the results of this study, more accurate value could be gained through the mix design model, if error rate decreases with the test condition and environment. Also if content of water and binder, slump flow, and air content of concrete apply to mix design model, more accurate and resonable mix design could be gained.

개선된 데이터마이닝을 위한 혼합 학습구조의 제시 (Hybrid Learning Architectures for Advanced Data Mining:An Application to Binary Classification for Fraud Management)

  • Kim, Steven H.;Shin, Sung-Woo
    • 정보기술응용연구
    • /
    • 제1권
    • /
    • pp.173-211
    • /
    • 1999
  • The task of classification permeates all walks of life, from business and economics to science and public policy. In this context, nonlinear techniques from artificial intelligence have often proven to be more effective than the methods of classical statistics. The objective of knowledge discovery and data mining is to support decision making through the effective use of information. The automated approach to knowledge discovery is especially useful when dealing with large data sets or complex relationships. For many applications, automated software may find subtle patterns which escape the notice of manual analysis, or whose complexity exceeds the cognitive capabilities of humans. This paper explores the utility of a collaborative learning approach involving integrated models in the preprocessing and postprocessing stages. For instance, a genetic algorithm effects feature-weight optimization in a preprocessing module. Moreover, an inductive tree, artificial neural network (ANN), and k-nearest neighbor (kNN) techniques serve as postprocessing modules. More specifically, the postprocessors act as second0order classifiers which determine the best first-order classifier on a case-by-case basis. In addition to the second-order models, a voting scheme is investigated as a simple, but efficient, postprocessing model. The first-order models consist of statistical and machine learning models such as logistic regression (logit), multivariate discriminant analysis (MDA), ANN, and kNN. The genetic algorithm, inductive decision tree, and voting scheme act as kernel modules for collaborative learning. These ideas are explored against the background of a practical application relating to financial fraud management which exemplifies a binary classification problem.

  • PDF