Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

QoS-Aware Optimal SNN Model Parameter Generation Method in Neuromorphic Environment

뉴로모픽 환경에서 QoS를 고려한 최적의 SNN 모델 파라미터 생성 기법

  • 김서연 (인하대학교 인간중심컴퓨팅연구소 ) ;
  • 김봉재 (충북대학교 컴퓨터공학과) ;
  • 정진만 (인하대학교 컴퓨터공학과)
  • Received : 2023.04.30
  • Accepted : 2023.05.25
  • Published : 2023.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

IoT edge services utilizing neuromorphic hardware architectures are suitable for autonomous IoT applications as they perform intelligent processing on the device itself. However, spiking neural networks applied to neuromorphic hardware are difficult for IoT developers to comprehend due to their complex structures and various hyper-parameters. In this paper, we propose a method for generating spiking neural network (SNN) models that satisfy user performance requirements while considering the constraints of neuromorphic hardware. Our proposed method utilizes previously trained models from pre-processed data to find optimal SNN model parameters from profiling data. Comparing our method to a naive search method, both methods satisfy user requirements, but our proposed method shows better performance in terms of runtime. Additionally, even if the constraints of new hardware are not clearly known, the proposed method can provide high scalability by utilizing the profiled data of the hardware.

뉴로모픽 아키텍처 기반 하드웨어를 이용한 IoT 엣지 서비스는 단말 장치에서 지능형 처리를 수행할 수 있기 때문에 자율형 IoT 응용 지원에 적합하다. 그러나 IoT 개발자가 뉴로모픽 하드웨어에서 사용되는 SNN을 이해하기에는 어려움이 있다. 본 논문에서는 뉴로모픽 하드웨어의 제약조건을 고려하며 사용자의 요구 성능을 만족하는 SNN 모델 생성 기법을 제안한다. 제안 기법은 프로파일링된 데이터에서 최적의 SNN 모델 파라미터를 찾도록 전처리된 데이터로 사전 학습한 모델을 활용한다. 전체 탐색 기법과 비교 결과, 두 기법 모두 사용자 요구사항을 모두 만족하였지만, 제안 기법이 수행 시간 측면에서 더 좋은 성능을 보였다. 또한, 신규 하드웨어의 제약조건을 명확히 알지 못하더라도 새로운 하드웨어의 프로파일링된 데이터를 활용할 수 있으므로 높은 확장성을 제공할 수 있다.

Keywords

Acknowledgement

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2021R1F1A1062884).

References

  1. 김선욱, 홍성은, 방준일, 김화종, "IoT 장치의 개인정보 데이터 보호 시스템 구현에 관한 연구," 스마트미디어저널, 제10권, 제2호, 84-91쪽, 2021년 06월 
  2. D. A. Nguyen, X. T. Tran, K. N. Dang, F. Iacopi, "A low-power, high-accuracy with fully on-chip ternary weight hardware architecture for Deep Spiking Neural Networks," Microprocessors and Microsystems, vol. 90, Apr. 2022. 
  3. T. N. N. Nguyen, B. Veeravalli, X. Fong, "Hardware Implementation for Spiking Neural Networks on Edge Devices," Predictive Analytics in Cloud, Fog, and Edge Computing: Perspectives and Practices of Blockchain, IoT, and 5G, pp.227-248, 2022. 
  4. F. Akopyan, J. Sawada, A. Cassidy et al., "TrueNorth: Design and Tool Flow of a 65 mW 1 Million Neuron Programmable Neurosynaptic Chip," IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, vol. 34, no. 10, pp. 1537-1557, 2015.  https://doi.org/10.1109/TCAD.2015.2474396
  5. M. Davies, N. Srinivasa, T. H. Lin et al., "Loihi: A Neuromorphic Manycore Processor with On-Chip Learning," IEEE Micro, vol. 38, no. 1, pp. 82-99, Jan. 2018.  https://doi.org/10.1109/MM.2018.112130359
  6. A. D. Brown, J. Chad, Raihaan, B. K. M. Raihaan, K. Dugan, S. Furber, "SpiNNaker: Event-based simulation - quantitative behaviour," IEEE Transactions on Multiscale Computing Systems, vol. 4, pp. 450-462, Jul. 2018.  https://doi.org/10.1109/TMSCS.2017.2748122
  7. J. Schemmel et al., "Live demonstration: A scaled-down version of the BrainScaleS wafer-scale neuromorphic system," 2012 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 702-702, Seoul, Korea (South), 2012. 
  8. B. V. Benjamin et al., "Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations," Proceedings of the IEEE, vol. 102, no. 5, pp. 699-716, May 2014.  https://doi.org/10.1109/JPROC.2014.2313565
  9. Terasic De1-SoC(2016).http://de1-soc.terasic.com/ (accessed Apr., 14, 2023). 
  10. Xilinx PYNQ(2017). http://www.pynq.io/ (accessed Apr., 14, 2023). 
  11. T. Bekolay et al., "Nengo: a Python tool for building large-scale functional brain models," Frontiers in Neuroinformatics, vol. 7, 2014. 
  12. 신양훈, 이창환, 오세만, "프로파일링 데이터를 이용한 가상기계 코드 최적화," 정보처리학회논문지 컴퓨터 및 통신시스템, 제14권, 제3호, 167-172쪽, 2007년 6월  https://doi.org/10.3745/KIPSTA.2007.14-A.3.167
  13. 이윤재, 염헌영, 한혁, "메모리 접근 프로파일링을 통한 프로그램의 Swap 사용 최적화," 정보과학회논문지, 제47권, 제5호, 466-472쪽, 2020년 5월  https://doi.org/10.5626/JOK.2020.47.5.466
  14. 오지선, 김세진, 김윤희, "CPU-GPU 컨테이너클러스터의 프로파일링을 활용한 계산응용 실행계획 기법," 정보과학회논문지, 제46권, 제10호, 975-980쪽, 2019년 10월  https://doi.org/10.5626/JOK.2019.46.10.975
  15. D. Chen, N. Vachharajani, R. Hundt et al., "Taming hardware event samples for FDO compilation," Proceedings of the 8th annual IEEE/ACM international symposium on Code generation and optimization (CGO '10), pp. 42-52, New York, NY, USA, Apr. 2010. 
  16. T. D. Han, T. S. Abdelrahman, "Automatic tuning of local memory use on GPGPUs," Part of ADAPTWorkshop proceedings, arXiv:1412.6986, 2015. 
  17. E. Ipek, S. A. McKee, K. Singh, R. Caruana, B. R. de Supinski and M. Schulz, "Efficient architectural design space exploration via predictive modeling," ACM Transactions on Architecture and Code Optimization, vol. 4, Issue 4, pp. 1-34, Jan. 2008.  https://doi.org/10.1145/1328195.1328196
  18. E. Schulte, J. Dorn, S. Harding, S. Forrest and W. Weimer, "Post-compiler software optimization for reducing energy," Proceedings of the 19th international conference on Architectural support for programming languages and operating systems (ASPLOS '14), pp. 639-652, Feb. 2014. 
  19. M. Blackstock and R. Lea, "Toward a Distributed Data Flow Platform for the Web of Things (Distributed Node-RED)," Proceedings of the 5th International Workshop on Web of Things (WoT'14). Association for Computing Machinery, NewYork, NY, USA, pp. 34-39, Oct. 2014. 
  20. 김서연, 윤영선, 은성배, 차신, 정진만, "AI 컴포넌트추상화 모델 기반 자율형 IoT 통합개발환경 구현," 한국인터넷방송통신학회 논문지, 제21권, 제5호, 71-77쪽, 2021년 10월 
  21. 김서연, 윤영선, 홍지만, 김봉재, 이건명, 정진만, "FPGA상에서 스파이킹 뉴럴 네트워크 지원을 위한모델 최적화," 스마트미디어저널, 제11권, 제2호, 70-76쪽, 2022년 03월 
  22. 김서연, 장준혁, 정진만, 김봉재, 윤영선, "오픈 플랫폼 호환 지능형 IoT 컴포넌트 자동 생성 도구," 스마트미디어저널, 제11권, 제11호, 32-39쪽, 2022년 12월  https://doi.org/10.30693/SMJ.2022.11.11.32
  23. Applied Brain Research (2018). http://www.nengo.ai/nengo-loihi/api.html#nengo_loihi.block.LoihiBlock (accessed Jan., 12, 2023).