Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.723-726
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

AI Accelerator Design for Edge Devices

엣지 디바이스를 위한 AI 가속기 설계 방법

  • Whoi Ree, Ha (Dept. of electrical and Computer Engineering and Inter-university Semiconductor Research Center, Seoul National University) ;
  • Hyunjun Kim (Dept. of electrical and Computer Engineering and Inter-university Semiconductor Research Center, Seoul National University) ;
  • Yunheung Paek (Dept. of electrical and Computer Engineering and Inter-university Semiconductor Research Center, Seoul National University)
  • 하회리 (서울대학교 전기정보공학부, 반도체공동연구소) ;
  • 김현준 (서울대학교 전기정보공학부, 반도체공동연구소) ;
  • 백윤흥 (서울대학교 전기정보공학부, 반도체공동연구소)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

단일 dataflow 를 지원하는 DNN 가속기는 자원 효율적인 성능을 보이지만, 여러 DNN 모델에 대해서 가속 효과가 제한적입니다. 반면에 모든 dataflow 를 지원하여 매 레이어마다 최적의 dataflow를 사용하여 가속하는 reconfigurable dataflow accelerator (RDA)는 굉장한 가속 효과를 보이지만 여러 dataflow 를 지원하는 과정에서 필요한 추가 하드웨어로 인하여 효율적이지 못합니다. 따라서 본 연구는 제한된 dataflow 만을 지원하여 추가 하드웨어 요구사항을 감소시키고, 중복되는 하드웨어의 재사용을 통해 최적화하는 새로운 가속기 설계를 제안합니다. 이 방식은 자원적 한계가 뚜렷한 엣지 디바이스에 RDA 방식을 적용하는데 필수적이며, 기존 RDA 의 단점을 최소화하여 성능과 자원 효율성의 최적점을 달성합니다. 실험 결과, 제안된 가속기는 기존 RDA 대비 32% 더 높은 에너지 효율을 보이며, latency 는 불과 1%의 차이를 보였습니다.

Keywords

Acknowledgement

이 논문은 2024 년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(RS-2023-00277326), 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원 (No.RS-2023-00277060, 개방형 엣지 AI 반도체 설계 및 SW 플랫폼 기술개발), 2024 년도 BK21 FOUR 정보기술 미래인재 교육연구단에 의하여 지원, 반도체 공동연구소 지원, 2023 년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(IITP-2023-RS-2023-00256081), 반도체 공동연구소 지원을 받아 수행된 연구임.

References

  1. Rappaz, Jeremie, Julian McAuley, and Karl Aberer. "Recommendation on live-streaming platforms: Dynamic availability and repeat consumption." Proceedings of the 15th ACM Conference on Recommender Systems. 2021.
  2. Balaban, Stephen. "Deep learning and face recognition: the state of the art." Biometric and surveillance technology for human and activity identification XII 9457 (2015): 68-75. https://doi.org/10.1117/12.2181526
  3. Sperli, Giancarlo. "A cultural heritage framework using a Deep Learning based Chatbot for supporting tourist journey." Expert Systems with Applications 183 (2021): 115277.
  4. Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012).
  5. Szegedy, Christian, et al. "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
  6. Du, Zidong, et al. "ShiDianNao: Shifting vision processing closer to the sensor." Proceedings of the 42nd annual international symposium on computer architecture. 2015.
  7. Yang, Xuan, et al. "Interstellar: Using halide's scheduling language to analyze dnn accelerators." Proceedings of the Twenty-Fifth International Conference on Architectural Support for Programming Languages and Operating Systems. 2020.
  8. Parashar, Angshuman, et al. "Timeloop: A systematic approach to dnn accelerator evaluation." 2019 IEEE international symposium on performance analysis of systems and software (ISPASS). IEEE, 2019.
  9. Chen, Yu-Hsin, et al. "Eyeriss: An energy-efficient reconfigurable accelerator for deep convolutional neural networks." IEEE journal of solid-state circuits 52.1 (2016): 127-138. https://doi.org/10.1109/JSSC.2016.2616357
  10. Kwon, Hyoukjun, Ananda Samajdar, and Tushar Krishna. "MAERI: Enabling Flexible Dataflow Mapping over DNN Accelerators via Reconfigurable Interconnects." Proceedings of the Twenty-Third International Conference on Architectural Support for Programming Languages and Operating Systems. 2018.
  11. Dave, Shail, et al. "Dmazerunner: Executing perfectly nested loops on dataflow accelerators." ACM Transactions on Embedded Computing Systems (TECS) 18.5s (2019): 1-27. https://doi.org/10.1145/3358198
  12. Kwon, Hyoukjun, et al. "Understanding reuse, performance, and hardware cost of dnn dataflow: A data-centric approach." Proceedings of the 52nd Annual IEEE/ACM International Symposium on Microarchitecture. 2019.
  13. Kwon, Hyoukjun, et al. "Heterogeneous dataflow accelerators for multi-DNN workloads." 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA). IEEE, 2021.
  14. Mei, Linyan, et al. "ZigZag: Enlarging joint architecture-mapping design space exploration for DNN accelerators." IEEE Transactions on Computers 70.8 (2021): 1160-1174. https://doi.org/10.1109/TC.2021.3059962
  15. Balasubramonian, Rajeev, et al. "CACTI 7: New tools for interconnect exploration in innovative off-chip memories." ACM Transactions on Architecture and Code Optimization (TACO) 14.2 (2017): 1-25. https://doi.org/10.1145/3085572