The optimization of deep learning performance for embedded systems using a zero-copy technique

Zero-copy 방식을 활용한 임베디드 환경에서의 딥러닝 성능 최적화

딥러닝의 대표적 개발 환경 중 하나인 Caffe를 임베디드 시스템의 메모리 구조를 고려하여 최적화하고 실제 측정 실험으로 기존의 방식보다 처리시간과 소비 전력량의 이득이 있다는 것을 확인하였다. 구체적으로 통합 메모리를 사용하는 임베디드 시스템 환경의 특성에 적합한 zero-copy기법을 적용하여 CPU와 GPU 모두 접근이 가능하도록 메모리 영역을 맵핑하는 방식으로 메모리 복제에 따른 오버헤드를 줄였으며, GoogLeNet 네트워크 모델에 대하여 10%의 처리 속도 향상과, 36% 소비 전력 감소를 확인하였다.