info: E. Li, L. Zeng, Z. Zhou, and X. Chen, “Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing,” IEEE Trans. Wireless Commun., vol. 19, no. 1, pp. 447–457, Jan. 2020, doi: 10.1109/TWC.2019.2946140.
深度神经网络(DNN)是支持移动智能应用的关键技术,但在移动设备上运行DNN存在计算资源有限的挑战。传统的云计算辅助的DNN推理存在明显的延迟问题。边缘计算作为一种新兴的计算模式,可以用于支持实时的DNN推理。
网络环境多变,如何针对不同的网络带宽条件优化DNN的推理性能和时延?如何在满足预定义的时延要求下,最大化DNN的推理精度?
仅使用设备端或边缘服务器端计算DNN都存在明显的性能缺陷。仅使用模型分割或模型压缩也无法同时兼顾精度和时延。