| 黄一凡*,张 欣**,支 天**,张 蕊**,张曦珊**,周学海*.基于多段插值拟合的深度神经网络非线性层加速方法[J].高技术通讯(中文),2023,33(3):280~291 |
| 基于多段插值拟合的深度神经网络非线性层加速方法 |
| A method based on multi-segment interpolation fitting toaccelerate nonlinear layers in deep neural networks |
| |
| DOI：10. 3772/ j. issn. 1002-0470. 2023. 03. 006 |
| 中文关键词: 深度神经网络(DNN);量化;非线性层加速;多段插值拟合 |
| 英文关键词: deep neural network(DNN), quantization, nonlinear layer acceleration, multi-segment interpolation fitting |
| 基金项目: |
| 作者 | 单位 | | 黄一凡* | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) | | 张 欣** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) | | 支 天** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) | | 张 蕊** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) | | 张曦珊** | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) | | 周学海* | (*中国科学技术大学计算机科学与技术学院 合肥230026)(**中国科学院计算技术研究所 北京100190) |
|
| 摘要点击次数: 948 |
| 全文下载次数: 811 |
| 中文摘要: |
| 针对传统量化算法无法应用于非线性运算层的问题,本文提出了一种基于多段插值拟合的非线性层加速方法,利用插值表存储插值函数的参数,通过查表来计算得到非线性层的输出结果。使用本方法,可以在对非线性层进行有效加速的同时实现拟合误差可控。此外在硬件部署时,仅需要基础硬件指令支持,在边缘端和服务器都可以部署。实验结果表明,使用本文提出的多段插值方法拟合多种非线性层,可以取得平均1. 44 倍的加速效果。这种非线性层可以方便快捷地部署在图像分类、自然语言处理和机器翻译等多种任务模型上,并且每个模型对拟合精度有不同需求的情况下,均可以保证推理和训练精度损失小于0. 5%。 |
| 英文摘要: |
| Aiming at the problems that the classic quantization methods can not be used for layers with nonlinear computation,a method based on multi-segment interpolation fitting for nonlinear layer acceleration is proposed. It uses interpolation tables to store parameters of interpolating function, looks up these tables to compute output of nonlinear layers. This method can efficiently accelerate nonlinear layers and its fitting error is controllable. It only needs basic hardware instruction support, and it can be applied on edge devices and server. The experimental results show that interpolated nonlinear layers can speed up the computation by 1. 44 times on average. Those interpolating nonlinear layers can be applied conveniently on tasks such as image classification, natural language processing, and sentence translation models, even though different models requires various fitting precision, inference and training process can achieve promised accuracy. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
