| 钟巧灵,汪啸,张志斌,李冰,程学旗.Bi-Attention：面向终端的细粒度识别网络加速方法[J].高技术通讯(中文),2023,33(2):156~166 |
| Bi-Attention：面向终端的细粒度识别网络加速方法 |
| Bi-Attention: acceleration method for fine-grained classification network toward edges |
| |
| DOI：10. 3772/ j. issn. 1002-0470. 2023. 02. 005 |
| 中文关键词: 细粒度识别； Attention； 结构化剪枝；L1正则化； 终端 |
| 英文关键词: fine-grained classification, Attention, structured pruning, LASSO regularization, edge |
| 基金项目: |
| 作者 | 单位 | | 钟巧灵 | (中国科学院计算技术研究所网络数据科学与技术重点实验室北京 100190)
(中国科学院大学计算机科学与技术学院北京 100049) | | 汪啸 | (中国科学院计算技术研究所网络数据科学与技术重点实验室北京 100190)
(中国科学院大学计算机科学与技术学院北京 100049) | | 张志斌 | (中国科学院计算技术研究所网络数据科学与技术重点实验室北京 100190)
(中国科学院大学计算机科学与技术学院北京 100049) | | 李冰 | (中国科学院计算技术研究所网络数据科学与技术重点实验室北京 100190)
(中国科学院大学计算机科学与技术学院北京 100049) | | 程学旗 | (中国科学院计算技术研究所网络数据科学与技术重点实验室北京 100190)
(中国科学院大学计算机科学与技术学院北京 100049) |
|
| 摘要点击次数: 944 |
| 全文下载次数: 651 |
| 中文摘要: |
| 细粒度识别是针对具有微小差异的对象进行分类的图像识别任务，深度学习模型在细粒度识别任务上取得了较大的进步。然而现有的细粒度识别深度神经网络模型采用多个模型结构叠加，无法在手机、无人机等资源受限终端设备上部署。本文提出Bi Attention细粒度识别模型加速方法，使用高效的TensorSketch运算以及权重共享机制，在Stanford Cars数据集上的准确率为91.6%，且比现有最先进的模型提高1.2%。本文提出一种结构化剪枝训练方法，通过LASSO正则化算法，在模型训练过程删除批归一化(BN)操作中不重要的扩展因子。实验结果表明，该剪枝方法可以降低Bi Attention模型大小为原来的1/4。 |
| 英文摘要: |
| A fine-grained classification task is an image classification task that recognizes objects with minor differences. Deep learning models have achieved great improvement in these fine-grained classification tasks. However, the existing fine-grained networks ensemble multiple models. It is hard to deploy these networks on the edges with limited resources, such as mobile phones and drones. In this paper, a method to accelerate model for fine-grained classification toward edges is proposed, called Bi-Attention. The efficient TensorSketch operation and share weights are used within the model. It can be achieved an accuracy of 91.6% and a better accuracy of 1.2% than the existing state-of-the-art models on Stanford Cars dataset. A structured-pruning training method is proposed to prune the unimportant scale factor in batch normalization (BN) through LASSO regularization. The experimental results show that it can be reduced the size of Bi-Attention model up to 1/4. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
