| 杨灿,王重熙,章隆兵.面向训练的卷积神经网络加速器设计[J].高技术通讯(中文),2023,33(6):568~580 |
| 面向训练的卷积神经网络加速器设计 |
| An accelerator for convolutional neural network training |
| |
| DOI：10. 3772/ j. issn. 1002-0470. 2023. 06. 002 |
| 中文关键词: 神经网络； 训练； 加速器； 卷积神经网络（CNN） |
| 英文关键词: neural network, training, accelerator, convolutional neural network(CNN) |
| 基金项目: |
| 作者 | 单位 | | 杨灿 | (*计算机体系结构国家重点实验室（中国科学院计算技术研究所）北京 100190)
(**中国科学院计算技术研究所北京 100190）
（***中国科学院大学北京 100049） | | 王重熙 | (*计算机体系结构国家重点实验室（中国科学院计算技术研究所）北京 100190)
(**中国科学院计算技术研究所北京 100190）
（***中国科学院大学北京 100049） | | 章隆兵 | (*计算机体系结构国家重点实验室（中国科学院计算技术研究所）北京 100190)
(**中国科学院计算技术研究所北京 100190）
（***中国科学院大学北京 100049） |
|
| 摘要点击次数: 947 |
| 全文下载次数: 842 |
| 中文摘要: |
| 随着深度神经网络的广泛应用，对神经网络模型的训练速度需求也不断增长，各类面向训练的加速器应运而生。然而，在训练过程的各阶段，同一个层展现出了巨大的计算差异，计算差异性使得单一数据流结构的加速器在某些阶段的处理上达不到最高的效率。而图形处理器（GPU）等通用性设计通常不能充分地利用各阶段操作的特性使得利用率较低。为了解决这个问题，本文针对卷积神经网络（CNN）训练不同阶段的操作，分别提出了高效的执行方案，设计了一个统一的加速器处理单元硬件结构，能够将所有阶段的执行方案高效地映射到其上运行，并以这个统一的处理单元为基础实现了一个高效的支持训练的卷积神经网络加速器。实验结果显示，基于4个常用的卷积神经网络模型，卷积层训练的前向过程、反向过程的运算资源利用率分别达到了77.6%、67.3%，相比于现有主流的利用Tensor核心加速深度学习任务的GPU，运算资源利用率提高了45.1%和41.7%。 |
| 英文摘要: |
| As deep neural network is widely used in many fields, the demand for speed of training neural network models is also increasing. As a result, a variety of high performance accelerators for training appears. But, the operation of the same layer shows great computation heterogeneity in different training phases, which makes the accelerator with single dataflow unable to achieve ideal efficiency when processing some training phases. General processors like graphics processing unit (GPU) are usually under low utilization because the characteristics of the operation are not fully utilized. In order to solve this problem, this paper proposes efficient execution schemes for different operations in each training phase, designs a processing unit with unified hardware structure, which can efficiently map execution schemes of each phase to it, and builds a high-performance accelerator for convolutional neural network (CNN) training using the processing unit with unified hardware structure. The experimental results show that, based on 4 commonly used convolutional neural network models, the computing resource utilization in forward propagation and backward propagation training phases reaches 77.6% and 67.3% respectively, which is 45.1% and 41.7% higher than the state-of-the-art Tensor core-based GPU. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
