| 于启航* **,文渊博*,杜子东* ***.Bi-SCNN：二值随机混合神经网络加速器[J].高技术通讯(中文),2024,34(12):1243~1255 |
| Bi-SCNN：二值随机混合神经网络加速器 |
| Bi-SCNN: a binary-stochastic hybrid neural network accelerator |
| |
| DOI：10. 3772 / j. issn. 1002-0470. 2024. 12. 001 |
| 中文关键词: 二值神经网络(BNN)； 随机计算(SC)； 神经网络加速器 |
| 英文关键词: binary neural network (BNN), stochastic computing (SC), deep learning accelerator |
| 基金项目: |
| 作者 | 单位 | | 于启航* ** | （*中国科学院计算技术研究所处理器芯片国家重点实验室北京 100190）
（**中国科学院大学北京 100049）
（***上海处理器技术创新中心上海 201203） | | 文渊博* | | | 杜子东* *** | |
|
| 摘要点击次数: 21 |
| 全文下载次数: 30 |
| 中文摘要: |
| 二值神经网络（BNN）具有硬件友好的特性，但为了保证计算精度，在输入层仍需要使用浮点或定点计算，增加了硬件开销。针对该问题，本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN，实现了BNN输入层的高效计算，并设计了二值随机混合计算架构Bi-SCNN。首先，在BNN输入层使用高精度的随机运算单元，实现了与定点计算近似的精度；其次，通过在处理单元（PE）内和PE间2个层次对随机数生成器进行复用，并优化运算单元，有效降低了硬件开销；最后，根据输入数据的特性对权值配置方式进行优化，进而降低了整体计算延迟。相比于现有性能最优的BNN加速器，Bi-SCNN在保证计算精度的前提下，实现了2.4倍的吞吐量、12.6倍的能效比和2.2倍的面积效率提升，分别达到2.2 TOPS、7.3 TOPS·W-1和1.8 TOPS·mm-2。 |
| 英文摘要: |
| Binary neural networks (BNNs) possess hardware-friendly characteristics, yet to ensure computational accuracy, floating-point or fixed-point calculations are still required at the input layer, increasing hardware overhead. To address this issue, this paper applies another hardware-friendly stochastic computing method to BNNs, achieving efficient computation at the BNN input layer and designing a binary stochastic computing neural network (Bi-SCNN) architecture. Firstly, high-precision stochastic computing units are used in the BNN input layer, achieving accuracy comparable to fixed-point computation. Secondly, by reusing random number generators within and between processing elements (PEs) and optimizing the computing units, Bi-SCNN effectively reduces hardware overhead. Lastly, the paper optimizes weight configuration methods based on input data characteristics, thereby reducing overall computational latency. Compared with the existing best-performing BNN accelerators, Bi-SCNN achieves a 2.4-fold increase in throughput, a 12.6-fold increase in energy efficiency, and a 2.2-fold improvement in area efficiency, reaching 2.2 TOPS, 7.3 TOPS·W-1, and 1.8 TOPS·mm-2 respectively. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
