| 孙永泽,陆忠华.基于超限学习机与随机响应方面方法的深度学习超参数优化算法[J].高技术通讯(中文),2019,29(12):1165~1174 |
| 基于超限学习机与随机响应方面方法的深度学习超参数优化算法 |
|
| |
| DOI： |
| 中文关键词: 超参数优化； 代理模型； 超限学习机(ELM)； 随机响应面法； 深度学习模型 |
| 英文关键词: |
| 基金项目: |
|
| 摘要点击次数: 2453 |
| 全文下载次数: 1552 |
| 中文摘要: |
| 恰当的超参数设置是决定深度模型性能的关键因素，实现优秀高效的超参数优化算法能够提高深度学习模型的效果，提升模型超参数搜索调优的效率和速度，降低深度学习模型的应用门槛。超参数优化算法的典型代表是贝叶斯优化算法(BOA)，此类基于代理模型的全局优化算法，相对随机搜索、网格搜索等简单算法理论上具备更好的优化效率。本文提出基于超限学习机(ELM)对超参数空间建立确定性代理模型，并改进随机响应面方法，实现了一种针对深度学习模型的超参数优化算法SurroOpt1。实验表明，本文提出的算法，在深度卷积网络模型超参数优化任务中，相对贝叶斯优化和TPE算法这2种最先进的已知算法，在函数求解次数相同的情况下，具备更好的模型优化效果。 |
| 英文摘要: |
| |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
