| 陈重韬.面向多用户环境的MapReduce集群调度算法研究[J].高技术通讯(中文),2017,27(4): |
| 面向多用户环境的MapReduce集群调度算法研究 |
|
| |
| DOI： |
| 中文关键词: MapReduce集群， 多用户环境， 调度算法， 作业执行信息收集 |
| 英文关键词: |
| 基金项目: |
|
| 摘要点击次数: 2571 |
| 全文下载次数: 2122 |
| 中文摘要: |
| 针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题，提出了一种基于历史执行信息（HEI）的MapReduce集群调度算法——HEI Scheduler。该算法通过建立集群作业执行信息的收集和分析机制，得到各用户组资源需求随时间变化的规律，并以作业实际占用slot的时间作为作业占用资源量的衡量标准，进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值。实验结果表明，执行信息分析机制能够更准确地表征作业对资源的需求，采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间。 |
| 英文摘要: |
| |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
