| 冯清青,孟丹,韩冀中.基于分级编码的高可靠存储策略[J].高技术通讯(中文),2013,23(11):1103~1109 |
| 基于分级编码的高可靠存储策略 |
|
| |
| DOI： |
| 中文关键词: 大数据，存储，可靠性，容错，低冗余，分级，编码 |
| 英文关键词: |
| 基金项目: |
| 作者 | 单位 | | 冯清青 | 中国科学院计算技术研究所计算机应用研究中心；中国科学院大学 | | 孟丹 | 中国科学院信息工程研究所 | | 韩冀中 | 中国科学院信息工程研究所 |
|
| 摘要点击次数: 4899 |
| 全文下载次数: 2858 |
| 中文摘要: |
| 研究了适应当前大数据时代的数据可靠性存储，针对已有存储策略难以同时满足高可靠性存储和高空间利用的需求的问题，提出了一种面向大数据的高可靠低冗余分级编码存储策略。该策略考虑到数据因类型不同、生命周期不同而重要程度有别的特性，可为不同类型数据分别设定容错级别；将不同冗余度的容错编码方式在一套统一存储架构中实现，用一组简单参数设置为数据选择恰当的容错级别编码存储；通过动态降低历史数据的冗余度进一步减少存储空间开销。实验验证了其有效性。对重要小文件采用高容错级别的编码分片存储，能在系统95%存储节点失效的情况下，根据编码后的部分数据分片快速修复所有数据；对普通文件采用适当放松的容错编码级别，在保证数据快速、无损修复的前提下比传统3副本策略节省1.5倍的存储空间。 |
| 英文摘要: |
| |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
