摘要

重复数据删除技术对缩减数据占用空间、提高存储设备利用率、消减存储成本具有重要的意义,该技术逐渐发展为存储领域的一项关键技术.分析比较了几项主流的重复数据删除技术的优缺点,并提出一种并行层次化的重复数据删除算法PHD(parallel-hierarchical deduplication),通过由粗粒度到细粒度的层次化数据消冗来提高数据去重率,并在此基础上引入并行处理以充分利用多核计算机资源解决重复数据删除速率低的问题.实验结果表明,该策略在保证重复数据删除率的同时,有效地提高了重复数据删除速率.