更新时间:2022-08-13 21:11:37
如果您遇到如下场景:
您的 Hadoop 文件系统备份数据占用空间越来越大,而管理保存数据的成本及数据中心空间和能耗也变得越来越严重,随着时间的推移冗余数据越来越多时,您迫切希望缓解存储系统的空间增长,缩减数据占用空间,降低成本,最大程度地利用已有资源。

此时,您可以在创建任务时,进行以下配置:
  • 开启重复数据删除
您可以参考《AnyBackup Family 7.0.14.0 定时数据保护重复数据删除最佳实践》使用重复数据删除功能,创建重删卷、指纹池以及指纹库,参考 新建备份任务步骤 将Hadoop文件系统的备份任务开启重复删除功能,参考 历史记录 查看备份任务的执行概要获悉备份任务的重删率。开启重删功能后,备份任务的首次备份重删率在 0%~40%,多次备份的重删率在 70%~90%。
  • 开启数据压缩
您可以参考 新建备份任务步骤,将备份任务的压缩选项开启,选择快速压缩或强力压缩选项。快速压缩具有更快的压缩速度;强力压缩具有更高的压缩率。数据压缩会占用一定的 CPU 资源,建议根据您的环境需求选择相应的数据压缩方式。您可参考 历史记录 查看备份任务的执行概要获悉备份任务的实际备份数据量。开启快速压缩时,备份任务的数据压缩比在 1~1.5 左右;开启强力压缩时,备份任务的数据压缩比在 1~2 左右。
  • 为备份任务配置数据保留策略
您可以参考 数据保留策略 配置数据保留策略模板。系统将根据您的配置,在每次任务执行时删除您不需要的数据。缩减数据占用空间的压力。

注意:重复数据删除和数据压缩均会占用系统 CPU 和内存资源,请在确保服务器系统资源充足的情况下,进行以上特性功能的开启。