更新时间:2022-08-12 11:26:34
若您需要提升 Hadoop 文件系统备份效率,使用多客户端并发备份场景进行 Hadoop 文件系统的备份恢复。

此时,您可以参考《AnyBackup Family 7.0.14.0 客户端软件安装卸载最佳实践》,将多节点客户端进行客户端软件安装,并参照 添加Hadoop虚拟客户端新建备份任务步骤 以及 新建恢复任务步骤 进行多节点客户端的 Hadoop 文件系统备份恢复。
Hadoop 文件系统备份性能的影响因素主要有如下几方面:Hadoop HDFS 集群读写性能、客户端与控制台网络通道性能、存储服务器读写性能以及代理客户端数量。建议您使用如下方法进行 Hadoop 文件系统备份性能调优。
  • Hadoop HDFS 集群读写性能、客户端与控制台网络通道性能、存储服务器读写性能均较好的情况下,例如:Hadoop HDFS 集群读写性能单客户端备份可达到 200~500MiB/s 左右;客户端与控制台网络通道性能可达到双万兆网卡组 bond;存储服务器磁盘读写性能可达到 2GiB/s 左右时,建议您从配置 6-7 个代理客户端开始备份,并逐步调整代理客户端的个数以达到您环境的性能最优值。
  • Hadoop HDFS 集群读写性能、存储服务器读写性能均较好,但客户端与控制台网络通道性能存在瓶颈的情况下,例如 Hadoop HDFS 集群读写性能单客户端备份可达到 200~500MiB/s 左右;存储服务器磁盘读写性能可达到 2GiB/s 左右;但客户端与控制台网络通道性能只能实现单万兆网卡时,建议您从配置 3-4 个代理客户端开始备份,并逐步调整代理客户端的个数以达到您环境的性能最优值。

注意:建议您添加代理客户端的个数不超过50个,若创建超过50个代理客户端时,可能会遇到超时报错。代理客户端数量的多少不取决于Hadoop集群的节点数量,Hadoop集群节点数量较少时可使用无代理模式的代理客户端。