BackupPC 需要 72 小时以上才能备份 250GB

BackupPC 需要 72 小时以上才能备份 250GB

我用BackupPC它来备份办公室的一些工作站。与其他工作站相比,其中一个工作站的数据量相当大,但总体来说并不大(实际数据量约为 250 GB)。

BackupPC备份此系统似乎需要很长时间(几天,即超过 72 小时)。所有工作站都通过网络本地安装rsync进行备份。autofs

基本上,autofs将 安装administrative C share在工作站上,然后BackupPC将其作为本地目录,cd将 放入 中automount directory,并将rsync中的所有数据。

总体来说速度很慢,我通常将其归因于BackupPC机器的硬件速度很慢,但除了这个数据量较大的工作站外,这种性能在所有工作站上或多或少都是可以接受的。

rsync flags:

/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive

BackupPC这些是设置的默认参数。

我在网上读到了一些资料,指出atime挂载可能会减慢速度 - 所以我改变了autofs配置以使用noatime标志挂载目录......没有区别。

我读了一些资料,指出这rsync可能是由于检查文件的方式导致的罪魁祸首……并建议改用tar。所以我照做了……但没有什么不同。

tar flags:

tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals

# where $shareName is the autofs mounted directory

这些是 BackupPC 设置的默认参数。

不用找了。

使用 监控BackupPC盒子的网络活动iftop,似乎它会在一段时间内使用率飙升(有时高达 90Mbps),但随后会回落到 Kbps 甚至有时是 Bps 范围。当它处于慢速模式时,top会显示命令的活动BackupPC_dump,这是备份作业...所以它正在做事情并且没有卡住。

当前备份已运行超过 24 小时,但根据 ,仅传输了 75.9GB iftop

答案1

直接在服务器上运行 rsync 可能会更快。您需要通过网络访问大约一百万个文件。您可以运行几个最小安装rsync。我已经设置了Windows 上的 BackupPC这样。您可以运行完整的 Cygwin 安装,或者最小的cygwin-rsycnd在 BackupPC 项目中安装可用。

答案2

您应该检查 backuppc 配置的两侧的所有内容。首先,检查服务器并尝试提高其性能,但如果您有其他性能更好的机器,则可以跳过这一步。

接下来检查网络!桌面检测到的网络速度、包大小、电缆质量。做一些基准测试,对一个大文件进行 rsync (rsync-rsyncd) 测试。从其他桌面测试到其他桌面。您应该看到那里是否有问题。

最后是桌面。机器上的 CIFS 可能不是最佳状态,正如我上面所说,来自网络文件系统的 rsync 将通过网络一次又一次地下载每个文件,因为 rsync 认为文件系统是本地的,并且会检查文件的 md5...但文件需要通过网络获取,只需进行检查即可。因此,正如 BillThor 指出的那样,桌面上的一个 rsyncd 将更加高效。此外,校验和缓存将帮助 backuppc 服务器不检查其文件,从而减少其负载。对桌面进行碎片整理并删除(或排除)任何不需要的文件(Windows 到处都有许多无用的文件)。

最后,文件数量……许多文件使得任何通过网络进行的备份都需要很长时间,因此请尝试一下……不要进行一次大备份,而是将其分成几个小部分。有些文件的变化比其他文件大,因此请按变化概率对目录进行分组。不要每 x 天进行一次大备份,而是进行 3 次备份,一次在 X 天,另一次在 2 x 天,更新较少的文件备份 3 x 天。这样,您就避免了每次都要解析每个文件。如果您有“存档”文件,请考虑进行压缩。即使不可压缩(使用 zip 存储),它也会在 1 个文件内变成 10,000 个……在备份期间节省大量时间。

如果你做不到这一点,你可以考虑改变备份方法。在一台有很多文件的大型机器上,我使用驱动器快照制作高清图像,然后定期进行增量快照。可能看起来有点过头了,但该程序在块级别执行增量时速度很快,并且可以绕过许多文件的问题。对我来说,它将 48 小时的文件系统备份减少到 3 小时的块级别备份。不如 backuppc 灵活,但它可以工作。只是不要忘记,当您进行碎片整理时,您必须再次进行完整备份,否则增量将与完整备份一样大。:)

查看有关如何从 Windows 备份的博客文章(附带卷影副本奖励)。阅读所有评论,因为我在那里添加了许多重要信息和更新。

相关内容