我有约 700GB 的存储空间，用于存储约 15M 个文件，因此平均文件大小约为 50KB。为了备份，我晚上运行了一个简单的rsync脚本，并设置了以下标志：
--archive --update --compress --numeric-ids --human-readable --stats
它需要 8 个小时以上才能rsync完成工作，平均每天要移动约 1-4GB 的数据。在我看来，这效率极低。
我可以调整我的rsync脚本吗？我想我最好的选择是数据迁移MongoDB或类似的东西，但这样做有一个问题，因为当前的基础架构依赖于posix文件系统上正在访问的文件，将它们迁移到完全不同的东西可能需要额外的工作，可能工作量太大……还有什么其他最佳策略？
答案1
尽管传输效率很高，但 rsync 仅分析这么多文件就需要这么长时间。它必须执行超过 15M IO，加上或减去缓存。您可以为其投入非常快的存储，但这可能代价高昂。
zfs 建议使用块级副本，其中这将成为一个要传输的巨型文件。
这些概念也适用于 lvm，尽管它可能需要更多的脚本，因为远程快照不是内置的。参见lvm同步寻找想法。