Windows Server 上数千万个文件的连续单向复制选项?

Windows Server 上数千万个文件的连续单向复制选项?

我们有一个非常大的 Windows 文件存储(几 TB 和数千万个文件),我想将其连续复制到另一台服务器,尽可能接近实时。我正在寻找可以实现这一点的工具选项。

到目前为止我已经想到了:

  • 将其移动到 NAS 或 SAN 并共享文件。这不管用,至少在六个月内我们都没有这个选择。
  • 使用 robocopy 和 /MON。我担心复制源资源的消耗,因为它每个周期都会重新扫描整个树。(虽然 /MON 在触发新周期之前会监视文件更改,但每次运行都会执行完整扫描,并且实际上不会使用文件更改数据。)
  • Rsync。不比 robocopy 好。
  • DFS我从微软的人那里听说了关于存储数百万个小文件的 DFS 的非常糟糕的事情。我们的文件可能有一半非常小。
  • 杂交种。编写自己的工具或在网上找到一个使用文件监视程序来定位需要复制的文件的工具。尽管缓冲区可能会溢出,但仍然运行夜间 robocopy 来拾取遗漏的任何内容。
  • 基于备份. 某种疯狂的脚本备份/恢复功能,其中备份软件可以进行非常快速的增量快照。

任何想法都将不胜感激,谢谢!

答案1

无论您使用什么,请确保它使用 NTFS 更改日志,这样它就不会有效地“轮询”文件系统。例如,“robocopy /MON”不使用 NTFS 更改日志,因此它最终只是“轮询”文件系统。

我有一个客户使用同步将几百万个大大小小的文件(约 1.5TB)复制到“热备用”文件服务器计算机。它对他们来说很有效。它使用 NTFS 更改日志来随时了解卷的更改。它支持增量压缩和使用专用网络接口进行服务器间通信。(我与该公司没有任何关系;我只是喜欢这个工具。)

答案2

这是我第一次听到有人对 DFS-R 发表负面评价。我们的体验只有正面评价。

无论如何,我都会先尝试 DFS-R,因为除了您已有的 Windows 许可证(假设您拥有企业版)之外,它不需要其他硬件或软件。它的设置也相当简单。

我们管理的最大 DFS-R 卷约为 200GB,包含 100 多万个文件。显然,这比您拥有的要小得多,但仍然相当大。内容主要是软件安装包(其中一些包含数千个小文件)。我们过去使用 NTFRS 复制此存储,但一直存在问题。2003 R2 发布时,我们升级到 DFS-R,情况发生了天壤之别。服务器后来升级到 2008,并且仍然运行良好,没有出现任何故障。

您肯定会希望在不同的主轴上设置暂存卷以提高性能,并且还必须将其配置得相当大。不过,我并不是这方面的专家。这可能取决于您的最大文件有多大以及定期有多少变动。Microsoft PSS 人员可能会就此提供更好的建议。

因此请安装它并查看它是否性能足够好。如果性能不够好,您只是浪费了一些时间。

相关内容