通过 USB 复制 2 TB 的 600 万个文件后如何验证校验和?

通过 USB 复制 2 TB 的 600 万个文件后如何验证校验和?

我遇到过需要将超过 2 TB 的数据从一台服务器移动到另一个数据中心的另一台服务器的情况。有超过 600 万个文件需要复制。

计划分阶段移动数据。例如,作为第一阶段,复制超过某个日期的数据,对其进行压缩,使用 USB 设备进行传输,然后复制到新服务器。

最终切换后,源服务器中不会​​发生任何变化。

因此,我需要对该服务器中的根文件夹进行校验,并在新服务器中取一个,然后以某种方式比较它们,并验证它们是否具有相同的内容。这需要在最短的时间内完成。没有办法连接两个数据中心。源服务器在 Windows 2008 上运行,目标服务器在 Windows 2016 上运行。

我怎样才能做到这一点 ?

答案1

你应该使用同步类似的工具,它允许您即时复制和验证,同时允许您随时停止传输并恢复。

我想到了一些替代方案,与 Windows 兼容:

所有这些工具都允许在复制期间(或之后)进行数据验证(校验和或完整性),因此您可以避免文件损坏,它们通常包括并行过程,以便比默认的 Windows 命令实现更快的传输速度。

如果您拥有良好的外部硬盘并且服务器和驱动器都支持 USB 3.0,则复制 2TB 的文件应该不会花费太长时间。

免责声明:尽管如此,即使我使用同步我一直使用 Linux,因此没有尝试过 Windows 的替代方案。列出的工具是我遇到的开源替代方案,或者是免费的。

相关内容