所有源都在 Windows 操作系统上,目标备份在 Unix 系统上(我们使用 Samba)。
我的源存储库类似于:
-Repository
--Folder1
---Files
--Folder2
---Files
etc...
我希望获得类似于以下的目的地:
-Repository
--Folder1.zip
--Folder2.zip
etc...
您应该知道以下几件事:
- 我有 30Tb 的数据需要备份,
- 我排除了超过 10 天的文件夹(MAXAGE:N 可以用于文件夹吗?),
有没有办法通过 Robocopy 文件夹和 zip 文件进行同步,而不需要先压缩源?
工作流程实际上是:
- 通过 robocopy 在源和目标之间同步文件夹和文件,
- 压缩目标文件夹,
- 再次同步(但如何比较?目标中的文件现在是 zip 格式)。
答案1
如果您压缩了一组文件,然后修改了其中一个文件并创建了另一个 zip 文件,则无法在两个文件之间进行差异复制,而必须重新复制整个 zip 文件。这会对您的网络以及您不断重新读取和重写这些文件的源存储和服务器造成严重影响。
30TB 的数据 - 假设您获得 50% 的压缩率,则需要大约 70 小时才能通过千兆以太网链路复制,假设您能够在整个时间段内实现大约 60Meg/秒的传输速率(平均网络利用率为 50%)。如果您有 10GigE 链路,那么您可以期望获得该速率的 5-6 倍,如果它们是非常好的 10Gig 链路,则可能更多。
根据源存储系统以及源文件的数量和大小,您可能还会遇到以这种速率读取和压缩它们的问题。同样,您需要一个合理的目标系统才能支持稳定的 60Meg/秒写入速度。如果您利用 10Gig 并希望能够维持传输速率,请再次扩大规模。
对我来说,这似乎是目标存储系统上原位压缩或重复数据删除的理想用例 - 您是否研究过可以为您做到这一点的解决方案?