将 200TB 数据从网络共享备份到多个 8TB 外置硬盘 (Linux)

将 200TB 数据从网络共享备份到多个 8TB 外置硬盘 (Linux)

我所在的公司收集了大量来自试驾的传感器数据。目前我们有大约 200TB(1,638,400 Gbit)的数据需要备份。

我们计划在年底建立一个磁带库,但现在我们必须将数据复制到多个使用 ext4 格式化的硬盘上。

可以使用具有 10Gbit/s 传感器数据连接的服务器进行备份。此服务器有两个 UBS 3.0 端口。服务器当前安装了 debian,但我们可以为此任务安装任何 Linux。

我们的外部硬盘是西部数据 MyBooks 3.0,具有 8TB 存储空间,写入速度为 180MB/s(1,440Mbit/s)。

因此,理论上,使用两个 USB 3.0 端口,我们可以写入 2.8Gbit/s,总写入时间约为 162 小时(6.8 天)。这是最佳情况,不考虑更换驱动器的时间,我们预计至少需要两周时间,每人五个工作日。如果我错了,请纠正我。

而这种情况迫切需要磁带库!我们现在必须采用 UBS 3.0 方式。

我很想听听您关于如何以最快、最简单的方式解决这个问题的建议。

任何帮助都非常感谢!谢谢!

相关内容