在慢速驱动器上备份大量数据

在慢速驱动器上备份大量数据

我有这款新的廉价 Seagate Archive 硬盘,没有硬件加密功能。它有 8TB 的空间。实时传输速度似乎慢到 15MB/S

该驱动器仍然可以实现其主要用途:即在一段时间内安全地存储数据。

我还有另一个相同的驱动器,只是为了备份,同样是第一个驱动器。问题是我使用的是基于 TrueCrypt 的加密软件 VeraCrypt。该软件似乎是现在最好的选择,因为它可以将几乎任何数量的数据加密为可以作为驱动器安装的文件,而几乎不会损失其所在磁盘的性能。

但是,我更关心驱动器的健康状况,而不是其性能。我的目的纯粹是安全;备份和加密。

问题是,传输速度最差也只能达到 16MB/S,保存一个文件(即加密容器)至少需要两天时间。但是我现在的情况,我不能让机器开那么久。

我是否应该尝试在笔记本电脑中制作较小的容器(100Gb),在其中填充数据,然后将它们发送到驱动器,然后将它们视为文件?我是否应该考虑其他软件,如 7zip 及其支持拆分成部分的加密?不好,这会导致很多额外的工作。

更新 1:-我发现了一些替代方案,Ultracopier,在 Ubuntu 中可用,该软件可用于复制文件,比如说 10 小时,而我必须移动,我只需暂停传输并再次继续。我从未遇到过类似的功能。

答案1

我不确定我是否理解正确,但我使用了一些商业软件AJC 同步(除了 Office 和 VLE 之外,这是我购买的少数几个软件包之一)用于比较和备份文件。由于它只比较和复制已添加和更改的文件,因此速度很快。我使用 29 美元的标准版,但 35 美元的专业版有加密选项。

其他类似的软件包包括免费软件

答案2

首先,15MB/秒对于任何硬盘来说都是非常慢的(至少我认为从本世纪开始),它更像是 USB 闪存驱动器的速度 - 您是否正在写入 USB 闪存驱动器?如果是这样,那么这就是您受困的“速度限制”。或者也许您正在使用由于某种原因速度受限的 USB 驱动器 - 更换它的 USB 集线器/电缆/端口会使其更快吗?或者它在另一台计算机上更快吗?也许那里有一个需要解决的问题。

如果我理解正确的话,你是:

  1. 使用 100GB 的大文件作为 VeraCrypt 的容器,每个容器都包含一个固定大小的文件系统,其中包含您的备份文件(每日/每周备份?)。

  2. 将 100GB 的大文件复制到其他地方进行二次备份(每周/每月备份?)。

如果您将备份策略更改为仅复制文件里面100GB 的大容器(安装到容器和从容器之后)可以让你使用如下程序rsync复制一堆较小的文件,停止并从上次停止的地方继续复制。此外,您可以/应该使用增量备份,跟踪和复制自上次完整备份以来发生变化的文件,因此不是每天复制 100GB,而是每天可能只有几个小的配置文件发生变化,甚至可能是几 KB 或 MB(加上下载,如果您甚至需要备份这些文件的话)。

如果你的 100GB 文件中只有一小部分被更改,那么使用rsync--no-whole-file选项可能只复制更改的部分,而不是 100GB 的写入 - 但仍然需要读取两个文件找到改变的部分,在 15MB/秒的速度下可能不会更快(如果你使用闪光存储介质,那么写入次数越少=寿命越长,所以可能是值得的)。

有很多备份程序可供选择,看看这些类似的问题,大多数应该支持增量备份仅复制已更改的文件:

或者您可以自己编写一个(就像我做的那样),它保留已备份文件及其哈希值/时间的索引,并在下次运行时将文件与它们的哈希值/时间进行比较,以仅复制新的和更改的文件。猛击非常适合findcksum或者安全但速度慢得多shaXsum程式,diff文件和哈希列表,用于查找和复制新文件/已更改文件。为了更加安全,您甚至可以将文件备份到gpg-加密 tar 压缩档案占用的空间与原始文件相同或更少,而不是一次占用 100GB 的空间。

另外,既然你只使用 Linux,为什么不使用 LUKS / cryptsetup 进行加密?它已经“存在”了几年了&理论上应该比 VeraCrypt 等相对较新的程序更稳定。

相关内容