从磁带读取 ZFS 快照很慢

从磁带读取 ZFS 快照很慢

我使用以下方法将我的 zfs 快照备份到磁带

zfs send tank/vertex@2017-01-20 | pv -cCTrbB 1g | pigz -c | pv -cCTrbB 1g | dd of=/dev/nst0 bs=1M

然后使用

dd if=/dev/nst0 bs=1M | pv -c | gzip -dc | ztreamdump

并且它的进展速度达到,比它写入的速度39 MiB/s要慢得多。77 MiB/s

编辑:我刚刚尝试用 填充磁带dd if=/dev/urandom of=/dev/nst0 bs=1M count=1k,然后能够将其读回99 MiB/s

答案1

我遇到过类似的问题。1)您是否使用同一盘磁带进行两次测试?

我会尽量给出一个长答案,因为我花了不少时间才找到有关 LTO 磁带的信息。这是 Oracle 主办的 IBM 驱动器/磁带查询的一个很好的参考资料之一:GA32-0450-07

我的回答:有些 LTO 磁带老新(全新,几年前制造,但从未使用过),已经使用过并标记为新重新认证或者新的坏的(新的,但在运输/存储过程中没有充分保存)。此外,某些供应商可能不会提及重新认证,而只是宣传为新磁带。

富士通尝试了 50 盘重新认证的磁带,其中 16 盘“读取、写入和伺服错误率高得令人无法接受,这可能是由于操作不当或磁带驱动器未对准而导致过度磨损和边缘损坏”。

要检查磁带有多少次读取和加载或读写错误,请使用sg_logs -a /dev/st0并查看第 30h 节。它将输出大量有用的信息!

我相信可以覆盖磁带上的 RFID 芯片,所有信息都记录在里面。但如果你老化你的新的?磁带(写入/读取完整磁带)并检查它并且它(sg_logs)有错误,你就知道你的磁带状况不佳。

新磁带提示:制作一个与 LTO 磁带大小相同的大型随机文件并对其进行校验sha512,将其写入磁带,从磁带中读回,检查校验和是否仍然正常,并查看读/写速度。比较驱动器/磁带上前后的错误日志。不要忘记使用mbuffer!如果一切正常,您可以将磁带投入生产。新硬盘上使用老化,请查看 blackblaze 及其对老化的定义:“这要求读取和检查每个驱动器上的每个块”。

监控这些数字(来自sg_logs),如果磁带错误率很高,写入的总数据量/磁带大小> 250 或负载计数接近 3000,则更换它。

您仍然可以将数据副本保留在上面,但我的某些旧磁带(二手 - ebay)只能以 5-30MB/s 的速度读取,因为驱动器有太多错误需要纠正(写入仍为全速)。但是,嘿,仍然可以使用,必须在 20-30 年后检查它们,看看它们是否仍然可读。LTO 磁带是里德·所罗门编码的,因此可以修复一定程度的错误。一些二手磁带来自广泛使用的备份库,可能已经每周或每天写入一次,持续了几年,所以只需检查它们以确保您可以信任它来保存您的数据。如果您进行关键任务备份,为什么不直接从 HP 或其他官方供应商那里购买它们。如果只是随意的东西,您可以在不同的廉价磁带上复制几次,那么二手 LTO 磁带可以节省 $$$。再说一次,如果您想要每日或每周备份,最好买一个真正的新磁带。

LTO 的预期寿命高压电: “官方文本称:”Ultrium 媒体经过认证,可进行 100 万次传递或 260 次完整备份,并具有 30 年的档案存储寿命。“

也就是说,看起来你应该能够让一盘磁带持续几乎整整一年的日常备份,而不会出现媒体错误。”

相关内容