硬件 RAID 6 上的 ZFS 条带。可能出现什么问题？

Question 1

因此我决定制作 2 个 16HDD 的 RAID6 组或 4 个 8 HDD 的 RAID6 组。

这不是最好的做事方式。它可能工作得很好，但根据你的性能要求，也可能不行。

RAID5/6 阵列的理想大小是，跨越该阵列的数据量的精确倍数与构建在其上的文件系统的块大小相匹配。

RAID5/6 阵列以块设备的形式工作 - 单个数据块跨越阵列中的磁盘，并且该块还包含奇偶校验数据。大多数 RAID 控制器会将 2 的幂大小的数据块写入每个阵列中的磁盘 - 在更好的 RAID 系统中，其确切值是可配置的 - 并且您的 Dot Hill 单元是这些“更好的 RAID 系统”之一。这很重要。

因此，需要 N x（每个磁盘块存储的数据量）来跨越阵列，其中 N 是数据磁盘的数量。5 磁盘 RAID5 阵列有 4 个“数据”磁盘，10 驱动器 RAID6 阵列有 8 个数据磁盘。

因为当数据写入 RAID5/6 阵列时，如果数据块足够大，可以覆盖整个阵列，则会计算该数据的奇偶校验（通常在控制器的内存中），然后将整个条带写入磁盘。简单又快速。

但是，如果写入的数据块不够大，无法覆盖整个阵列，那么 RAID 控制器需要做什么才能计算新的奇偶校验数据呢？想想看 - 它需要全部的条纹重新计算新的奇偶校验数据。

因此，如果您创建一个 16 驱动器 RAID6 阵列，并且每个磁盘的默认块为 512kb，则意味着需要 7 MB 来“跨越”该阵列。

ZFS 通常以 128kb 块为单位工作。

因此，ZFS 将 128kB 块写入 16 驱动器 RAID6 阵列。在您建议的配置中，这意味着 RAID 控制器需要读从阵列中删除近 7 MB 并重新计算这 7 MB 的奇偶校验。然后将整个 7 MB 重新写入磁盘。

如果幸运的话，所有内容都在缓存中，因此不会对性能造成太大影响。（这是“不要使用 RAID5/6”的立场受到如此多追随者的主要原因之一 - RAID1[0] 不会受到此影响。）

如果您运气不好，没有正确对齐文件系统分区，那么该 128kB 块将跨越两个不在缓存中的 RAID 条带，控制器需要读取 14 MB，重新计算奇偶校验，然后写入 14 MB。全部写入一个 128kB 块。

现在，这就是需要发生的事情逻辑上。优秀的 RAID 控制器可以采取很多优化措施来减少此类 IO 模式的 IO 和计算负载，因此可能不会那么糟糕。

但是在将 128kB 块写入随机位置的高负载下，条带大小为 7 MB 的 16 驱动器 RAID6 阵列的性能很有可能会非常糟糕。

对于 ZFS，“理想”的底层 RAID5/6 LUN对于大多数访问都是随机的通用文件系统条纹大小均匀除数128kB，例如 32kB、64kB 或 128kB。在这种情况下，这会将 RAID5/6 阵列中的数据磁盘数量限制为 1（这毫无意义 - 即使可以配置，最好也只使用 RAID1[0]）、2、4 或 8。在最佳情况下，最佳性能是使用 128kB 条带大小作为 RAID5/6 阵列，但最佳情况在通用文件系统中并不常见 - 通常是因为文件系统存储元数据的方式与存储文件数据的方式不同。

我建议设置 5 磁盘 RAID5 阵列或 10 磁盘 RAID6 阵列，并将每个磁盘的块大小设置得足够小，以便跨越整个阵列条带的数据量为 64kB（是的，我之前对 ZFS 做过很多次）。这意味着对于具有 4 个数据磁盘的 RAID 阵列，每个磁盘的块大小应为 16kB，而对于 8 数据磁盘的 RAID 阵列，每个磁盘的块大小应为 8kB。

然后允许 ZFS 使用全部的数组——执行不是对其进行分区。ZFS 将正确地将自身与整个驱动器对齐，无论该驱动器是简单的单个磁盘还是 RAID 控制器提供的 RAID 阵列。

在这种情况下，在不知道您的确切空间和性能要求的情况下，我建议设置三个 10 驱动器 RAID6 阵列或六个 5 驱动器 RAID5 阵列，条带大小为 64kB，配置几个热备盘，并保留四个磁盘以备将来发生的情况。因为总有可能发生。

我绝对不会在 JBOD 模式下使用该磁盘系统 - 这是一个完全符合 NEBS 3 级标准的设备它提供了内置在硬件中的高可靠性和可用性保护。不要因为“ZFS!!!!”而放弃它。如果它是你用零件组装起来的廉价商品硬件？是的，使用 ZFS 处理 RAID 的 JBOD 模式是最好的 - 但那是不是您拥有的硬件。使用硬件提供的功能。

Answer