我正在评估一些可用于设置 Hadoop 集群的硬件。这个硬件是翻新的(带有 Smart Array 410/i 控制器的 hp G6 服务器),可能我们应该/必须使用它...我们还没有。我读到 410/i 控制器不允许 Hadoop 所需的 JBOD 配置,有没有人可以证实这一说法?或者没有?似乎一种解决方法是在每个磁盘上配置 raid0,再次有人证实这一点或有其他配置方法吗?谢谢 Rob
答案1
Smart Array 410/i 控制器仅允许创建 2 个 raid 设备,而无需添加可选内存卡。因此,如果您的硬件只有 2 个驱动器,那就没问题;您可以将其设置为 2 个 raid0。如果您有超过 2 个驱动器,您可能必须购买部件号 462974-001 - 256MB 电池支持写入缓存 BBWC 内存模块。如果您不确定,请在配置实用程序中尝试一下,它会抱怨如果您需要购买内存插件,则允许配置的 raid 设备数量有限制。
我最近利用其中一个设置了一台 ZFS 服务器,每个服务器有 12 个磁盘,采用 RAID0 模式,性能良好。由于您可以禁用实际 raid 控制器的几乎所有功能,因此它实际上与 JBOD 模式相同。
答案2
这种情况与我为 ZFS 存储解决方案设计硬件时遇到的情况类似。ZFS 是一种软件 RAID,利用服务器的资源进行磁盘管理。不推荐使用硬件 RAID,而且智能阵列控制器实际上无法实现 JBOD。因此,当使用 ProLiant 系统进行 ZFS 时,我会将智能阵列控制器替换为具有 JBOD 模式或基本 SAS/SATA HBA 的设备。
通常情况下,这将是一个 LSI SAS HBA(不带 RAID 功能)。我偏爱的是 LSI 9211-8i 或 9205e。
请参阅以下建议:ZFS SAS/SATA 控制器建议
答案3
虽然 Pxxx 系列不允许直接配置 JBOD,但如果您只是用所有磁盘创建一个阵列,然后创建多个大小相同的 RAID0 阵列,那么在功能相似性方面就基本可以了。话虽如此,我对 Hadoop 的要求还是有点怀疑,首先,它无法真正分辨出真正的磁盘配置,因为它被 BIOS 隐藏了;其次,考虑到 HP 控制器的周到考虑,它似乎过于规范,那么阵列管理其磁盘有什么问题?
答案4
您可以为每个可用的物理磁盘配置 RAID0。
假设你有 8 个磁盘,那么你最终会得到类似这样的结果(CentOS 6):
# hpacucli ctrl all show config | grep RAID
logicaldrive 1 (558.9 GB, RAID 0, OK)
logicaldrive 2 (558.9 GB, RAID 0, OK)
logicaldrive 3 (558.9 GB, RAID 0, OK)
logicaldrive 4 (558.9 GB, RAID 0, OK)
logicaldrive 5 (558.9 GB, RAID 0, OK)
logicaldrive 6 (558.9 GB, RAID 0, OK)
logicaldrive 7 (558.9 GB, RAID 0, OK)
logicaldrive 8 (558.9 GB, RAID 0, OK)