我知道我的设置不受这种硬件的官方支持,但我仍然对它的表现如此糟糕感到震惊。我正在运行一台 ML350 Gen9,配备 128GB RAM、双 Xeon E5-2630 V3,我在其上使用 P440ar 运行 8 个 Crucial MX500 4TB SSD 和一台 P840,配备 14 个 Seagate Barracuda SATA HDD。两个硬件 raid 卡都具有最新固件,SAS 扩展卡和服务器的其余部分也是如此(使用了 HP 提供的最新 iso 固件映像)。我在 Raid10 中配置了 8 个 SSD,尝试了几种 stip 大小并禁用了智能路径,尝试了激活或不激活物理缓存,使用 fio 时性能确实很差:
读取 4K :80MB/s 写入 4K :65MB/s 写入 1M :750MB/s 读取 1M :3140MB/s
有了 8 个驱动器和 2 条线路连接到 RAID 卡,我假设我应该有 24GB 带宽,因此读取看起来表现良好,因为我使用 10GB 文件大小运行 fio 命令,因此超过了控制器的 2GB RAM。但是,对于 8 个驱动器的 RAID 10,写入和 4K 性能对我来说看起来并不好。
我计划安装 Proxmox 来运行虚拟机和容器,用于各种目的。我需要对 Raid 5 卷进行额外的测试,但据我回忆,它的性能甚至比这还要差。我错过了什么?我知道这些是消费级驱动器,但仍然有这么多驱动器,它的性能应该更好,不是吗?我不是专家,所以如果你想要更多信息,当然,请告诉我。
编辑:我对 HDD 进行了 RAID5 测试,结果如下:
读取 4K :40,5MB/s 写入 4K :7MB/s 读取 1M :420MB/s 写入 1M :330MB/s
因此,性能同样糟糕,尤其是 4K,就像我们在上面的 RAID10 中看到的一样。正如下面一位成员所建议的,我尝试在将两个控制器都置于 HBA 模式后将我的 Proxmox 切换到 ZFS。以下是一些基准测试,因为我现在使用 SSD 切换到 ZFS
读取 4K :823MB/s 写入 4K :537MB/s 读取 1M :1792MB/s 写入 1M :1892MB/s
每个测试运行几分钟,确保不仅 RAM 使用率在讨论,而且我从 fio 获取平均带宽。我还在 OpenMediaVault 的虚拟机中做了一些测试,为了交叉检查这些数字,我可以说,除了由于虚拟机环境而导致的几个百分点的下降外,这些数字遵循相同的趋势。我还需要测试 RaidZ 5 变体,将分享结果。
答案1
按照以下顺序将您的 HP P440ar RAID 卡转变为 HBA。
- 在启动过程中按“F10”进入 HP SmartArray 配置实用程序
- 使用“清除配置”选项删除所有先前创建的 RAID 集
- 选择“启用 HBA 模式”
- 重新开始
然后,您可以使用 Proxmox 执行 ZFS。您的消费级 SSD 没有 PLP(断电保护),因此请确保您运行一些与 Linux 集成的强大 UPS,一个 UPS 会向 Linux 发出信号,告知它正在使用电池电源运行,以便 Linux 可以正常关闭虚拟机和自身(脚本很简单,有很多,但它们是 UPS 特定的,以 Google 搜索“PowerChute”术语为例)。
无论如何,如果以 100% 不受支持的模式运行所有内容,那么您将如履薄冰。祝您好运!