我正在为我们的业务设置镜像存储系统。
我们没有预装预算,所以我想尽我所能,让我们的钱发挥最大的作用。以下是我们的硬件细目:
San1 和 San2Windows 服务器 2019
SUPERMICRO MBD-H11SSL-I Amd Epyc 7251 8 核 CPU
64GB 内存 8GB x8
适用于操作系统的 SSD 500GB
LSI 9380-8i8e
Intel 10G 网卡,4 端口 - Iscsi 网络
英特尔 25G 网卡,2 个端口 - 服务器之间同步 - 巨型帧-9014。
1 个内部网卡 1G(数据),1 个 IPMI 在 MB 上使用
IW-RJ224-03 24 槽 SSD 外壳,装有 24 个 2TB Samsung 860 Pro,Raid10 配置。通过 2 根 sas 电缆连接到 9380 卡。
我们将使用 Starwind 来同步这两台服务器。
在设置 Starwind 的过程中,我一直在尝试使用从 500G 到 5TB 的不同图像大小来查看我们的同步性能
当同步开始时,写入同步数据的系统几乎无法使用。除非我关闭所有缓存选项,否则系统会卡顿、性能监视器挂起,一切都运行得很糟糕。如果我启用写回或启用磁盘缓存,我会注意到 numa 0 上的 Core0 达到 100%,一切都变糟了……其他核心的使用率很低,甚至没有,只有几个核心除外。
我尝试了各种驱动器设置组合来解决这个问题,但目前我还是一无所获。我一定是忽略了什么。我已将阵列配置为 2x8、6x4 和 4x6(标准 64k 条带)设置,以为是某些驱动器限制阻碍了我,但我遇到过 1 个实例,其中没有出错,驱动器写入 5TB 同步没有问题,并且在一小时内系统响应完美。当时在 4x6 阵列上启用了两个缓存,速度超过 1.6GB/s。我确实注意到 core0、numa0 当时几乎处于空闲状态,而 core 2、numa 0 正在做繁重的工作。将所有内容关闭以进行复制和重建,从那以后就一直卡住。现在,在缓存关闭的情况下,每次传输的最大写入速度约为 600MB,而当缓存打开时,速度约为 1GB/s,然后明显出现问题。
任何能帮助我指明正确方向的想法都将不胜感激!9380 上的固件已更新,Raid 卡、Nics 和 MB 组件的驱动程序也都已更新。
答案1
这里有一些想法,可能有助于解决这个问题:
- 如果您使用某种 NIC 组合,则可能会以不可预测的方式影响 iSCSI 和复制的性能。大多数 SAN/VSAN 供应商不支持组合,而是推荐使用 MPIO。禁用 NIC 组合。
- 您提到了英特尔 25G NIC。XXV710 型号在启用巨型帧时可能会出现问题。禁用巨型帧并运行其他测试。
- 巨型帧值 9126 不是 Windows 操作系统的典型值,主要用于交换机。Windows 默认值为 9014。
- LSI 9380 支持的驱动器列表中没有三星 980 Pro。此外,980 Pro 是 NVMe 驱动器(不是 SATA)。你确定你有 980 Pro 吗?
正如BaronSamedi1958 提到的,我还建议联系 Starwind 的支持。
答案2
您需要微调同步优先级以使整个系统正常运行。
https://www.starwindsoftware.com/help/ChangingSynchronizationPriority.html
当您处理付费解决方案时,我建议您申请支持。