我最近开始涉足服务器管理。目前我是唯一管理 8 个站点的隔离网络的人。大多数东西都过时了，但我有钱更新它们。
目前，我们在每个站点运行几台带有 ESXi 和 Proxmox 的服务器。所有新服务器都是 ESXi，所有旧服务器都是 Proxmox。所有这些服务器在机箱上都有本地 SSD 存储。此外，我们在 2 个不同位置有 2 台 TrueNAS Enterprise 服务器，它们带有大量 HDD，目前通过 1G 以太网链路连接。它们支持 NFS 和 iSCSI 等，但速度太慢，无法保存虚拟机的存储，即使在同一个站点也是如此。所有站点至少有一条 OS2 电缆链接到当前运行 1G L3 链路的另外 2 个站点。现场网络大多为 10G/40G，因为它们已经由我更新。出于冗余原因，2 个站点彼此有 4x40G L3 链路，这将扩展到 3 个站点。
由于我们运行着大量 OT 硬件和 PLC，因此对可用性的要求非常高，服务器上的本地存储对我来说不是一个好的解决方案。管理层承诺在某些服务器和硬件上提供高得离谱的 SLA，而我目前无法接受。
我可以在 Truenas 上备份虚拟机，但无论如何，最好不要将这些机器放在计算单元上。如果一个节点发生故障，我的 DNS 服务器等东西就有故障的风险。如果发生这种情况，我希望能够在另一个节点上启动它，这样可以节省几分钟，而不是自上次备份以来的所有时间，这需要很长时间，因为我没有太多时间定期备份。
由于我不是存储人员，因此我正在寻找易于维护且速度足够快的解决方案来处理本地虚拟机。我们没有运行任何 Windows 服务器，包含 Windows 的解决方案也不可行，因为我不知道如何维护它们。
现在是真正的问题。
对于本地现场 SSD 存储 SAN 还是 NAS，哪个是好的解决方案？
我们是否应该购买 2 或 3 个其他带有 SSD 的 TrueNAS 并依赖它们，或者我们这样做会错失机会？这感觉不太像企业，但当前 HDD Truenas 的服务非常好。
使用带有巨型帧的 40G NFS 有什么问题吗？或者我应该构建一些不同的东西，比如 iSCSI？
2022 年基于块的存储的真正优势是什么？
我在 VMware 销售中有点迷失，想销售 vSAN，或者想让其他人在所有地方部署 netapp，因为他们眼里只看到欧元。
如果可靠性方面没有太大优势，我不想打造独角兽，但也不想错过从存储中获取更多冗余或其他优点的机会。
我希望这个问题适合在座的各位，也希望你们能帮助我。如果有必要，我很乐意获得更多数据。
先感谢您！
答案1
不使用超融合有什么原因？如果您需要 HA，那么每个位置无论如何都需要 3 台服务器。是的，3 台 - 而不是 2 台。一台正在打补丁，另一台可能会在那时发生故障。
这足以使用超融合设置。100 千兆位主干网 - 从 Nvidia（Mellanox）获取以太网卡，并使用 Mikrotik 100G 路由器（再次是 2 个）作为主干网，一路笑到银行。
不是 ESX 用户，但我的开发集群使用了 3 个使用 Windows Server 的 ESX。即使在进行硬件升级等操作时，虚拟机也不会停机。根本没有外部存储 - 目前我们使用 1u 服务器，其中 2 个 SSD 用于缓存，8 个 SATA HDD。下一次升级（我们的是 ZEN1 EPYP）可能会将其替换为 2U 机柜，用于 24 张光盘，并且可能会完全迁移到 SSD。愚蠢的 2.5 英寸容量似乎根本没有增长，或者（像新的 5TB HDD 一样）越来越慢。有人能制作一个具有近线质量和 SATA 接口的 15mm 4TB PMR 硬盘吗？我会立即将它们全部替换。
使用 100G 主干的超融合 ROCE 对性能的影响不容小觑。提出 1G 想法的人一定是疯了 - 甚至 10 年前，我当时也会在英特尔 520 卡上使用 10g。我们确实这么做了。
而且这种设置开箱即用，完全冗余。开销很大，但您无法避免拥有 2 个备用服务器。如果您发展壮大，情况会变得更好 - 仍然只需要 2 个备用 - 但您需要比 Mikrotik 贵得多的交换机。遗憾的是，他们目前只生产 4 个端口的 100G。有人说“哈，它们能有多便宜” - 低于 1000 美元。上次我检查时实际上是 908 美元。将其与大品牌 100g 的价格进行比较，您会大吃一惊。
只有当你需要非常多的存储空间时，才需要外部 NAS。即便如此，我也会选择 Windows S2D 之类的东西 - 真正的分布式存储。
答案2
我推荐 Pure Storage，它提供全闪存阵列，在我 15 年的 IT 工程生涯中，我从未见过速度更快的存储。而且一旦实施得当，它就会非常稳定可靠。对于备份，Veeam Backup 是 VMware 世界中的标准。