我正在为 ESX 主机的 VMWare vCenter 集群设置 SAN。我希望它成为虚拟机的主要存储设备。集群中最终将有最多 10 台主机。
我正在 Poweredge R610 上安装 FreeNAS 来创建一个测试环境。如果一切顺利,我们也许可以购买一台 R720 或带有大量驱动器托架的设备。我在 R610 上的驱动器上安装了 RAID-Z,并带有 120GB SSD 缓存。我计划将此服务器连接到启用了巨型帧的专用/隔离千兆交换机,并且所有主机都将连接到此交换机以进行 iSCSI。
这就是我目前所拥有的。
- FreeNAS 是一个好的选择吗?
- 如何在 VMWare 端进行设置?我是否通过 iSCSI 将每个主机单独连接到 SAN?还是直接将其添加到 vCenter?我希望能够轻松地在主机之间平衡虚拟机负载,而无需传输 VMDK,我认为这是相当隐含的,因为它们无论如何都会在 SAN 上。
任何帮助、提示以及从经验中学到的东西都将不胜感激!
我应该指出,我以前从未设置过 SAN/iSCSI,所以我正在尝试新领域。
编辑 这篇文章让我意识到,我需要投入大量资金购买更多高端网络设备,才能让它按照我想要的方式运行。是时候重新评估了!
答案1
这个问题很大程度上取决于你的VMware vSphere 许可层...、您打算运行的应用程序和虚拟机以及所需的存储空间量和性能配置文件。
首先回答这个问题,作为一个有能力获得适当许可的组织十vSphere 集群中的 ESXi 主机应该准备好比您计划的更高端的存储解决方案和网络主干。 (对于这么多的主机,合适的许可级别的大概价格是约 10 万美元。)
我认为这个问题的范围有点太广了,因为各种规模的 VMware 安装都有既定的设计原则。我将尝试总结一些想法...
ZFS 特定说明:
- RAIDZ 几乎在所有用例中都不适合用于虚拟机。它还不允许你扩展随着时间的推移,您可能需要。最好使用镜像或三重镜像来处理虚拟机的随机读/写 I/O 模式。有关 ZFS 最佳实践,请查看关于 ZFS 没人告诉过你的事情。
- 在基于 ZFS 的解决方案中,SSD 的选择非常重要。您有 L2ARC 和 ZIL 缓存选项。它们分别是读取优化和写入优化的。您在每个应用程序中使用的 SSD 的特性是不同的。用于 ZFS 缓存的优质 SAS SSD 价格为 1500 美元以上。
- FreeNAS 不是一个强大的 VMware 目标。它以性能不佳而闻名。如果你打算使用 ZFS,可以考虑类似NexentaStor,它可以在同一类型的硬件上运行,但与 VMware 的存储硬件加速(VAAI)并提供一定程度的商业支持。
VMware vSphere 说明:
- 确定您需要 VMware 中的哪些功能。vMotion,存储 vMotion,高可用性,分布式资源调度等等都是有用的集群管理功能。
- 快速许可指南:提供 vMotion 的最低 VMware 层是基本版套餐价格约为 5000 美元。仅可容纳三2-CPU 服务器。从那时起,价格大幅上涨。10,000 美元或更多,随着主机服务器的数量而扩展。
网络说明:
我在日常工作中运行大型 VMware 集群。当我处理三台以上主机时,我开始依赖存储阵列和交换机之间的 10GbE 连接。我与各个主机的连接可能仍是 1GbE,但通常也是 10GbE。
将存储网络与数据隔离。巨型帧并不总是性能的关键。如果您确实启用它们,请确保在路径中的每个设备上都端到端地配置它们。
答案2
FreeNAS 适合用于生产 vSPhere 环境吗?我不推荐这样做。
尽管如此,在每台主机上,您都需要添加软件 iSCSI 适配器(从每台主机的“配置”选项卡上的“存储适配器”节点),然后您需要相应地配置 iSCSI 适配器以连接到您的 iSCSI 目标。将 iSCSI 适配器连接到 iSCSI 目标后,您需要在其中一台主机上扫描新存储设备,并从发现的 iSCSI 目标块设备创建新的数据存储。然后,您将从其他每台主机连接到新创建的数据存储。然后,您可以将虚拟机存储移动到 iSCSI SAN。
您需要特定的版本或套件才能将已启动的虚拟机从一台主机移动至另一台主机和/或移动虚拟机存储。
答案3
- 为了测试?当然可以。
- 每个 ESX 主机都需要连接到 iSCSI 网络。尽量不要与 LAN 流量共享这些 iSCSI 适配器,因此这可能意味着一旦开始添加多路径或聚合,就需要在每个主机中安装一堆 NIC。没错。
- vCenter 机器不需要与 iSCSI 网络建立任何连接,除非您正在执行需要该操作的操作。
答案4
由于您使用的是戴尔服务器,您可能需要研究戴尔的 EqualLogic 或低端 MD 系列 iSCSI SAN...我并不是说它们与戴尔服务器配合得更好,但我已经使用它们超过 4 年了,我真的很喜欢它们,如果您需要的话,他们的支持也很好。他们确实有 10Gbps 型号,但您也需要 10Gbps 交换机。我们的新型号 EQL 的吞吐量非常好,每个都有 4 个 NIC,但我们拥有的几台只有 3 个 1Gbps NIC 的旧型号在 4-6 个 Hyper-V 和 ESX 主机上也表现良好,每个主机都有运行 Windows 和 CentOS 的应用程序和数据库服务器。总之,10Gbps 不是必需的,iSCSI 被广泛部署,具有多个 1Gbps 和 MPIO。
在标准服务器上运行 FreeNAS 并不坏,但如果服务器发生故障,您的存储就会瘫痪。像 EQL 或类似产品这样的专用阵列通常使用双控制器以及双电源和 RAID 运行……停机的可能性较小。
巨型帧很好,但说实话,我们在没有巨型帧的情况下也能运行,没有明显的区别。单独的交换机可以但不是必需的,您可以使用 VLAN...如果预算是一个问题,我建议使用两个交换机来实现冗余,并将存储流量 VLAN 关闭。