当所有机器都是 DELL 服务器 R740 时,我们有 254 台物理服务器。
服务器是 Hadoop 集群的一部分。其中大多数持有 HDFS 文件系统和数据节点及节点管理器服务,其中一部分是 Kafka 机器。
物理服务器上安装的操作系统是 RHEL 7.9
现在我们想向集群添加另外 52 台物理服务器。但我们只能添加R760
必须安装的DELL 服务器RHEL 8.6
每台物理服务器包含256G、64个Core。
问题是我们无法使用 RHEL 8.6 版本,因为 Hadoop 版本不适合 RHEL 8.6
因此,我们需要继续使用 RHEL 7.9 版本,但另一方面,DELL 服务器 R760 无法与 RHEL 7.9 保持一致
所以,我们正在考虑使用VM机代替DELL R760物理机。
我们很清楚地知道虚拟机的性能并不像物理机。
但是,如果我们将默认内存从 256G 增加到 384G,并将核心从 64 个增加到 80 个,在 VM 机器上
因此,如果我们将虚拟机设置为上述规格,并配备更多内存和 CPU
那么向 Hadoop 集群添加额外的 VM 是否有意义?而不用担心性能问题?
答案1
必填说明:我在戴尔工作
@HBrujin 的评论基本上已经回答了这个问题,并且足够透彻,值得重复:
在更现代的 RHEL 版本上虚拟运行一对一旧版 RHEL 以实现硬件兼容性是 Red Hat 完全支持的策略(不过请询问具体支持/许可影响)。这种虚拟化的开销/性能损失应该相对较小,并且肯定不保证虚拟机管理程序的 RAM 和 CPU 核心比您想要分配给虚拟化 RHEL 实例的 RAM 和 CPU 核心多 25%。例如,RHEL 支持将所有物理内存从主机分配给虚拟化客户机。
^这就是我会做的。
我要补充的是,我经常与 HPC 客户合作,在某些时候你需要咬紧牙关。RHEL 7 已经有十年的历史了并且基本上已经停产(从技术上讲,它需要进行最低限度的维护,直到明年 6 月,届时您就完全可以自行维护了)。在 HPC 工作期间,我完全理解升级所需的努力,但如果您正处于购买新硬件的阶段,那么向后兼容性(禁止在虚拟机中运行所有内容)只会变得越来越麻烦。在某些情况下,NVMe 表现不太正常,BIOS 问题已经出现,驱动程序支持越来越不可靠,我已经看到我们的第 15 代服务器上开始出现各种问题,更不用说第 16 代(您拥有的)。
如果尚未准备好,我强烈建议制定迁移计划至较新版本的 RHEL。