在一些安装了 Mellanox HDR infiniband 卡的服务器上运行 RHEL 7.9。我已通过 DVD 在每个设备上安装了 RHEL 7.9，并选择带图形用户界面的服务器随着无限带宽支持以及一些其他项目（底部的 5 个）。
所以Application - System Tools - Settings - Network这里使用的是那个 gui 的图片。
我明白了连接的但如果我这样做 ip a它就会显示ib0 state DOWN。这是在一个简单的 LAN 上，在下图中Proxy = None，IPv6 Settings = ignore我没有为 ipv4 设置设置网关值，但我认为这并不重要。
- 我错过了什么或没有做什么？
- 我需要使用它吗
MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso？如果需要的话，它的哪些部分？ - 我在之前的 RHEL 安装下运行了 MLNX iso 的 mlnxofedinstall，并且 ib0 网络正常工作，但我认为 iso 的 mlnxofedinstall 正在删除现有的 rdma 内容，并导致我的 NFS+RDMA 问题，所以我有点迷失。
- 更新：在我运行的 4 台服务器中的 1 台上
mlnxofedinstall --with-nfsrdma，它运行了 opensm，现在我在所有服务器 infiniband 上都有绿色链接灯。是opensm做的吗？但结果是我不知何故失去了rdma.service我运行的服务器mlnxofedinstall on，然后取消了我真正想要的让 nfs+rdma 工作的更改。
Usage: ./mlnxofedinstall [OPTIONS]
Installation control:
--force Force installation
--tmpdir Change tmp directory. Default: /tmp
-k|--kernel <version>
Default on this system: 3.10.0-1160.49.1.el7.x86_64
-s|--kernel-sources <path>
Default on this system: /lib/modules/3.10.0-1160.49.1.el7.x86_64/build
-U|--update Update installed version
--with-32bit Install 32-bit libraries. Relevant for x86_64 platforms
--without-32bit Skip 32-bit libraries installation (Default). Relevant for x86_64 platforms
--distro Set Distro name for the running OS (e.g: rhel6.5, sles11sp3). Default: Use auto-detection
--skip-distro-check Do not check MLNX_OFED_LINUX vs Distro matching
--without-depcheck Run the installation without verifying that all required Distro's packages are installed
--check-deps-only Check for missing required Distro's packages and exit
--print-distro Print distribution name and exit
--add-kernel-support
Add kernel support (Run mlnx_add_kernel_support.sh) and install it
--add-kernel-support-build-only
Add kernel support (Run mlnx_add_kernel_support.sh) and exit
--kernel-extra-args '<args>'
pass <args> to kernel configure script (single paraeter, space separated)
- Pass it along with --add-kernel-support
--kmp Install kernel RPMs with KMP support if available
- Enabled by default with official MLNX_OFED_LINUX releases
- Disabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
- Passing it along with --add-kernel-support will pass --kmp to mlnx_add_kernel_support.sh
--disable-kmp Install kernel RPMs without KMP support if available
- Enabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
--skip-kmp-verify Do not check if the KMP rpms are compatiable with the target kernel
--speed-up-kmp Speed up KMP RPMs installation by skipping %post section and running the required operations once for all KMPs
--umad-dev-rw Grant non root users read/write permission for umad devices instead of default
--umad-dev-na Prevent from non root users read/write access for umad devices. Overrides '--umad-dev-rw'
--enable-mlnx_tune Enable Running the mlnx_tune utility
--enable-affinity Run mlnx_affinity script upon boot
--disable-affinity Disable mlnx_affinity script (Default)
--skip-unsupported-devices-check
Don't abort if system has an older, unsupported card
--enable-opensm Run opensm upon boot
--package-install-options
RPM install options to use when installing RPM packages (comma separated list)
--pre-install-<package> <path to script>
Run given script before given package's install
--post-install-<package> <path to script>
Run given script after given package's install
Firmware update control:
--without-fw-update Skip firmware update
--fw-update-only Update firmware. Skip driver installation
--force-fw-update Force firmware update
--fw-image-dir Firmware images directory to use instead of default package content
Package selection:
-c|--config <packages config_file>
Example of the config file can be found under docs
--all Install all available packages
--bluefield Install BlueField packages
--hpc Install minimum packages required for HPC
--basic Install minimum packages for basic functionality
--dpdk Install minimum packages required for DPDK
--ovs-dpdk Install DPDK and OVS packages
--vma Install minimum packages required for VMA
--xlio Install minimum packages required for XLIO
--guest Install minimum packages required by guest OS
--hypervisor Install minimum packages required by hypervisor OS
--with-fabric-collector
Enable installing fabric-collector package
--with-nvmf Enable NVMEoF support
--with-nfsrdma Enable NFSoRDMA support
--without-nfsrdma Disable NFSoRDMA support (Default)
Extra package filtering:
--kernel-only Install kernel space packages only
--user-space-only Filter selected packages and install only User Space packages
--without-<package> Do not install package
--with-<package> Force installing package
Miscellaneous:
-h|--help Display this help message and exit
--post-start-delay <sec>
Set openibd POST_START_DELAY parameter in seconds. (Default 0)
-p|--print-available Print available packages for current platform
And create corresponding ofed.conf file
答案1
我的问题的解决方案是Infiniband Support在从 DVD 重新安装 RHEL 7 后在安装时进行选择。我从来没有选择过，我想我可以在事后安装我需要的任何东西。
似乎有两种路径可以选择，来自 redhat 的 Infiniband 支持包，或者安装 MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso。
我成功地完成了 redhat 路径，除了将固件更新到 infiniband 卡之外，没有安装 MLNX iso 中的任何内容。
opensm 需要在 infiniband 网络上的至少一台服务器上运行，然后 infiniband 卡上会观察到绿色链路指示灯，一切都会正常工作。
MLNX iso 会导致删除一些不兼容的 redhat rpm，如果其他服务器进行 redhat“infiniband 支持”安装以使 infiniband 连接正常工作，则会导致 nfs+rdma 工作以及 nfs 完全工作出现问题。
最后我得出的结论是，采用 redhat infiniband 支持路径来使其正常工作，并且仅使用 MLNX 进行固件更新；不要让 MLNX iso 在 Linux 中安装所有的东西，除非你知道你在做什么并且真的想要这一切。