由于我没有支持 ROCE v2 的交换机，并且我计划从两个不同的服务器系统连接两个 MCX623106AN-CDAT 100GbE NIC 卡，我计划使用的操作系统是 Windows Server 2022，所以，我想了解是否可以通过两个 NIC 卡之间的直接连接来运行无需交换机的 ROCE v2 功能？ 顺便问一下，是否有任何指导可以供我参考，以便在没有交换机的情况下在两个 MCX623106AN-CDAT NIC 卡上配置 ROCE v2？ 谢谢！Jacky ...
我一直在阅读有关 RoCE 的文章，它讨论了将一台服务器的内存之间的数据零拷贝直接传输到另一台服务器的应用程序内存。大多数文章需要特别指出的是，这是在没有 CPU 参与的情况下完成的。但我不明白这是如何实现的。数据是如何在不经过 CPU 处理的情况下从适配器传输到 RAM 的？它如何知道应用程序的数据在 RAM 中的位置？ ...
我有 10 台服务器，每台服务器有两个 CPU，每个 CPU 有一个 Mellanox 100G Infiniband NIC。每个 NIC 都连接到单个 Mellanox 36 端口 100G IB 交换机。 我的 RDMA 应用程序在每个 NUMA 节点上作为一个进程运行，并绑定到本地 NIC 以避免跨 CPU 流量。每个节点/进程都需要使用 RC 模式连接到其他每个节点。 我遇到的问题是，默认的 OpenSM 路由似乎迫使我使用某个 NIC 来到达某个目标节点。因此，我必须使用两个 NUMA 节点的两个 NIC 来到达所有其他节点。这意味着我还需要两个...
根据我的 ISP 的说法，我们偶尔的互联网中断是由于路由器配置问题造成的。他们说路由器必须定期向 ISP 发送 RPing 消息。如果 4 小时内没有这样做，则会导致传出和传入互联网丢失。根据他们的日志，RPing 是随机发生的。在某些情况下，间隔超过 4 小时。 该路由器是思科 800 系列。 什么是 RPing？它与 RDMA 有关吗？如何配置 RPinging？我尝试使用 Google 搜索，但显然我使用了错误的术语，因为结果毫无帮助。 ...
我知道环回将经过内核网络堆栈直到到达 IP 层，包括系统调用开销和一些内存复制开销。DPDK 和 RDMA 使用不同的技术来避免这些。 假设我有两台通过 dpdk/rdma 连接的机器，然后我进行网络延迟测试，这会比在一台机器上进行环回更快吗？我在 CPU E5-2630 v4 @ 2.20GHz 上进行了快速测试ping localhost，平均为 0.010ms。 当我使用 vstart.sh 测试我的 ceph 集群时我想到这个问题，我想尽量减少网络延迟，以便仔细分析与 osd 相关的代码如何影响延迟。 ...
我正在尝试使用 Azure VM 为我和一些朋友托管游戏服务器，因为现货实例很便宜，但缺点是它们在实践中很快就会被释放/删除（在我测试时大约每 30 分钟一次）。因此，我试图设计一种方法，在旧实例收到驱逐通知后立即启动一个新的现货实例，然后将内存从第一个 VM 转储到新实例，以便它可以继续作为新的游戏服务器运行，而不会导致玩家暂停。Ubuntu 是否有内置方法或现有的 RDMA 包？或者有人知道 Azure 是否支持此功能（我看到提到他们的 HPC 大小使用 RDMA，但对于这种用例来说，这太昂贵了）？ ...
在 Windows 实验室环境中，我尝试使用具有全局暂停功能的 Mellanox RDMA 适配器测试 SMB Direct 的性能。为了简单起见，我想先使用 Global Pause 进行测试，然后再切换到 PFC。我认为我已经正确设置了所有内容，但未使用 SMB Direct。我可以判断，因为 RDMA 性能计数器保持为零，并且实际带宽显示在任务管理器中。 nd_write_bw我在两个方向上验证了 RDMA 连接。 服务器：带有 Mellanox ConnectX-5 100GbE 的 Win2019 数据中心 客户端：带有 Mellanox Co...
%20%E7%9A%84%E4%BD%9C%E7%94%A8.png)
在 RoCEv2 规范（附件 17）中 https://www.infinibandta.org/ibta-specifications-download/ 报头 BTH+ 包括本地路由报头 (LRH)。路由是通过 IP 完成的。LRH 有什么用处吗？ 源和目标本地 ID 是否在某处使用或被设置为 0？ ...
我正在尝试使用 RDMA 配置和测试 beegfs，如下所述： https://community.mellanox.com/s/article/howto-configure-and-test-beegfs-with-rdma?t=1570613300675 我的测试配置： 操作系统：两台服务器上的 ubuntu 16.04（内核版本 4.15.0-65-generic） OFED：MLNX_OFED_LINUX-4.6-1.0.1.1 beegfs 版本：1.7.3（最新） 适配器：ConnectX-3 VPI 服务器：两个...
如何设置 SRP Windows 10 启动器？我见过几次提到启动器包含在 WinOF 中，但我没有找到任何说明如何去做吧。 启动器将是带有 Connect-X2 DDR 接口的 Windows 10 Pro。我安装了 WinOF 5.50.50000.0。 目标将是带有 Connect-X3 FDR10 接口的 Ubuntu 18.04。 来自的答案这个问题来自 2011 年Windows 没有 iSER 启动器...不过，如果添加了一个，那就没问题了。NVMe-OF 也是如此 我更愿意使用 SRP/iSER/NVMe-OF 与 iSCSI，因为 W...
我在两台运行 CentOS 6.9 的服务器上分别安装了两个双端口 FDR Infiniband VPI HBA。 server1>lspci 03:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] server2>lspci 81:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] 我想用它们在这两台机器之间建立高速 NFSv4（可能通过 R...
我有两个节点通过 IB 交换机与双端口 Mellanox Connext-X3 VPI HCA 连接。节点是两个插槽机器，每个插槽配备 Hasswell CPU 和 2 个 16GB DIMM（共计 64GB）。一切似乎都运行正常，除了性能数字似乎不太对劲。 当我运行ib_read_bw基准测试时： server# ib_read_bw --report_gbits client# ib_read_bw server --report_gbits -----------------------------------------------------...
我目前正在升级我们的服务器存储，并且正在研究将 SMB Direct 与支持 RDMA 的 NIC 结合使用。SMB Direct 很有趣，因为与竞争协议相比，它的延迟非常低。 但是，我希望服务器使用 SMB Direct 建立与 NAS 的直接 10 GbE 连接，但 SMB 共享仍然可以通过网络供客户端使用，这样他们也可以通 过从交换机到 NAS 的 10 GbE 连接直接连接到 NAS。 我想知道这两种功能是否可以在同一个 NAS 上一起使用，或者是 SMB 直接或者所有人都可以使用的 SMB 网络共享？我宁愿不要让服务器成为这些连接之间的中间人，...
目前，对于 RHEL 8.8 和 RHEL 9.x，最新的 NFS 版本是 4.2。 当 NFS 4 推出时，它取消了 NFS3 中的一些内容，其中之一是多个端口号： 网络文件系统4授权现在所有流量都是 TCP使用单个众所周知的端口 2049。 https://www.snia.org/sites/default/files/SNIA_An_Overview_of_NFSv4-3_0.pdf 您可以找到更多陈述相同内容的知名文章。 我通过在 RHEL 7.9 中的 NFS 4.1 的防火墙中仅打开 TCP 2049 来确认这一点；它不使用端口 111 或...
在/etc/firewalld/zone/mycustomzone.xml我使用语法来<port protocol="tcp" port="2049"/>打开端口号是协议选择tcp或udp。对于NFSv4只需要打开2049端口，所以当NFSproto=tcp再打开防火墙端口协议tcp。当 NFS proto=udp 时，firewalld protocol=udp。 除了firewalld之外还有tcp其他有效的选择吗？udp 使用 RHEL 8.7 和 NFS v4.2 工作，执行mount此操作时报告我的安装通常具有proto=tcp.但是当...