通过 RDMA 网络设备传递到 docker 容器

通过 RDMA 网络设备传递到 docker 容器

我想要将 infiniband 传递到 docker 容器,以便我可以通过 ipoib 运行一些高性能应用程序并使用 rdma。

目前,我正在使用 xen 虚拟机执行此操作。现在我正在考虑使用 CoreOS 和 docker 作为更轻量且更易于管理的替代方案。

我有一个 IPoIB 设备 ib0,其分配的静态 IP 为 10.10.10.10。我已设法通过以下方式将其暴露在 docker 容器内:

docker run --net=host --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -t -i ubuntu:14.04 /bin/bash

太好了,成功了。ib0 在 docker 容器内可用。

现在假设我有一个双端口 HCA。在主机上,它们显示为 ib0 和 ib1,并分配了两个 IP。10.10.10.10/ib0 和 10.10.10.11/ib1

现在我想将 ib0 传递给第一个容器,将 ib1 传递给第二个容器。使用上述方法,由于 --net=host 选项,这两个容器中都会出现。但是,不指定它意味着设备根本不会出现。

另一种情况是,我有很多机器使用 SR-IOV 将 infiniband 设备传递到 xen 虚拟机。我怎样才能将虚拟功能 infiniband 设备传递到 docker 容器并让它出现?

注意:管道在这种情况下不起作用,但如果我理解得更清楚,它可能可以被破解来做我想做的事情。我只是不太明白它在做什么……目前还不太明白。

答案1

现在我可以回答我自己的问题:如何做到这一点。

使用管道我刚刚对其进行了修补,以便与 Infiniband 或 RDMA IPoIB 设备配合使用。

你照这样运行它。

~ $ docker run --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -d container 
~ $ pipework ib0 container-id ip/netmask

因为IPoIB设备不支持桥接,所以命令发出后,整个ib0设备对主机来说是隐藏的,即移动到容器的网络命名空间中。

要想获得类似桥接的功能而无需桥接,请使用 SR-IOV 并通过管道传递虚拟功能。

最新版本使用虚拟 IPoIB,类似于 macvlan。因此,真实的 ib0 在主机中仍然可见。它的工作原理与以太网版本非常相似。

相关内容