我想在 docker 容器中运行高性能网络测试,并且不希望桥接开销(因此据我所知,管道无法工作)。我想将(除了正常的 docker veth 设备之外)从主机到 docker 容器的物理 40GbE 网络接口分配为 lxc“phys”模式。这应该会导致物理接口对主机不可见。
答案1
pipework
可以将物理网络接口从默认网络接口移动到容器网络命名空间:
$ sudo pipework --direct-phys eth1 $CONTAINERID 192.168.1.2/24
有关详细信息,请参阅这里。
答案2
在我的搜索中,我遇到了涉及将 lxc-config 参数传递给 docker 的旧解决方案,但是新版本的 docker 不再使用 lxc 工具,因此无法起作用。
按照这里的建议:https://groups.google.com/d/msg/docker-user/pL8wlmiuAEU/QfcoFcKI3kgJ找到了解决方案。我没有考虑修改上述管道脚本,而是直接使用所需的命令。另请参阅后续博客文章:http://jason.digitalinertia.net/exposing-docker-containers-with-sr-iov/。
以下低级(即非特定于 docker 的)网络命名空间工具命令可用于将接口从主机传输到 docker 容器:
CONTAINER=slave-play # Name of the docker container
HOST_DEV=ethHOST # Name of the ethernet device on the host
GUEST_DEV=test10gb # Target name for the same device in the container
ADDRESS_AND_NET=10.101.0.5/24
# Next three lines hooks up the docker container's network namespace
# such that the ip netns commands below will work
mkdir -p /var/run/netns
PID=$(docker inspect -f '{{.State.Pid}}' $CONTAINER)
ln -s /proc/$PID/ns/net /var/run/netns/$PID
# Move the ethernet device into the container. Leave out
# the 'name $GUEST_DEV' bit to use an automatically assigned name in
# the container
ip link set $HOST_DEV netns $PID name $GUEST_DEV
# Enter the container network namespace ('ip netns exec $PID...')
# and configure the network device in the container
ip netns exec $PID ip addr add $ADDRESS_AND_NET dev $GUEST_DEV
# and bring it up.
ip netns exec $PID ip link set $GUEST_DEV up
# Delete netns link to prevent stale namespaces when the docker
# container is stopped
rm /var/run/netns/$PID
如果您的主机有很多 ethX 设备(我的主机有 eth0 -> eth5),则接口命名方面需要注意一个小问题。例如,假设您将 eth3 移入容器,作为容器命名空间中的 eth1。当您停止容器时,内核将尝试将容器的 eth1 设备移回主机,但请注意,已经有一个 eth1 设备。然后它会将接口重命名为任意名称;我花了一段时间才再次找到它。为此,我编辑了 /etc/udev/rules.d/70-persistent-net.rules(我认为这个文件名在大多数流行的 Linux 发行版中很常见;我使用的是 Debian),为相关接口提供了一个独特的、明确的名称,并在容器和主机上都使用它。
由于我们没有使用 docker 进行此配置,因此无法使用标准 docker 生命周期工具(例如 docker run --restart=on-failure:10 ...)。有问题的主机运行 Debian Wheezy,因此我编写了以下初始化脚本:
#!/bin/sh
### BEGIN INIT INFO
# Provides: slave-play
# Required-Start: $local_fs $network $named $time $syslog $docker
# Required-Stop: $local_fs $network $named $time $syslog $docker
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Description: some slavishness
### END INIT INFO
CONTAINER=slave-play
SCRIPT="docker start -i $CONTAINER"
RUNAS=root
LOGFILE=/var/log/$CONTAINER.log
LOGFILE=/var/log/$CONTAINER.log
HOST_DEV=test10gb
GUEST_DEV=test10gb
ADDRESS_AND_NET=10.101.0.5/24
start() {
if [ -f /var/run/$PIDNAME ] && kill -0 $(cat /var/run/$PIDNAME); then
echo 'Service already running' >&2
return 1
fi
echo 'Starting service…' >&2
local CMD="$SCRIPT &> \"$LOGFILE\" &"
su -c "$CMD" $RUNAS
sleep 0.5 # Nasty hack so that docker container is already running before we do the rest
mkdir -p /var/run/netns
PID=$(docker inspect -f '{{.State.Pid}}' $CONTAINER)
ln -s /proc/$PID/ns/net /var/run/netns/$PID
ip link set $HOST_DEV netns $PID name $GUEST_DEV
ip netns exec $PID ip addr add $ADDRESS_AND_NET dev $GUEST_DEV
ip netns exec $PID ip link set $GUEST_DEV up
rm /var/run/netns/$PID
echo 'Service started' >&2
}
stop() {
echo "Stopping docker container $CONTAINER" >&2
docker stop $CONTAINER
echo "docker container $CONTAINER stopped" >&2
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
*)
echo "Usage: $0 {start|stop|restart}"
esac
有点奇怪,但确实有效:)
答案3
我编写了一个 docker 网络插件来实现这一点。
https://github.com/yunify/docker-plugin-hostnic
docker pull qingcloud/docker-plugin-hostnic
docker run -v /run/docker/plugins:/run/docker/plugins -v /etc/docker/hostnic:/etc/docker/hostnic --network host --privileged qingcloud/docker-plugin-hostnic docker-plugin-hostnic
docker network create -d hostnic --subnet=192.168.1.0/24 --gateway 192.168.1.1 hostnic
docker run -it --ip 192.168.1.5 --mac-address 52:54:0e:e5:00:f7 --network hostnic ubuntu:14.04 bash