无法通过 Docker 在本地运行 Hyperkube（kubernetes）

Question 1

我之前已经重现过您的问题，并且我也成功运行了 kubelet 容器几次。

以下是成功时我运行的确切命令： export K8S_VERSION=v1.2.2 docker run \ --volume=/:/rootfs:ro \ --volume=/sys:/sys:ro \ --volume=/var/lib/docker/:/var/lib/docker:rw \ --volume=/var/lib/kubelet/:/var/lib/kubelet:rw \ --volume=/var/run:/var/run:rw \ --net=host \ --pid=host \ --privileged=true \ --name=kubelet \ -d \ gcr.io/google_containers/hyperkube-amd64:${K8S_VERSION} \ /hyperkube kubelet \ --containerized \ --hostname-override="127.0.0.1" \ --address="0.0.0.0" \ --api-servers=http://localhost:8080 \ --config=/etc/kubernetes/manifests \ --allow-privileged=true --v=2

我从教程建议的命令中删除了这 2 个设置，因为在我的情况下不需要 DNS： --cluster-dns=10.0.0.10 --cluster-domain=cluster.local

另外，我在后台启动了 docker SSH 门户前启动 kubelet 容器，使用以下命令：

docker-machine ssh `docker-machine active` -f -N -L "8080:localhost:8080"

我也没有对 SSL 证书做任何更改。

我能够使用 K8S_VERSION=v1.2.2 和 K8S_VERSION=1.2.3 运行 kubelet 容器。

成功运行后，我观察到所有进程都处于“启动”状态；没有进程处于“退出”状态：

$ docker ps -a
CONTAINER ID        IMAGE                                             COMMAND                  CREATED             STATUS              PORTS               NAMES
42e6d973f624        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube apiserver"   About an hour ago   Up About an hour                        k8s_apiserver.78ec1de_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_5d260d3c
135c020f14b4        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube controlle"   About an hour ago   Up About an hour                        k8s_controller-manager.70414b65_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_9b338f27
873656c913fd        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/setup-files.sh IP:1"   About an hour ago   Up About an hour                        k8s_setup.e5aa3216_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_ff89fc7c
8b12f5f20e8f        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube scheduler"   About an hour ago   Up About an hour                        k8s_scheduler.fc12fcbe_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_ea90af75
93d9b2387b2e        gcr.io/google_containers/etcd:2.2.1               "/usr/local/bin/etcd "   About an hour ago   Up About an hour                        k8s_etcd.7e452b0b_k8s-etcd-127.0.0.1_default_1df6a8b4d6e129d5ed8840e370203c11_d66f84f0
f6e45af93ee9        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube proxy --m"   About an hour ago   Up About an hour                        k8s_kube-proxy.9a9f4853_k8s-proxy-127.0.0.1_default_5e5303a9d49035e9fad52bfc4c88edc8_b0084efc
f6748442f2d1        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_f4758f9b
d515c10910c4        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-etcd-127.0.0.1_default_1df6a8b4d6e129d5ed8840e370203c11_3248c1d6
958f4865df9f        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-proxy-127.0.0.1_default_5e5303a9d49035e9fad52bfc4c88edc8_3850b11e
2611ee951476        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube kubelet -"   About an hour ago   Up About an hour                        kubelet

如果运行成功，我还会看到与您运行时类似的日志输出docker logs kubelet。特别是，我看到： Unable to register 127.0.0.1 with the apiserver: Post http://localhost:8080/api/v1/nodes: dial tcp 127.0.0.1:8080: connection refused

但最终，它起作用了： $ kubectl -s http://localhost:8080 cluster-info Kubernetes master is running at http://localhost:8080 $ kubectl get nodes NAME STATUS AGE 127.0.0.1 Ready 1h 192.168.99.100 NotReady 1h localhost NotReady 1h

其他提示：

您可能需要等待一段时间才能启动 API 服务器。例如，这家伙使用 while 循环： until $(kubectl -s http://localhost:8080 cluster-info &> /dev/null); do sleep 1 done
在 Mac OS X 上，我注意到每当我的无线发生变化或当我暂停/恢复笔记本电脑时，Docker VM 就会变得不稳定。我通常可以使用解决此类问题docker-machine restart。
在尝试使用 kubelet 时，我经常想要停止 kubelet 容器并停止/删除全部在我的docker中运行docker stop kubelet && docker rm -f $(docker ps -aq)

有关我的设置的信息，OS X El Capitan 10.11.2：

$ docker --version
Docker version 1.10.3, build 20f81dd
$ kubectl version
Client Version: version.Info{Major:"1", Minor:"2", GitVersion:"v1.2.0", GitCommit:"5cb86ee022267586db386f62781338b0483733b3", GitTreeState:"clean"}
Server Version: version.Info{Major:"1", Minor:"2", GitVersion:"v1.2.2", GitCommit:"528f879e7d3790ea4287687ef0ab3f2a01cc2718", GitTreeState:"clean"}

Answer

我之前已经重现过您的问题，并且我也成功运行了 kubelet 容器几次。

以下是成功时我运行的确切命令： export K8S_VERSION=v1.2.2 docker run \ --volume=/:/rootfs:ro \ --volume=/sys:/sys:ro \ --volume=/var/lib/docker/:/var/lib/docker:rw \ --volume=/var/lib/kubelet/:/var/lib/kubelet:rw \ --volume=/var/run:/var/run:rw \ --net=host \ --pid=host \ --privileged=true \ --name=kubelet \ -d \ gcr.io/google_containers/hyperkube-amd64:${K8S_VERSION} \ /hyperkube kubelet \ --containerized \ --hostname-override="127.0.0.1" \ --address="0.0.0.0" \ --api-servers=http://localhost:8080 \ --config=/etc/kubernetes/manifests \ --allow-privileged=true --v=2

我从教程建议的命令中删除了这 2 个设置，因为在我的情况下不需要 DNS： --cluster-dns=10.0.0.10 --cluster-domain=cluster.local

另外，我在后台启动了 docker SSH 门户前启动 kubelet 容器，使用以下命令：

docker-machine ssh `docker-machine active` -f -N -L "8080:localhost:8080"

我也没有对 SSL 证书做任何更改。

我能够使用 K8S_VERSION=v1.2.2 和 K8S_VERSION=1.2.3 运行 kubelet 容器。

成功运行后，我观察到所有进程都处于“启动”状态；没有进程处于“退出”状态：

$ docker ps -a
CONTAINER ID        IMAGE                                             COMMAND                  CREATED             STATUS              PORTS               NAMES
42e6d973f624        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube apiserver"   About an hour ago   Up About an hour                        k8s_apiserver.78ec1de_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_5d260d3c
135c020f14b4        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube controlle"   About an hour ago   Up About an hour                        k8s_controller-manager.70414b65_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_9b338f27
873656c913fd        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/setup-files.sh IP:1"   About an hour ago   Up About an hour                        k8s_setup.e5aa3216_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_ff89fc7c
8b12f5f20e8f        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube scheduler"   About an hour ago   Up About an hour                        k8s_scheduler.fc12fcbe_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_ea90af75
93d9b2387b2e        gcr.io/google_containers/etcd:2.2.1               "/usr/local/bin/etcd "   About an hour ago   Up About an hour                        k8s_etcd.7e452b0b_k8s-etcd-127.0.0.1_default_1df6a8b4d6e129d5ed8840e370203c11_d66f84f0
f6e45af93ee9        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube proxy --m"   About an hour ago   Up About an hour                        k8s_kube-proxy.9a9f4853_k8s-proxy-127.0.0.1_default_5e5303a9d49035e9fad52bfc4c88edc8_b0084efc
f6748442f2d1        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-master-127.0.0.1_default_4c6ab43ac4ee970e1f563d76ab3d3ec9_f4758f9b
d515c10910c4        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-etcd-127.0.0.1_default_1df6a8b4d6e129d5ed8840e370203c11_3248c1d6
958f4865df9f        gcr.io/google_containers/pause:2.0                "/pause"                 About an hour ago   Up About an hour                        k8s_POD.6059dfa2_k8s-proxy-127.0.0.1_default_5e5303a9d49035e9fad52bfc4c88edc8_3850b11e
2611ee951476        gcr.io/google_containers/hyperkube-amd64:v1.2.2   "/hyperkube kubelet -"   About an hour ago   Up About an hour                        kubelet

如果运行成功，我还会看到与您运行时类似的日志输出docker logs kubelet。特别是，我看到： Unable to register 127.0.0.1 with the apiserver: Post http://localhost:8080/api/v1/nodes: dial tcp 127.0.0.1:8080: connection refused

但最终，它起作用了： $ kubectl -s http://localhost:8080 cluster-info Kubernetes master is running at http://localhost:8080 $ kubectl get nodes NAME STATUS AGE 127.0.0.1 Ready 1h 192.168.99.100 NotReady 1h localhost NotReady 1h

其他提示：

您可能需要等待一段时间才能启动 API 服务器。例如，这家伙使用 while 循环： until $(kubectl -s http://localhost:8080 cluster-info &> /dev/null); do sleep 1 done
在 Mac OS X 上，我注意到每当我的无线发生变化或当我暂停/恢复笔记本电脑时，Docker VM 就会变得不稳定。我通常可以使用解决此类问题docker-machine restart。
在尝试使用 kubelet 时，我经常想要停止 kubelet 容器并停止/删除全部在我的docker中运行docker stop kubelet && docker rm -f $(docker ps -aq)

有关我的设置的信息，OS X El Capitan 10.11.2：

$ docker --version
Docker version 1.10.3, build 20f81dd
$ kubectl version
Client Version: version.Info{Major:"1", Minor:"2", GitVersion:"v1.2.0", GitCommit:"5cb86ee022267586db386f62781338b0483733b3", GitTreeState:"clean"}
Server Version: version.Info{Major:"1", Minor:"2", GitVersion:"v1.2.2", GitCommit:"528f879e7d3790ea4287687ef0ab3f2a01cc2718", GitTreeState:"clean"}

Question 2

[我不是 Kubernetes 专家 - 只是凭直觉而已]。

kubelet 的失败显然是端口 8080 关闭导致的后果，您在问题开头就提到了这一点。这不是您应该关注的地方。

请注意您向我们展示的日志中的以下行：

I0422 11:05:28.469355     541 kubelet.go:1137] Unable to register 172.20.34.112 with the apiserver: Post http://localhost:8080/api/v1/nodes: dial tcp 127.0.0.1:8080: connection refused

因此，kubelet 正在尝试联系 apiserver，但连接被拒绝。这并不奇怪，因为正如您所注意到的，它已经退出了。

您向我们展示的 apiserver 日志行显示它抱怨没有证书。证书通常位于/var/run/kubernetes(此处注明）。这属于/var/run您在教程中为运行 kubernetes 而设置的 docker 命令中的卷。我会仔细查看该卷规范，看看您是否犯了任何错误，并看看证书是否符合预期。

有几位https://github.com/kubernetes/kubernetes/issues/11000这可能对找出您的证书出了什么问题很有用，包括devurandom提供创建证书的脚本（如果需要）。

Answer

[我不是 Kubernetes 专家 - 只是凭直觉而已]。

kubelet 的失败显然是端口 8080 关闭导致的后果，您在问题开头就提到了这一点。这不是您应该关注的地方。

请注意您向我们展示的日志中的以下行：

I0422 11:05:28.469355     541 kubelet.go:1137] Unable to register 172.20.34.112 with the apiserver: Post http://localhost:8080/api/v1/nodes: dial tcp 127.0.0.1:8080: connection refused

因此，kubelet 正在尝试联系 apiserver，但连接被拒绝。这并不奇怪，因为正如您所注意到的，它已经退出了。

您向我们展示的 apiserver 日志行显示它抱怨没有证书。证书通常位于/var/run/kubernetes(此处注明）。这属于/var/run您在教程中为运行 kubernetes 而设置的 docker 命令中的卷。我会仔细查看该卷规范，看看您是否犯了任何错误，并看看证书是否符合预期。

有几位https://github.com/kubernetes/kubernetes/issues/11000这可能对找出您的证书出了什么问题很有用，包括devurandom提供创建证书的脚本（如果需要）。

无法通过 Docker 在本地运行 Hyperkube（kubernetes）

答案1

答案2

相关内容