☰

AWS 云提供商与 Kubernetes 集成 - 引导后节点卡在“未初始化：true”污点中

tag-icon • tag-icon amazon-web-services kubernetes amazon-iam kubeadm
AWS 云提供商与 Kubernetes 集成 - 引导后节点卡在“未初始化：true”污点中

概括

我正在尝试使用 Kubeadm 在 AWS 上引导 Kubernetes 集群。在您提出建议之前，请先说明一下，我对使用 EKS 或其他引导解决方案（如 Kops、Kubespray 等）不感兴趣。

由于云提供商集成不是在树外而是在树内进行管理，因此似乎存在很多关于正确程序的不准确信息。因此，我一直在努力弄清楚如何正确设置此集成。

要求

这官方仓库指出了三项要求。

1) 您必须使用参数初始化、kubelet和kube-apiserver。如果我理解正确的话，这允许您使用树外提供程序。在这里使用则会使用处于弃用时间线上的树内提供程序。kube-controller-manager--cloud-provider=externalaws

2）你必须创造两个 IAM 策略，将它们与 IAM 实例配置文件关联，然后启动附加了该策略的 Kubernetes 节点。

3) 集群中的每个节点必须具有与底层 EC2 实例关联的相同主机名作为其Private DNS名称。

除此之外，我相信曾经需要将以下标签附加到您的 EC2 实例、路由表、安全组和子网。我也这样做了：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}"

问题

尽管如此，当我的工作节点在引导后上线时，它们会受到以下污染：

node.cloudprovider.kubernetes.io/uninitialized: true

这显然意味着节点还没有已初始化由云提供商提供。我不太确定接下来该怎么做。有一个开放请求有关如何使用云提供商与 AWS 集成的更多说明，但目前还不令人满意。

我的配置

您可能已经注意到，我也在这个问题上留下了一条评论，详细说明了我的问题。以下是我的环境详细信息摘要，表明我应该遵守列出的要求。

external1）我的 Kubeadm 配置文件在四个地方设置了云提供商

KubeletConfiguration 和 InitConfiguration

nodeRegistration:
  kubeletExtraArgs:
    cloud-provider: external

集群配置

apiServer:
  extraArgs:
    cloud-provider: external

集群配置

controllerManager:
  extraArgs:
    cloud-provider: external

2) 我的 EC2 实例是使用实例配置文件启动的，该配置文件具有 README 中概述的 IAM 策略：

$> aws ec2 describe-instances --instance-ids INSTANCE.ID | jq '.Reservations[].Instances[].IamInstanceProfile[]'
"arn:aws-us-gov:iam::ACCOUNT.ID:instance-profile/PROFILE-NAME"

3）主机名是 EC2 私有 DNS 名称：

$> hostname -f
ip-10-0-10-91.us-gov-west-1.compute.internal

4) EC2 实例以及我的路由表、子网等都带有标签：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}"

因此，看起来我符合所有要求，所以我不确定为什么我的节点仍然留有污点。任何帮助都将不胜感激！

编辑

我已将每个实例的标签更新为：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "owned"

并将此标签添加到每个子网：

"kubernetes.io/role/internal-elb" = 1

但这并没有解决问题。

编辑2

其他地方的一位用户建议，问题可能是我没有应用清单目录cloud-provider-aws。执行此操作后，使用这图像，我可以确认这并没有解决我的问题，因为根据启动时 pod 生成的日志，aws-cloud-controller-manager似乎期望你使用非外部的：aws

Generated self-signed cert in-memory

Neither --kubeconfig nor --master was specified.  Using the inClusterConfig.  This might not work.

Version: v0.0.0-master+$Format:%h$

WARNING: aws built-in cloud provider is now deprecated. The AWS provider is deprecated and will be removed in a future release

Building AWS cloudprovider

Zone not specified in configuration file; querying AWS metadata service

Cloud provider could not be initialized: could not init cloud provider "aws": clusterID tags did not match: "example-14150" vs "True"

编辑3

我使用提交时的 repo 构建了一个新镜像6a14c81。可以在以下位置找到这里。它似乎也默认使用该aws提供程序？

Cloud provider could not be initialized: could not init cloud provider "aws": clusterID tags did not match: "example-14150" vs "True"

答案1

文档中没有提到需要部署 AWS Cloud Controller Manager 及其所需的 RBAC 策略。这些可以在/manifestsrepo 中找到。

目前没有已发布的 AWS Cloud Controller Manager 映像。因此，您需要自行构建并托管它，或者使用我找到的最新提交中的映像这里。

您会注意到--cloud-provider=aws作为参数传递。尽管是外部云提供商集成，但实际上需要在此处aws传递external。

最后，所有实例还必须标记："KubernetesCluster" = var.K8S_CLUSTER_NAME

相关内容