我已经使用 AWS 上的 kops 设置了一个私有 K8s 集群,并且我希望能够根据 CPU 使用情况自动扩展节点。我了解到使用 GCE 可以实现这一点,但使用 AWS 可以实现吗?
答案1
是的,这是可能的,你可以使用集群自动缩放器或 CA
至于如何做到这一点科普斯。首先,您需要编辑实例组并添加额外的标签。
$ kops edit ig nodes
spec:
cloudLabels:
k8s.io/cluster-autoscaler/enabled: ""
k8s.io/cluster-autoscaler/node-template/label: ""
kubernetes.io/cluster/<CLUSTER_NAME>: owned
Cluster Autoscaler 具有自己的自动发现功能,如果您有多个实例组,则建议使用此功能。使用自动发现功能,无需在两个地方设置最小和最大大小,如果您稍后添加组,则无需更改 CA 配置。
您应该为节点添加额外的 IAM 策略规则:
$ kops edit cluster
spec:
additionalPolicies:
node: |
[
{
"Effect": "Allow",
"Action": [
"autoscaling:DescribeAutoScalingGroups",
"autoscaling:DescribeAutoScalingInstances",
"autoscaling:SetDesiredCapacity",
"autoscaling:DescribeLaunchConfigurations",
"autoscaling:DescribeTags",
"autoscaling:TerminateInstanceInAutoScalingGroup"
],
"Resource": ["*"]
}
]
并应用配置:
$ kops update cluster --yes
现在您可以安装 CA,但请记住检查 Kubernetes 版本是否与 CA 版本兼容。为此,您应该检查发布。
部署
Cluster Autoscaler 旨在在 Kubernetes 主节点上运行。这是 GCP 上的默认部署策略。可以在工作节点上运行 Cluster Autoscaler 的自定义部署,但需要格外小心以确保 Cluster Autoscaler 保持正常运行。用户可以将其放入 kube-system 命名空间(Cluster Autoscaler 不会缩减在其上运行非镜像 kube-system pod 的节点)并
priorityClassName: system-cluster-critical
在 pod 规范上设置属性(以防止 pod 被驱逐)。
部署 CA 后,您需要选择正确的 AWS 区域。
现在您可以选择扩展器。
扩展器提供了不同的策略来选择要添加新节点的节点组。可以通过将名称传递给标志来选择扩展器
--expander
,即./cluster-autoscaler --expander=random
目前Cluster Autoscaler有4个扩展器:
随机的- 这是默认的扩展器,当您不特别需要节点组进行不同扩展时应该使用它。
most-pods- 选择在扩展时能够调度最多 Pod 的节点组。当您使用 nodeSelector 确保某些 Pod 落入某些节点时,这很有用。请注意,这不会导致自动扩缩器选择较大的节点而不是较小的节点,因为它可以一次添加多个较小的节点。
最少浪费- 选择在扩展后空闲 CPU(如果绑定,则为未使用的内存)最少的节点组。当您拥有不同类别的节点(例如高 CPU 或高内存节点)并且只想在有需要大量这些资源的待处理 Pod 时扩展这些节点时,此功能非常有用。
价格- 选择成本最低的节点组,同时其机器与集群大小相匹配。此扩展器的更多详细信息请参见此处。目前它仅适用于 GCE 和 GKE(欢迎提供补丁)。
Cluster Autoscaler 支持以下提供程序:普通中等教育证书,吉科,AWS,Azure,阿里云
希望这会有所帮助。