我有一个带有 3 个节点的 microk8s 集群,在 Ubuntu 22.04 上以多通道方式运行。全部运行在我的旧 Macbookpro mid2012 上。(使用 ubuntu,22.04 我删除了 Macos)
当我执行命令时收到此消息:
microk8s enable nfs
Addon nfs was not found in any repository
我在所有 3 个多通道实例上安装了 nfs。
sudo apt install -y nfs-common
dns 已启用 dashbord 已启用 我可以从我的主机 ubuntu 访问集群。
kubectl get node
NAME STATUS ROLES AGE VERSION
worker01 Ready <none> 40m v1.24.8-2+1dda18a15eea38
master Ready <none> 46m v1.24.8-2+1dda18a15eea38
worker02 Ready <none> 42m v1.24.8-2+1dda18a15eea38
以下 pod 正在运行
kubectl get po -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-node-hv6sd 1/1 Running 0 84m
kube-system calico-node-wbm9h 1/1 Running 0 82m
kube-system coredns-66bcf65bb8-s7xjx 1/1 Running 0 40m
kube-system calico-node-cwfzt 1/1 Running 1 (60m ago) 84m
kube-system calico-kube-controllers-655d5f4c66-d7q8q 1/1 Running 0 87m
ingress nginx-ingress-microk8s-controller-2fgwk 1/1 Running 0 38m
kube-system metrics-server-5f8f64cb86-p4tcn 1/1 Running 0 36m
kube-system dashboard-metrics-scraper-6b6f796c8d-vp4j5 1/1 Running 0 35m
ingress nginx-ingress-microk8s-controller-7vjgh 1/1 Running 0 38m
ingress nginx-ingress-microk8s-controller-qzwsj 1/1 Running 0 38m
kube-system kubernetes-dashboard-765646474b-s89wj 1/1 Running 0 35m
同时执行
microk8s enable community
消息始终相同。未在任何存储库中找到 Addon nfs
ubuntu@master:~$ microk8s enable community
Infer repository core for addon community
Addon core/community is already enabled
ubuntu@master:~$ microk8s enable nfs
Addon nfs was not found in any repository
答案1
nfs 插件相当新。我遇到了与 microk8s 1.24.0 相同的问题,它不在列表中。我将节点更新到 1.26.0,然后必须禁用并重新启用社区插件,它才出现在列表中。
答案2
首先,我认为没有nfs
模块microk8s
。在我的 Ubuntu 22.04.1 服务器上,可用模块如下所列:
$ microk8s status
microk8s is running
high-availability: no
datastore master nodes: 127.0.0.1:19001
datastore standby nodes: none
addons:
enabled:
dashboard # (core) The Kubernetes dashboard
dns # (core) CoreDNS
ha-cluster # (core) Configure high availability on the current node
helm # (core) Helm - the package manager for Kubernetes
helm3 # (core) Helm 3 - the package manager for Kubernetes
ingress # (core) Ingress controller for external access
metrics-server # (core) K8s Metrics Server for API access to service metrics
rbac # (core) Role-Based Access Control for authorisation
disabled:
cert-manager # (core) Cloud native certificate management
community # (core) The community addons repository
gpu # (core) Automatic enablement of Nvidia CUDA
host-access # (core) Allow Pods connecting to Host services smoothly
hostpath-storage # (core) Storage class; allocates storage from host directory
kube-ovn # (core) An advanced network fabric for Kubernetes
mayastor # (core) OpenEBS MayaStor
metallb # (core) Loadbalancer for your Kubernetes cluster
observability # (core) A lightweight observability stack for logs, traces and metrics
prometheus # (core) Prometheus operator for monitoring and logging
registry # (core) Private image registry exposed on localhost:32000
storage # (core) Alias to hostpath-storage add-on, deprecated
对于 NFS 实现,您需要配置 NFS 服务器并在集群上创建存储驱动程序。
要求
您应该已经在集群之外拥有一个 NFS 服务器,您可以使用主机或生成另一个 VM 并使用以下配置配置 NFS 服务器:
# Assuming you use Ubuntu VM
# Install the NFS Kernel
sudo apt-get install nfs-kernel-server
# Create a directory to be used for NFS
sudo mkdir -p /srv/nfs
sudo chown nobody:nogroup /srv/nfs
sudo chmod 0777 /srv/nfs
然后编辑/etc/exports
文件。确保所有 MicroK8s 节点的 IP 地址都能够挂载此共享。例如,要允许子网中的所有 IP 地址10.0.0.0/24
:
sudo mv /etc/exports /etc/exports.bak
echo '/srv/nfs 10.0.0.0/24(rw,sync,no_subtree_check)' | sudo tee /etc/exports
最后,重新启动 NFS 服务器:
sudo systemctl restart nfs-kernel-server
请根据您的配置进行调整。
集群上的安装方法:
- 安装 NFS 的 CSI 驱动程序
我们将使用上游 NFS CSI 驱动程序. 首先,我们将使用官方 Helm 图表部署 NFS 配置器。
启用 Helm3 插件(如果尚未启用)并添加 NFS CSI 驱动程序的存储库:
microk8s enable helm3
microk8s helm3 repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
microk8s helm3 repo update
然后,使用以下命令在命名空间下安装 Helm 图表kube-system
:
microk8s helm3 install csi-driver-nfs csi-driver-nfs/csi-driver-nfs \
--namespace kube-system \
--set kubeletDir=/var/snap/microk8s/common/var/lib/kubelet
部署 Helm 图表后,使用以下命令等待 CSI 控制器和节点 pod 启动kubectl
...
microk8s kubectl wait pod --selector app.kubernetes.io/name=csi-driver-nfs --for condition=ready --namespace kube-system
…一旦成功,将产生类似以下内容的输出:
pod/csi-nfs-controller-7bd5678cbc-nc6l2 condition met
pod/csi-nfs-node-lsn6n condition met
此时,您还应该能够列出 Kubernetes 集群中可用的 CSI 驱动程序……
microk8s kubectl get csidrivers
…并在列表中看到 nfs.csi.k8s.io:
NAME ATTACHREQUIRED PODINFOONMOUNT STORAGECAPACITY TOKENREQUESTS REQUIRESREPUBLISH MODES AGE
nfs.csi.k8s.io false false false <unset> false Persistent 23h
- 为 NFS 创建 StorageClass
接下来,我们需要创建一个使用nfs.csi.k8s.io
CSI 驱动程序的 Kubernetes 存储类。假设您已配置 NFS 共享/srv/nfs
,并且 NFS 服务器的地址为10.0.0.1
,请创建以下文件:
# sc-nfs.yaml
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
server: 10.0.0.1
share: /srv/nfs
reclaimPolicy: Delete
volumeBindingMode: Immediate
mountOptions:
- hard
- nfsvers=4.1
注意:上述 YAML 的最后一行表示 NFS 的特定版本。这应该与正在使用的 NFS 服务器的版本相匹配 - 如果您正在使用现有服务,请检查其使用的版本并进行相应调整。
然后使用以下命令将其应用到您的MicroK8s
集群上:
microk8s kubectl apply -f - < sc-nfs.yaml
- 创建新的 PVC
最后一步是使用 nfs-csi 存储类创建一个新的 PersistentVolumeClaim。这很简单,只需storageClassName: nfs-csi
在 PVC 定义中指定即可,例如:
# pvc-nfs.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: test-pvc
spec:
storageClassName: nfs-csi
accessModes: [ReadWriteOnce]
resources:
requests:
storage: 5Gi
然后使用以下命令创建 PVC:
microk8s kubectl apply -f - < pvc-nfs.yaml
如果一切配置正确,您应该能够检查 PVC……
microk8s kubectl describe pvc/test-pvc
…并看到卷已成功配置:
Name: test-pvc
Namespace: default
StorageClass: nfs-csi
Status: Bound
Volume: pvc-0d7e0c27-a6d6-4b64-9451-3209f98d6472
Labels: <none>
Annotations: pv.kubernetes.io/bind-completed: yes
pv.kubernetes.io/bound-by-controller: yes
volume.beta.kubernetes.io/storage-provisioner: nfs.csi.k8s.io
volume.kubernetes.io/storage-provisioner: nfs.csi.k8s.io
Finalizers: [kubernetes.io/pvc-protection]
Capacity: 5Gi
Access Modes: RWO
VolumeMode: Filesystem
Used By: <none>
Events: <none>
就这样!您现在可以使用此 PVC 在 MicroK8s 集群上运行有状态工作负载。
您只需重新创建点 3 即可创建新的 PVC。