NFS 服务器和客户端正在工作，但是数据不在服务器上？

Question

我在测试环境中重现了这种情况，并且可以正常找到我的数据。为了重现这种情况，我遵循了以下步骤。

确保遵循每个步骤。编辑此文件需要 root 访问权限；因此您需要在命令中使用 sudo。您也可以使用您个人喜欢的任何文本编辑器打开该文件。

1 – 在我的主节点上安装并配置我的 NFS 服务器（Debian Linux，这可能会根据您的 Linux 发行版而更改）：

在安装 NFS 内核服务器之前，我们需要更新系统的存储库索引：

$ sudo apt-get update

现在，运行以下命令以便在系统上安装 NFS 内核服务器：

$ sudo apt install nfs-kernel-server

创建导出目录

$ sudo mkdir -p /mnt/nfs_server_files

由于我们希望所有客户端都能访问该目录，因此我们将通过以下命令删除导出文件夹的限制权限（这可能会根据您的安全策略而有所不同）：

$ sudo chown nobody:nogroup /mnt/nfs_server_files
$ sudo chmod 777 /mnt/nfs_server_files

通过 NFS 导出文件为客户端分配服务器访问权限

$ sudo nano /etc/exports

在此文件中，添加新行以允许其他服务器访问您的共享。

/mnt/nfs_server_files        10.128.0.0/24(rw,sync,no_subtree_check)

您可能希望在共享中使用不同的选项。10.128.0.0/24 是我的 k8s 内部网络。

导出共享目录并重新启动服务，以确保所有配置文件正确。

$ sudo exportfs -a
$ sudo systemctl restart nfs-kernel-server

查看所有活跃分享：

$ sudo exportfs
/mnt/nfs_server_files
                10.128.0.0/24

2 – 在所有工作节点上安装 NFS 客户端：

$ sudo apt-get update
$ sudo apt-get install nfs-common

此时，您可以进行测试以检查您是否可以从工作节点访问您的共享：

$ sudo mkdir -p /mnt/sharedfolder_client
$ sudo mount kubemaster:/mnt/nfs_server_files /mnt/sharedfolder_client

请注意，此时您可以使用主节点的名称。K8s 在这里负责 DNS。检查卷是否按预期安装，并创建一些文件夹和文件以确保一切正常。

$ cd /mnt/sharedfolder_client
$ mkdir test
$ touch file

返回主节点并检查这些文件是否位于 /mnt/nfs_server_files 文件夹中。

3 - 安装 NFS 客户端配置程序。

使用 helm 安装配置程序：

$ helm install --name ext --namespace nfs --set nfs.server=kubemaster --set nfs.path=/mnt/nfs_server_files stable/nfs-client-provisioner

注意我为其指定了一个命名空间。检查它们是否正在运行：

$ kubectl get pods -n nfs
NAME                                         READY   STATUS      RESTARTS   AGE
ext-nfs-client-provisioner-f8964b44c-2876n   1/1     Running     0          84s

此时我们有一个名为 nfs-client 的存储类：

$ kubectl get storageclass -n nfs
NAME         PROVISIONER                                AGE
nfs-client   cluster.local/ext-nfs-client-provisioner   5m30s

我们需要创建一个 PersistentVolumeClaim：

$ more nfs-client-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  namespace: nfs 
  name: test-claim
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-client"
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

$ kubectl apply -f nfs-client-pvc.yaml

检查状态（预期绑定）：

$ kubectl get persistentvolumeclaim/test-claim -n nfs
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
test-claim   Bound    pvc-e1cd4c78-7c7c-4280-b1e0-41c0473652d5   1Mi        RWX            nfs-client     24s

4 – 创建一个简单的 pod 来测试我们是否可以读取/写入 NFS 共享：

使用这个 yaml 创建一个 pod：

apiVersion: v1
kind: Pod
metadata:
  name: pod0
  labels:
    env: test
  namespace: nfs  
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-claim

$ kubectl apply -f pod.yaml

现在，让我们深入研究一下这个 pod：

$ kubectl exec -ti -n nfs pod0 -- bash

让我们列出 pod 上所有已安装的卷：

root@pod0:/# df -h
Filesystem                                                                                Size  Used Avail Use% Mounted on
overlay                                                                                   9.8G  6.1G  3.3G  66% /
tmpfs                                                                                      64M     0   64M   0% /dev
tmpfs                                                                                     7.4G     0  7.4G   0% /sys/fs/cgroup
kubemaster:/mnt/nfs_server_files/nfs-test-claim-pvc-4550f9f0-694d-46c9-9e4c-7172a3a64b12  9.8G  5.8G  3.6G  62% /mnt
/dev/sda1                                                                                 9.8G  6.1G  3.3G  66% /etc/hosts
shm                                                                                        64M     0   64M   0% /dev/shm
tmpfs                                                                                     7.4G   12K  7.4G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                                                                                     7.4G     0  7.4G   0% /proc/acpi
tmpfs                                                                                     7.4G     0  7.4G   0% /sys/firmware

我们可以看到，我们在 /mnt 上挂载了一个 NFS 卷。（注意路径很重要kubemaster:/mnt/nfs_server_files/nfs-test-claim-pvc-4550f9f0-694d-46c9-9e4c-7172a3a64b12）

我们来检查一下：

root@pod0:/# cd /mnt
root@pod0:/mnt# ls -la
total 8
drwxrwxrwx 2 nobody nogroup 4096 Nov  5 08:33 .
drwxr-xr-x 1 root   root    4096 Nov  5 08:38 ..

它是空的。让我们创建一些文件：

$ for i in 1 2 4 5 6; do touch file$i; done;
$ ls -l 
total 8
drwxrwxrwx 2 nobody nogroup 4096 Nov  5 08:58 .
drwxr-xr-x 1 root   root    4096 Nov  5 08:38 ..
-rw-r--r-- 1 nobody nogroup    0 Nov  5 08:58 file1
-rw-r--r-- 1 nobody nogroup    0 Nov  5 08:58 file2
-rw-r--r-- 1 nobody nogroup    0 Nov  5 08:58 file4
-rw-r--r-- 1 nobody nogroup    0 Nov  5 08:58 file5
-rw-r--r-- 1 nobody nogroup    0 Nov  5 08:58 file6

现在让我们看看这些文件在我们的 NFS 服务器（主节点）上在哪里：

$ cd /mnt/nfs_server_files
$ ls -l 
total 4
drwxrwxrwx 2 nobody nogroup 4096 Nov  5 09:11 nfs-test-claim-pvc-4550f9f0-694d-46c9-9e4c-7172a3a64b12
$ cd nfs-test-claim-pvc-4550f9f0-694d-46c9-9e4c-7172a3a64b12/
$ ls -l 
total 0
-rw-r--r-- 1 nobody nogroup 0 Nov  5 09:11 file1
-rw-r--r-- 1 nobody nogroup 0 Nov  5 09:11 file2
-rw-r--r-- 1 nobody nogroup 0 Nov  5 09:11 file4
-rw-r--r-- 1 nobody nogroup 0 Nov  5 09:11 file5
-rw-r--r-- 1 nobody nogroup 0 Nov  5 09:11 file6

这些就是我们刚刚在 pod 中创建的文件！

Answer 1