将 Ubuntu 20 LTS 升级到 22 LTS 后，kubernetes（apiserver）无法启动

Question

我刚刚将单节点 Kubernetes 集群虚拟机从 Ubuntu 20 LTS 升级到 Ubuntu 22.04.3 LTS。大多数应用程序都可以正常启动，但我无法启动 Kubernetes 集群。

由于某种原因，apiserver 启动了，但几秒钟后就停止/崩溃了。几分钟后，它短暂地再次启动，结果却崩溃了。我不知道发生了什么……

有人有任何调试技巧吗？我在 journalctl 中没有 apiserver 的单元。

使用 kubeadm 创建的 Kubernetes 集群。Kubelet、kubeadm、kubectl 版本 1.28.2。

显然，kubectl get nodes除此之外，没有返回任何内容connection refused（因为 apiserver 没有运行）。

Journalctl -u kubelet （由于帖子大小限制，无法发布所有内容）：

1 月 2 日 14:03:49 labs-devops01 systemd[1]:已启动 kubelet：Kubernetes 节点代理。
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]：标志 --container-runtime-endpoint 已弃用，此参数应通过 Kubelet 的 --config 标志指定的配置文件进行设置。有关更多信息，请参阅 https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/。
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: 标记 --pod-infra-container-image 已弃用，将在未来版本中删除。图像垃圾收集器将从 CRI 获取沙盒图像信息。
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.221666 11023 server.go:203] “--pod-infra-container-image 不会被 kubelet 中的图像垃圾收集器修剪，也应在远程运行时进行设置”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.226362 11023 server.go:467] “Kubelet 版本” kubeletVersion="v1.28.2"
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.226385 11023 server.go:469] “Golang 设置” GOGC="" GOMAXPROCS="" GOTRACEBACK=""
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.226717 11023 server.go:895] “客户端轮换已开启，将在后台启动”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.228378 11023 certificate_store.go:130] 正在从“/var/lib/kubelet/pki/kubelet-client-current.pem”加载证书/密钥对。
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.229694 11023 dynamic_cafile_content.go:157] “启动控制器” name="client-ca-bundle::/etc/kubernetes/pki/ca.crt"
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.239370 11023 server.go:725] “--cgroups-per-qos 已启用，但未指定 --cgroup-root。默认为 /”
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.239750 11023 container_manager_linux.go:265] “容器管理器已验证用户指定的 cgroup-root 存在” cgroupRoot=[]
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.239961 11023 container_manager_linux.go:270] “根据节点配置创建容器管理器对象”nodeConfig={“RuntimeCgroupsName”:“”，“SystemCgroupsName”:“”，“KubeletCgroupsName”:“”，“KubeletOOMScoreAdj”:-999，“ContainerRuntime”:“”，“CgroupsPerQOS”:true，“CgroupRoot”:“/”，“CgroupDriver”:“systemd”，“KubeletRootDir”:“/var/lib/kubelet”，“ProtectKernelDefaults”:false，“KubeReservedCgroupName”:“”，“SystemReservedCgroupName”:“”，“ReservedSystemCPU s”：{}，“EnforceNodeAllocatable”：{“pods”：{}}，“KubeReserved”：null，“SystemReserved”：null，“HardEvictionThresholds”：[{“Signal”：“memory.available”，“Operator”：“LessThan”，“值”：{“Quantity”：“100Mi”，“Percentage”：0}，“GracePeriod”：0，“MinReclaim”：null}，{“Signal”：“nodefs.available”，“Operator”：“LessThan”，“值”：{“Quantity”：null，“Percentage”：0.1}，” GracePeriod”：0，“MinReclaim”：null}，{“Signal”：“nodefs.inodesFree”，“Operator”：“LessThan”，“Value”：{“Quantity”：null，“Percentage”：0.05}，“GracePeriod”：0，“MinReclaim”：null}，{“Signal”：“imagefs.available”，“Operator”：“LessThan”，“Value”：{“Quantity”：null，“Percentage”：0.15}，“GracePeriod”：0，“MinReclaim”：null}]，“QOSReserved”：{}，“CPUManagerPolicy”：“no ne”，“CPUManagerPolicyOptions”：null，“TopologyManagerScope”：“容器”，“CPUManagerReconcilePeriod”：10000000000，“ExperimentalMemoryManagerPolicy”：“无”，“ExperimentalMemoryManagerReservedMemory”：null，“PodPidsLimit”：-1，“EnforceCPULimits”：true，“CPUCFSQuotaPeriod”：100000000，“TopologyManagerPolicy”：“无”，“TopologyManagerPolicyOptions”：null}
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240005 11023 topology_manager.go:138] “创建无策略的拓扑管理器”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240016 11023 container_manager_linux.go:301] “创建设备插件管理器”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240075 11023 state_mem.go:36] “已初始化新的内存状态存储”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240201 11023 kubelet.go:393] “尝试将节点与 API 服务器同步”
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240233 11023 kubelet.go:298] “添加静态 pod 路径” path="/etc/kubernetes/manifests"
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240287 11023 kubelet.go:309] “添加 apiserver pod 源”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.240339 11023 apiserver.go:42] “在监视 apiserver pod 之前等待节点同步”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: W0102 14:03:49.241034 11023 reflector.go:535] vendor/k8s.io/client-go/informers/factory.go:150: 无法列出 *v1.Node: 获取“https://10.10.48.101:6443/api/v1/nodes?fieldSelector=metadata.name%3Dlabs-devops01&limit=500&resourceVersion=0”: 拨号 tcp 10.10.48.101:6443: connect: 连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.241150 11023 reflector.go:147] vendor/k8s.io/client-go/informers/factory.go:150：无法监视 *v1.Node：无法列出 *v1.Node：获取“https://10.10.48.101:6443/api/v1/nodes?fieldSelector=metadata.name%3Dlabs-devops01&limit=500&resourceVersion=0”：拨号 tcp 10.10.48.101:6443：连接：连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: W0102 14:03:49.241149 11023 reflector.go:535] vendor/k8s.io/client-go/informers/factory.go:150: 无法列出 *v1.Service: 获取“https://10.10.48.101:6443/api/v1/services?limit=500&resourceVersion=0”: 拨号 tcp 10.10.48.101:6443: connect: 连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.241243 11023 reflector.go:147] vendor/k8s.io/client-go/informers/factory.go:150：无法监视 *v1.Service：无法列出 *v1.Service：获取“https://10.10.48.101:6443/api/v1/services?limit=500&resourceVersion=0”：拨号 tcp 10.10.48.101:6443：连接：连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.241876 11023 kuberuntime_manager.go:257] “容器运行时已初始化” containerRuntime="containerd" version="1.7.2" apiVersion="v1"
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.242663 11023 server.go:1232] “已启动 kubelet”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.243305 11023 ratelimit.go:65] “设置 podresources 端点的速率限制” qps=100 burstTokens=10
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.243899 11023 server.go:233] “开始提供 podresources API” 端点=“unix:/var/lib/kubelet/pod-resources/kubelet.sock”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.244384 11023 server.go:162] “开始监听” 地址=“0.0.0.0” 端口=10250
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.244692 11023 fs_resource_analyzer.go:67] “正在启动 FS ResourceAnalyzer”
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.246138 11023 cri_stats_provider.go:448] “无法获取具有挂载点的文件系统的信息” err="无法在内存缓存中找到数据" mountpoint="/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs"
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.246428 11023 event.go:289] 无法写入事件：'&v1.Event{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"labs-devops01.17a689716c0112f4", GenerateName:"", Namespace:"default", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:time.Date(1, time.January, 1, 0, 0, 0, 0, time.UTC), DeletionTimestamp:, DeletionGracePeriodSeconds:(*int64)(nil),标签：map[string]string(nil)，注释：map[string]string(nil)，OwnerReferences：[]v1.OwnerReference(nil)，Finalizers：[]string(nil)，ManagedFields：[]v1.ManagedFieldsEntry(nil)}，InvolvedObject：v1.ObjectReference{Kind：“Node”，命名空间：“”，名称：“labs-devops01”，UID：“labs-devops01”，APIVersion：“”，ResourceVersion：“”，FieldPath：“”}，原因：“正在启动”，消息：“正在启动 kubelet。”，来源：v1.EventSource{Component：“kubelet”，主机：“labs-devops01”}，FirstTimestamp：time.Date(2024, time.January, 2, 14, 3, 49, 242630900, time.Local)， LastTimestamp：time.Date（2024，time.January，2，14，3，49，242630900，time.Local），计数：1，类型：“正常”，事件时间：time.Date（1，time.January，1，0，0，0，0，time.UTC），系列：（*v1.EventSeries）（nil），动作：“”，相关：（*v1.ObjectReference）（nil），ReportingController：“kubelet”，ReportingInstance：“labs-devops01”}'：'发布“https://10.10.48.101:6443/api/v1/namespaces/default/events”：拨号 tcp 10.10.48.101:6443：连接：连接被拒绝'（睡眠后可能会重试）
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.247412 11023 controller.go:146] “无法确保租约存在，将重试” err="Get \"https://10.10.48.101:6443/apis/coordination.k8s.io/v1/namespaces/kube-node-lease/leases/labs-devops01?timeout=10s\": 拨号 tcp 10.10.48.101:6443：连接：连接被拒绝“间隔=”200ms“
1 月 02 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.247574 11023 scope.go:117] “RemoveContainer” containerID="9b512a2841561c1213167d0dc943704937419fc231fbd6a6ae3f0cdb290e24d1"
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.247907 11023 volume_manager.go:291] “启动 Kubelet 卷管理器”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.248274 11023 desire_state_of_world_populator.go:151] “期望状态填充器开始运行”
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: W0102 14:03:49.252512 11023 reflector.go:535] vendor/k8s.io/client-go/informers/factory.go:150: 无法列出 *v1.CSIDriver: 获取“https://10.10.48.101:6443/apis/storage.k8s.io/v1/csidrivers?limit=500&resourceVersion=0”: 拨号 tcp 10.10.48.101:6443: connect: 连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: E0102 14:03:49.252607 11023 reflector.go:147] vendor/k8s.io/client-go/informers/factory.go:150：无法监视 *v1.CSIDriver：无法列出 *v1.CSIDriver：获取“https://10.10.48.101:6443/apis/storage.k8s.io/v1/csidrivers?limit=500&resourceVersion=0”：拨号 tcp 10.10.48.101:6443：连接：连接被拒绝
1 月 2 日 14:03:49 labs-devops01 kubelet[11023]: I0102 14:03:49.253983 11023 server.go:462] “将调试处理程序添加到 kubelet 服务器”

journalctl-u容器：

1 月 2 日 14:03:29 labs-devops01 systemd[1]: 正在启动 containerd 容器运行时...
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.634500800+01:00" level=info msg="启动 containerd" revision= version=1.7.2
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.659615700+01:00" level=info msg="正在加载插件 \"io.containerd.snapshotter.v1.aufs\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.662171200+01:00" level=info msg="跳过加载插件 \"io.containerd.snapshotter.v1.aufs\"..." error="不支持 aufs (modprobe aufs 失败：退出状态 1 \"modprobe: FATAL: 在目录 /lib/modules/6.2.0-1018-azure\\n\ 中未找到模块 aufs"): 跳过插件" type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.662206500+01:00" level=info msg="正在加载插件 \"io.containerd.snapshotter.v1.btrfs\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.662943100+01:00" level=info msg="跳过加载插件 \"io.containerd.snapshotter.v1.btrfs\"..." error="path /var/lib/containerd/io.containerd.snapshotter.v1.btrfs (ext4) 必须是 btrfs 文件系统才能与 btrfs 快照程序一起使用：跳过插件" type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.662972000+01:00" level=info msg="正在加载插件 \"io.containerd.content.v1.content\"..." type=io.containerd.content.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663016000+01:00" level=info msg="正在加载插件 \"io.containerd.snapshotter.v1.native\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663048100+01:00" level=info msg="正在加载插件 \"io.containerd.snapshotter.v1.overlayfs\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663230600+01:00" level=info msg="正在加载插件 \"io.containerd.snapshotter.v1.devmapper\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663295600+01:00" level=warning msg="无法加载插件 io.containerd.snapshotter.v1.devmapper" error="未配置 devmapper"
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663403100+01:00" level=info msg="正在加载插件\"io.containerd.snapshotter.v1.zfs\"..." type=io.containerd.snapshotter.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663701000+01:00" level=info msg="跳过加载插件 \"io.containerd.snapshotter.v1.zfs\"..." error="path /var/lib/containerd/io.containerd.snapshotter.v1.zfs 必须是 zfs 文件系统才能与 zfs 快照程序一起使用：跳过插件" type=io.containerd.snapshotter.v1
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663722000+01:00" level=info msg="正在加载插件\"io.containerd.metadata.v1.bolt\"..." type=io.containerd.metadata.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663754800+01:00" level=warning msg="无法在元数据插件中使用快照程序 devmapper" error="未配置 devmapper"
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.663784500+01:00" level=info msg="元数据内容存储策略设置" policy=shared
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.667770200+01:00" level=info msg="正在加载插件\"io.containerd.differ.v1.walking\"..." type=io.containerd.differ.v1
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.667873700+01:00" level=info msg="正在加载插件\"io.containerd.event.v1.exchange\"..." type=io.containerd.event.v1
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.667924200+01:00" level=info msg="正在加载插件\"io.containerd.gc.v1.scheduler\"..." type=io.containerd.gc.v1
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.668099800+01:00" level=info msg="正在加载插件\"io.containerd.lease.v1.manager\"..." type=io.containerd.lease.v1
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.668178700+01:00" level=info msg="正在加载插件 \"io.containerd.nri.v1.nri\"..." type=io.containerd.nri.v1
1 月 2 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.668213800+01:00" level=info msg="NRI 接口已被配置禁用。"
1月02日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.668282000+01:00" level=info msg="正在加载插件\"io.containerd.runtime.v2.task\"..." type=io.containerd.runtime.v2
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.669063300+01:00" level=error msg="重新加载后复制 shim 日志" error="读取 /proc/self/fd/7: 文件已关闭" namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.669134900+01:00" level=warning msg="shim 断开连接后进行清理" id=02ebd013a9e1380bd117b48f93c6ed5eb7e611e3852dba8c3bc620454a66f5c7 namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.669155200+01:00" level=info msg="清理死垫片" namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.803669200+01:00" level=warning msg="shim 断开连接后进行清理" id=21592c7a0ab359db3a1fdea3d87333bdee7556bf933b42c99626d974ca80df16 namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.804001100+01:00" level=error msg="重新加载后复制 shim 日志" error="读取 /proc/self/fd/7: 文件已关闭" namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.804032900+01:00" level=info msg="清理死垫片" namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.931062600+01:00" level=warning msg="shim 断开连接后进行清理" id=5f8ccdeb1791fff886d060ab876548c6fc60ba485a3d31c34f073e188e569b4d namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.931104400+01:00" level=info msg="清理死垫片" namespace=k8s.io
1 月 02 日 14:03:29 labs-devops01 containerd[10942]: time="2024-01-02T14:03:29.931092300+01:00" level=error msg="重新加载后复制 shim 日志" error="读取 /proc/self/fd/7: 文件已关闭" namespace=k8s.io
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.058320500+01:00" level=error msg="重新加载后复制 shim 日志" error="读取 /proc/self/fd/7: 文件已关闭" namespace=k8s.io
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.058322500+01:00" level=warning msg="shim 断开连接后进行清理" id=da93704ac23c63fa269bc1db379e1099d346331165ffe0cc3dea7aef35fc178c namespace=k8s.io
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.058410900+01:00" level=info msg="清理死垫片" namespace=k8s.io
1月02日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.202993600+01:00" level=info msg="正在加载插件\"io.containerd.runtime.v2.shim\"..." type=io.containerd.runtime.v2
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.203040100+01:00" level=info msg="正在加载插件 \"io.containerd.sandbox.store.v1.local\"..." type=io.containerd.sandbox.store.v1
--------正在加载大约 30 个其他插件... ---------
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204438300+01:00" level=info msg="正在加载插件 \"io.containerd.grpc.v1.cri\"..." type=io.containerd.grpc.v1
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204749600+01:00" level=info msg="使用以下配置启动 cri 插件 {PluginConfig:{ContainerdConfig:{Snapshotter:overlayfs DefaultRuntimeName:runc DefaultRuntime:{Type: Path: Engine: PodAnnotations:[] ContainerAnnotations:[] Root: Options:map[] PrivilegedWithoutHostDevices:false PrivilegedWithoutHostDevicesAllDevicesAllowed:false BaseRuntimeSpec: NetworkPluginConfDir: NetworkPluginMaxConfNum:0 Snapshotter: SandboxMode:} UntrustedWorkloadRuntime:{Type: Path: Engine: PodAnnotations:[] ContainerAnnotations:[] Root: Options:map[] PrivilegedWithoutHostDevices：false PrivilegedWithoutHostDevicesAllDevicesAllowed：false BaseRuntimeSpec：NetworkPluginConfDir：NetworkPluginMaxConfNum：0 Snapshotter：SandboxMode：} 运行时：map[runc：{Type：io.containerd.runc.v2 路径：引擎：PodAnnotations：[] ContainerAnnotations：[] 根：选项：map[BinaryName：CriuImagePath：CriuPath：CriuWorkPath：IoGid：0 IoUid：0 NoNewKeyring：false NoPivotRoot：false Root：ShimCgroup：SystemdCgroup：true] PrivilegedWithoutHostDevices：false PrivilegedWithoutHostDevicesAllDevicesAllowed：false BaseRuntimeSpec：NetworkPluginConfDir：NetworkPluginMaxConfNum：0 Snapshotter：SandboxMode：podsandbox}] NoPivot：false DisableSnapshotAnnotations：true DiscardUnpackedLayers：false IgnoreBlockIONotEnabledErrors：false IgnoreRdtNotEnabledErrors：false} CniConfig：{NetworkPluginBinDir：/opt/cni/bin NetworkPluginConfDir：/etc/cni/net.d NetworkPluginMaxConfNum：1 NetworkPluginSetupSerially：false NetworkPluginConfTemplate：IPPreference：} 注册表：{ConfigPath：Mirrors：map[] Configs：map[] Auths：map[] Headers：map[]} ImageDecryption：{KeyModel：node} DisableTCPService：true StreamServerAddress：127.0.0.1 StreamServerPort：0 StreamIdleTimeout：4h0m0s EnableSelinux：false SelinuxCategoryRange：1024 SandboxImage：k8s.gcr.io/pause：3.5 StatsCollectPeriod：10 SystemdCgroup：false EnableTLSStreaming：false X509KeyPairStreaming：{TLSCertFile：TLSKeyFile：} MaxContainerLogLineSize：16384 DisableCgroup：false DisableApparmor：false RestrictOOMScoreAdj：false MaxConcurrentDownloads：3 DisableProcMount：false UnsetSeccompProfile：TolerateMissingHugetlbController：true DisableHugetlbController：true DeviceOwnershipFromSecurityContext：false IgnoreImageDefinedVolumes：false NetNSMountsUnderStateDir：false EnableUnprivilegedPorts：false EnableUnprivilegedICMP：false EnableCDI：false CDISpecDirs：[/etc/cdi /var/run/cdi] ImagePullProgressTimeout：1m0s DrainExecSyncIOTimeout：0s} ContainerdRootDir：/var/lib/containerd ContainerdEndpoint：/run/containerd/containerd.sock RootDir：/var/lib/containerd/io.containerd.grpc.v1.cri StateDir：/run/containerd/io.containerd.grpc.v1.cri}”
1月02日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204820700+01:00" level=info msg="连接containerd服务"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204849400+01:00" level=info msg="使用旧版 CRI 服务器"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204859800+01:00" level=info msg="使用实验性 NRI 集成 - 禁用 nri 插件以防止发生这种情况"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.204895900+01:00" level=info msg="获取映像文件系统路径 \"/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs\""
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205486600+01:00" level=info msg="正在加载插件 \"io.containerd.tracing.processor.v1.otlp\"..." type=io.containerd.tracing.processor.v1
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205514900+01:00" level=info msg="跳过加载插件 \"io.containerd.tracing.processor.v1.otlp\"..." error="无 OpenTelemetry 端点：跳过插件" type=io.containerd.tracing.processor.v1
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205530900+01:00" level=info msg="正在加载插件 \"io.containerd.internal.v1.tracing\"..." type=io.containerd.internal.v1
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205544700+01:00" level=info msg="跳过跟踪处理器初始化（无跟踪插件）" error="无 OpenTelemetry 端点：跳过插件"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205904300+01:00" level=info msg=serving... address=/run/containerd/containerd.sock.ttrpc
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.205904400+01:00" level=info msg="开始订阅 containerd 事件"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.206589400+01:00" level=info msg=serving... address=/run/containerd/containerd.sock
1月02日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.207505800+01:00" level=info msg="开始恢复状态"
1月02日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.408885000+01:00" level=info msg="启动事件监视器"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.408931000+01:00" level=info msg="启动快照同步器"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.408951600+01:00" level=info msg="启动 cni 网络配置同步器作为默认设置"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.408972500+01:00" level=info msg="启动流媒体服务器"
1 月 02 日 14:03:30 labs-devops01 containerd[10942]: time="2024-01-02T14:03:30.409149500+01:00" level=info msg="containerd 在 0.776054 秒内成功启动"
1 月 2 日 14:03:30 labs-devops01 systemd[1]: 已启动 containerd 容器运行时。

相关正在运行的进程（ps -aux）：

根 11023 1.5 1.3 1635776 108328 ? Ssl 14:03 0:08 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/
根 11089 0.0 0.2 722280 21048 ? Sl 14:03 0:00 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id 17c8c395e6b079f220da7204cbd3c6b12e676c74cc7fc7816e34787e6c3e6525 -address /run/containerd/co
根 11097 0.0 0.2 722536 19692 ? Sl 14:03 0:00 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id 167c473122d62b31acfd5e84e9bf23afc588653a352263c4fdd6fb3b4674b9bd -address /run/containerd/co
根 11148 0.0 0.2 722280 20920 ? Sl 14:03 0:00 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id d2f0dd19c0d5cbaa1b36acb368552b134558ce4b20a5179b61750eae061c55d7 -address /run/containerd/co
根 11150 0.0 0.2 722280 19604 ? Sl 14:03 0:00 /usr/bin/containerd-shim-runc-v2 -namespace k8s.io -id 7dcac32c789d7d264f8f71b9467853ac60741a5b6399e071bb358bcedf37936d -address /run/containerd/co
根 11328 0.4 1.0 831292 85068 ? Ssl 14:03 0:02 kube-controller-manager --allocate-node-cidrs=true --authentication-kubeconfig=/etc/kubernetes/controller-manager.conf --authorization-kubeconfig=/
根 11338 0.9 0.7 11214912 56368 ? Ssl 14:03 0:05 etcd --advertise-client-urls=https://10.10.48.101:2379 --cert-file=/etc/kubernetes/pki/etcd/server.crt --client-cert-auth=true --data-dir=/var/lib/
根 11345 0.6 0.7 765000 57108 ? Ssl 14:03 0:03 kube-scheduler --authentication-kubeconfig=/etc/kubernetes/scheduler.conf --authorization-kubeconfig=/etc/kubernetes/scheduler.conf --bind-address=
根 12242 0.1 0.4 744520 33716 ? Sl 14:12 0:00 /opt/cni/bin/calico