☰

OpenShift Origin 和 Ceph 持久卷

tag-icon • tag-icon kubernetes ceph openshift-origin
OpenShift Origin 和 Ceph 持久卷

我已经从最新的 ansible 安装安装了 OpenShift Origin。（CentOS 7-3 个主服务器和 7 个节点）

[root@master-1 ~]# openshift version
openshift v1.1.0.1-1-g2c6ff4b
kubernetes v1.1.0-origin-1107-g4c8e6f4
etcd 2.1.2

我正在尝试通过以下方式创建 CEPH 持久存储rbd 插件。我有一个正在运行的 Ceph 集群，并且我遵循了 ceph 官方指南（来自文档）：

https://docs.openshift.org/latest/install_config/persistent_storage/persistent_storage_ceph_rbd.html

我可以毫无问题地创建 persistentVolume 和 persistentVolumeClaim，但是当 kubernetes 尝试挂载该卷时，它会报告此错误：

FailedMount  {kubelet node-4} Unable to mount volumes for pod "php55-rzat2_xyz": unsupported volume type
Pod  FailedSync   {kubelet node-4}   Error syncing pod, skipping: unsupported volume type

我已经安装头孢菌素，ceph-通用和ceph-fuse所有节点上的软件包（为了确保万无一失，我也在主节点上安装了它）。

persistentVolume 按照预期被 persistentVolumeClaim 认领。

pv配置文件：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: "ceph-ssd-0000-11"
spec:
  capacity:
    storage: "1Gi"
  accessModes:
    - "ReadWriteOnce"
  rbd:
    monitors:
      - "10.0.0.5:6789"
      - "10.0.0.6:6789"
      - "10.0.0.7:6789"
    pool: ssdvolumes
    image: ssd-shift-pv-0001
    user: ssdvolumes
    secretRef:          
       name: "QVxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx=="
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: "Recycle"

我还可以通过 cli 中的 rbd 进行连接，没有任何问题。

有人能帮我吗？我以为 rbd 插件会在安装 openshift 时自动安装到 kubernetes。

答案1

所以我搞明白了。官方文档对创建 ceph pv 有点不清楚。您必须使用 ceph secret 创建另一个对象“secret”，然后在 pv 配置中引用它。

病原菌

apiVersion: v1
kind: PersistentVolume
metadata:
  name: "ceph-ssd-0000-06"
spec:
  capacity:
    storage: "1Gi"
  accessModes:
    - "ReadWriteOnce"
  rbd:
    monitors:
      - "10.2.70.51:6789"
      - "10.2.70.81:6789"
      - "10.2.70.82:6789"
    pool: ssdvolumes
    image: ssd-shift-pv-0006
    user: ssdvolumes
    secretRef:           
       name: "ceph-secret"
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: "Recycle"

ceph-secret.yml

apiVersion: v1
kind: Secret
metadata:
  # coresponds to secretRef in pv.yml
  name: ceph-secret
data:
  # base64 encoded ceph secret
  key: QVxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxltZFE9PQ==

然后执行

oc create -f pv.yml
oc create -f ceph-secret.yml

此外，错误消息：不支持的卷类型令人困惑，因为即使支持 rbd 卷也会报告该消息。错误导致缺少机密。

该问题已报告并可证明将得到解决： https://github.com/kubernetes/kubernetes/issues/18444

编辑2：有关安装 ceph 持久卷的附加信息：安装之前，您已在 ceph 池中创建了映像。Openshift（或 kubernetes）不会自行创建映像。

编辑3：在使用该图像之前，您还必须手动将其 mkfs.ext4 。

相关内容