Ceph 已满但磁盘几乎为空

Ceph 已满但磁盘几乎为空

我有一个 ceph 集群,每个集群有 2 个节点和 3 个 osd。每个 osd 位于 8TB 磁盘的一个分区上。服务器的磁盘数量有限,所以我的系统也位于相同的磁盘上。

在安装时,我使用准备并在分区上激活,一切都启动正常。

ceph-deploy osd 准备 burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd 激活 burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/sdd2

它运行良好。但经过一些测试后,我打算使用它,开始向其中复制数据,它很快就满了,当我查看大小时,它只有 60GB,我不知道为什么。

ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    61440M     19593M       41846M         68.11 
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS 
    cinder-backup                 1           0         0         1851M           0 
    cinder-volumes                2           0         0         1851M           0 
    glance-images                 3           0         0         1851M           0 
    .rgw.root                     4        1113         0         1851M           4 
    default.rgw.control           5           0         0         1851M           8 
    default.rgw.meta              6        1661         0         1851M          10 
    default.rgw.log               7           0         0         1851M         207 
    default.rgw.buckets.index     8           0         0         1851M           2 
    default.rgw.buckets.data      9      14109M     88.40         1851M       38929 

但磁盘几乎是空的

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2       7.3T  4.0G  7.3T   1% /var/lib/ceph/osd/ceph-4
/dev/sdd2       7.3T  8.4G  7.3T   1% /var/lib/ceph/osd/ceph-5
/dev/sda2       7.3T  8.2G  7.3T   1% /var/lib/ceph/osd/ceph-3


root@burk11:~# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                            
-3       0.02939     host burk11                         
 0   hdd 0.00980         osd.0       up  1.00000 1.00000 
 1   hdd 0.00980         osd.1       up  0.95001 1.00000 
 2   hdd 0.00980         osd.2       up  1.00000 1.00000 
-5       0.02939     host burk12                         
 3   hdd 0.00980         osd.3       up  1.00000 1.00000 
 4   hdd 0.00980         osd.4       up  1.00000 1.00000 
 5   hdd 0.00980         osd.5       up  0.95001 1.00000 
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS TYPE NAME       
-1       0.05878        -   966G   954G 11905M 98.80 1.00   - root default    
-3       0.02939        - 30720M 21579M  9140M 70.24 0.71   -     host burk11 
 0   hdd 0.00980  1.00000 10240M  5650M  4589M 55.18 0.56 172         osd.0   
 1   hdd 0.00980  0.95001 10240M  8380M  1859M 81.84 0.83 139         osd.1   
 2   hdd 0.00980  1.00000 10240M  7548M  2691M 73.72 0.75 153         osd.2   
-5       0.02939        -   936G   933G  2764M 99.71 1.01   -     host burk12 
 3   hdd 0.00980  1.00000 10240M  9589M   650M 93.65 0.95 163         osd.3   
 4   hdd 0.00980  1.00000 10240M  9309M   930M 90.91 0.92 144         osd.4   
 5   hdd 0.00980  0.95001   916G   914G  1183M 99.87 1.01 157         osd.5   
                    TOTAL   966G   954G 11905M 98.80                          
MIN/MAX VAR: 0.56/1.01  STDDEV: 22.15

(不,我没有在 OSD.5 上使用 914G。我曾尝试使用 dd 扩展块文件,我确实让 osd 变得更大,但即使它没有使用更多数据,我也让它满了,应该有大约 9-10G 的使用量)

那么我怎样才能让 ceph 使用完整的分区?

相关内容