我在其他情况下也发现了同样的问题。
这是同样的问题。发现尚未解决。
===========================================================
env: ceph jewel (ceph 版本: 10.2.7) 使用 rbd 格式 openstack ocata 版本
问题：我们删除了 openstack 卷，但没有反映出来。我们如何反映空房间？
我们使用了 ceph，在删除 Openstack 卷时发现了问题。重现步骤：
- 从实例中分离并删除 Openstack 卷。
- 我们希望获得 120TB 的可用大小，但通过检查 ceph df 命令并没有反映出来
- 检查 Ceph 大小（ceph -s & cepch df）
- “rdb du -p volumes”命令和“rados df -p volumes”的容量有明显不同。
我们检查了所有站点（同一环境中的 4 个站点），并且在 rbd/rados 命令期间没有任何差异）只有这个站点出现了问题。
[root@sm03 ~]# ceph --version
ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185)
<Delete Openstack volumes>
we delete about 120TB by below command
openstack volume delete a3ca9ef-4ea0-4f84-9b71-f48dd800fc81
…
…
<After delete volumes>
[root@sm01 ~]# ceph -s
cluster b37f1747-017e-4d99-ab6e-9bc2b470a04a
health HEALTH_OK
monmap e1: 3 mons at {sm01=192.168.1.54:6789/0,sm02=192.168.1.55:6789/0,sm03=192.168.1.56:6789/0}
election epoch 66, quorum 0,1,2 sm01,sm02,sm03
osdmap e24319: 160 osds: 160 up, 160 in
flags sortbitwise,require_jewel_osds
pgmap v57198458: 10048 pgs, 7 pools, 198 TB data, 50515 kobjects
395 TB used, 186 TB / 581 TB avail
10043 active+clean
5 active+clean+scrubbing+deep
client io 24151 kB/s rd, 38743 kB/s wr, 1315 op/s rd, 1901 op/s wr
[root@sm02 centos]# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
581T 186T 395T 68.01
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
rbd 0 1193G 2.37 49187G 305659
images 1 3040G 5.82 49187G 389282
-----------------------------------------------------------------------
volumes 2 194T 72.93 73781G 51037021
-----------------------------------------------------------------------
vms 3 0 0 49187G 2
backups 4 0 0 49187G 0
osc-test 8 0 0 49187G 2
volumes2 9 0 0 49187G 0
Ceph 配置了两个副本，我以为最少可以达到 120TB，但删除 3 天后仍然只有 3TB
[root@sm03 osc]# rados df -p volumes (used about 194 TB)
pool name KB objects clones degraded unfound rd rd KB wr wr KB
volumes 208456711224 51035676 697840 0 0 77223140580 692432070927 23760624643 303477785046
[root@sm03 ~]# rbd du -p volumes (used about 87TB)
NAME PROVISIONED USED
volume-01afa884-750c-4310-a46c-139ae6edf62f 1000G 4096k
...
volume-fcd81520-546a-475c-95b0-9a2753fb3f2a 3072G 3059G
volume-fee20996-e0d5-4559-a672-002248f9f795 102400M 90484M
<TOTAL> 129T 87145G
and we chagned the debug mode to 2/5
but there were not no clues
==============
[root@s01 ceph]# tail -n 10 ceph-osd.2.log
2019-07-30 20:04:30.670318 7f8ec8390700 0 log_channel(cluster) log [INF] : 2.df scrub ok
2019-07-30 20:04:36.451665 7f8ecab95700 0 log_channel(cluster) log [INF] : 2.896 scrub starts
2019-07-30 20:04:40.082636 7f8ec8390700 0 log_channel(cluster) log [INF] : 2.896 scrub ok
2019-07-30 20:04:43.452028 7f8ec9b93700 0 log_channel(cluster) log [INF] : 2.1234 scrub starts
2019-07-30 20:04:47.321024 7f8ec9b93700 0 log_channel(cluster) log [INF] : 2.1234 scrub ok
2019-07-30 20:04:51.452846 7f8ec7b8f700 0 log_channel(cluster) log [INF] : 2.1981 deep-scrub starts
2019-07-30 20:04:54.625680 7f8e8a7fe700 1 leveldb: Level-0 table #979119: started
2019-07-30 20:04:54.645016 7f8e8a7fe700 1 leveldb: Level-0 table #979119: 1323944 bytes OK
2019-07-30 20:04:54.646277 7f8e8a7fe700 1 leveldb: Delete type=0 #979117
------------------
======================================================== 我们检查了另一个网站..但有一点不同
[root@ceph-mon01 ~]# rados df -p volumes (used 51TB)
POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS RD WR_OPS WR
volumes 51769G 13268662 96335 39805986 0 0 0 54945485259 448T 4333085196 455T
total_objects 14663308
total_used 162T
total_avail 135T
total_space 298T
[root@ceph-mon01 ~]# rbd du -p volumes (used 52TB)
NAME PROVISIONED USED
rbdtest 1024G 200G
...
<TOTAL>