ceph 删除虚假数据

ceph 删除虚假数据

我想删除一些“虚假”数据:

root@XX03:/# ceph df
--- RAW STORAGE ---
CLASS     SIZE    AVAIL    USED  RAW USED  %RAW USED
hdd    1.0 PiB  1.0 PiB  47 GiB    47 GiB          0
TOTAL  1.0 PiB  1.0 PiB  47 GiB    47 GiB          0

--- POOLS ---
POOL  ID  PGS  STORED  OBJECTS     USED  %USED  MAX AVAIL
.mgr   1    1  70 MiB       19  209 MiB      0    327 TiB
.nfs   3   32   572 B        4   36 KiB      0    327 TiB
root@XX03:/# 

如您所见,没有数据池。47GiB 可能来自我之前用于测试的池/文件系统。

我怎样才能在不影响 OSD 的情况下删除这些“虚假”数据?我检查了“ceph-volume lvm zap”,但我不确定这是否是正确的。

(我正在运行 ceph 版本 quincy 17.2.7)

谢谢,朱利亚诺。

编辑/添加:这里是输出ceph osd df

ID   CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE  VAR   PGS  STATUS
110    hdd  7.27739   1.00000  7.3 TiB  343 MiB   48 MiB    2 KiB  295 MiB  7.3 TiB  0.00  0.98    0      up
111    hdd  7.27739   1.00000  7.3 TiB  343 MiB   48 MiB    1 KiB  295 MiB  7.3 TiB  0.00  0.98    0      up
112    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    1 KiB  299 MiB  7.3 TiB  0.00  0.99    1      up
113    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    1 KiB  299 MiB  7.3 TiB  0.00  0.99    3      up
114    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    1 KiB  299 MiB  7.3 TiB  0.00  0.99    1      up
115    hdd  7.27739   1.00000  7.3 TiB  343 MiB   48 MiB    1 KiB  295 MiB  7.3 TiB  0.00  0.98    0      up
116    hdd  7.27739   1.00000  7.3 TiB  343 MiB   48 MiB    1 KiB  295 MiB  7.3 TiB  0.00  0.98    0      up
117    hdd  7.27739   1.00000  7.3 TiB  343 MiB   48 MiB    1 KiB  295 MiB  7.3 TiB  0.00  0.98    0      up
118    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    2 KiB  299 MiB  7.3 TiB  0.00  0.99    1      up
119    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    1 KiB  299 MiB  7.3 TiB  0.00  0.99    1      up
120    hdd  7.27739   1.00000  7.3 TiB  427 MiB  120 MiB    1 KiB  307 MiB  7.3 TiB  0.01  1.22    2      up
143    hdd  7.27739   1.00000  7.3 TiB  347 MiB   48 MiB    2 KiB  299 MiB  7.3 TiB  0.00  0.99    1      up
 11    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    2 KiB  305 MiB  7.3 TiB  0.00  1.01    2      up
 12    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 13    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    4 KiB  301 MiB  7.3 TiB  0.00  1.00    2      up
 14    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 15    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 16    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 17    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 18    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    5 KiB  305 MiB  7.3 TiB  0.00  1.01    3      up
 19    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    5 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 20    hdd  7.27739   1.00000  7.3 TiB  358 MiB   48 MiB    2 KiB  310 MiB  7.3 TiB  0.00  1.02    0      up
 21    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    2      up
132    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    3 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
 33    hdd  7.27739   1.00000  7.3 TiB  357 MiB   48 MiB    2 KiB  310 MiB  7.3 TiB  0.00  1.02    0      up
 34    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    4 KiB  297 MiB  7.3 TiB  0.00  0.99    2      up
 35    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    1 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
 36    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    1 KiB  305 MiB  7.3 TiB  0.00  1.01    2      up
 37    hdd  7.27739   1.00000  7.3 TiB  342 MiB   48 MiB    4 KiB  294 MiB  7.3 TiB  0.00  0.98    1      up
 38    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    4 KiB  305 MiB  7.3 TiB  0.00  1.01    1      up
 39    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 40    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    2 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 41    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    2 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 42    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 43    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
135    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 66    hdd  7.27739   1.00000  7.3 TiB  362 MiB   48 MiB    3 KiB  314 MiB  7.3 TiB  0.00  1.03    1      up
 67    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 68    hdd  7.27739   1.00000  7.3 TiB  357 MiB   48 MiB    5 KiB  309 MiB  7.3 TiB  0.00  1.02    1      up
 69    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    3 KiB  296 MiB  7.3 TiB  0.00  0.98    1      up
 70    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    2 KiB  303 MiB  7.3 TiB  0.00  1.00    0      up
 71    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    3 KiB  303 MiB  7.3 TiB  0.00  1.00    1      up
 72    hdd  7.27739   1.00000  7.3 TiB  346 MiB   48 MiB    9 KiB  298 MiB  7.3 TiB  0.00  0.99    2      up
 73    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    4 KiB  305 MiB  7.3 TiB  0.00  1.01    1      up
 74    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    3 KiB  293 MiB  7.3 TiB  0.00  0.98    1      up
 75    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    3 KiB  303 MiB  7.3 TiB  0.00  1.00    1      up
 76    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    4 KiB  293 MiB  7.3 TiB  0.00  0.97    0      up
138    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 77    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 78    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 79    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    2 KiB  308 MiB  7.3 TiB  0.00  1.02    1      up
 80    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    2 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 81    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    1 KiB  293 MiB  7.3 TiB  0.00  0.98    0      up
 82    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 83    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 84    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    2 KiB  297 MiB  7.3 TiB  0.00  0.99    2      up
 85    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 86    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    3 KiB  304 MiB  7.3 TiB  0.00  1.01    2      up
 87    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    1 KiB  293 MiB  7.3 TiB  0.00  0.97    1      up
139    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 88    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
 89    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    2 KiB  292 MiB  7.3 TiB  0.00  0.97    1      up
 90    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    2 KiB  292 MiB  7.3 TiB  0.00  0.97    1      up
 91    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    1 KiB  305 MiB  7.3 TiB  0.00  1.01    1      up
 92    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
 93    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 94    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    2 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
 95    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    2 KiB  296 MiB  7.3 TiB  0.00  0.98    0      up
 96    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 97    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    2 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 98    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    3 KiB  308 MiB  7.3 TiB  0.00  1.02    0      up
140    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
  0    hdd  7.27739   1.00000  7.3 TiB  338 MiB   48 MiB      0 B  290 MiB  7.3 TiB  0.00  0.97    0      up
  1    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  305 MiB  7.3 TiB  0.00  1.01    0      up
  2    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    3 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
  3    hdd  7.27739   1.00000  7.3 TiB  338 MiB   48 MiB      0 B  290 MiB  7.3 TiB  0.00  0.97    1      up
  4    hdd  7.27739   1.00000  7.3 TiB  357 MiB   48 MiB    3 KiB  309 MiB  7.3 TiB  0.00  1.02    1      up
  5    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
  6    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    2 KiB  293 MiB  7.3 TiB  0.00  0.97    0      up
  7    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    3 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
  8    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    3 KiB  305 MiB  7.3 TiB  0.00  1.01    1      up
  9    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
 10    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    3 KiB  292 MiB  7.3 TiB  0.00  0.97    2      up
133    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    1 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
 22    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    3 KiB  292 MiB  7.3 TiB  0.00  0.97    3      up
 23    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    1 KiB  293 MiB  7.3 TiB  0.00  0.98    2      up
 24    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    1 KiB  293 MiB  7.3 TiB  0.00  0.98    0      up
 25    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
 26    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    4 KiB  308 MiB  7.3 TiB  0.00  1.02    2      up
 27    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  296 MiB  7.3 TiB  0.00  0.98    0      up
 28    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    1 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
 29    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    2 KiB  292 MiB  7.3 TiB  0.00  0.97    3      up
 30    hdd  7.27739   1.00000  7.3 TiB  341 MiB   48 MiB    1 KiB  294 MiB  7.3 TiB  0.00  0.98    0      up
 31    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 32    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    1 KiB  303 MiB  7.3 TiB  0.00  1.00    0      up
134    hdd  7.27739   1.00000  7.3 TiB  431 MiB  120 MiB    1 KiB  310 MiB  7.3 TiB  0.01  1.23    1      up
 44    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 45    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 46    hdd  7.27739   1.00000  7.3 TiB  439 MiB  120 MiB    1 KiB  318 MiB  7.3 TiB  0.01  1.26    2      up
 47    hdd  7.27739   1.00000  7.3 TiB  350 MiB   48 MiB    2 KiB  302 MiB  7.3 TiB  0.00  1.00    3      up
 48    hdd  7.27739   1.00000  7.3 TiB  346 MiB   48 MiB    2 KiB  298 MiB  7.3 TiB  0.00  0.99    2      up
 49    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 50    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    1 KiB  305 MiB  7.3 TiB  0.00  1.01    0      up
 51    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    2 KiB  297 MiB  7.3 TiB  0.00  0.99    1      up
 52    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    2 KiB  305 MiB  7.3 TiB  0.00  1.01    0      up
 53    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 54    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
136    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 55    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 56    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 57    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 58    hdd  7.27739   1.00000  7.3 TiB  345 MiB   48 MiB    3 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 59    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    0      up
 60    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
 61    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
 62    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    3 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
 63    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 64    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    2 KiB  293 MiB  7.3 TiB  0.00  0.97    0      up
 65    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    3 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
137    hdd  7.27739   1.00000  7.3 TiB  351 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
 99    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    1 KiB  308 MiB  7.3 TiB  0.00  1.02    0      up
100    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    2 KiB  296 MiB  7.3 TiB  0.00  0.98    0      up
101    hdd  7.27739   1.00000  7.3 TiB  348 MiB   48 MiB    3 KiB  300 MiB  7.3 TiB  0.00  0.99    1      up
102    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
103    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    1 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
104    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    2      up
105    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    2 KiB  296 MiB  7.3 TiB  0.00  0.98    0      up
106    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  296 MiB  7.3 TiB  0.00  0.98    0      up
107    hdd  7.27739   1.00000  7.3 TiB  348 MiB   48 MiB    4 KiB  300 MiB  7.3 TiB  0.00  0.99    0      up
108    hdd  7.27739   1.00000  7.3 TiB  348 MiB   48 MiB    1 KiB  300 MiB  7.3 TiB  0.00  0.99    1      up
109    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    2 KiB  308 MiB  7.3 TiB  0.00  1.02    0      up
141    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    1 KiB  292 MiB  7.3 TiB  0.00  0.97    0      up
121    hdd  7.27739   1.00000  7.3 TiB  340 MiB   48 MiB    3 KiB  293 MiB  7.3 TiB  0.00  0.97    0      up
122    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    3 KiB  305 MiB  7.3 TiB  0.00  1.01    0      up
123    hdd  7.27739   1.00000  7.3 TiB  344 MiB   48 MiB    1 KiB  297 MiB  7.3 TiB  0.00  0.99    0      up
124    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    1 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
125    hdd  7.27739   1.00000  7.3 TiB  346 MiB   48 MiB    3 KiB  298 MiB  7.3 TiB  0.00  0.99    0      up
126    hdd  7.27739   1.00000  7.3 TiB  356 MiB   48 MiB    1 KiB  308 MiB  7.3 TiB  0.00  1.02    1      up
127    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    2      up
128    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    3 KiB  304 MiB  7.3 TiB  0.00  1.01    1      up
129    hdd  7.27739   1.00000  7.3 TiB  349 MiB   48 MiB    1 KiB  301 MiB  7.3 TiB  0.00  1.00    1      up
130    hdd  7.27739   1.00000  7.3 TiB  353 MiB   48 MiB    4 KiB  305 MiB  7.3 TiB  0.00  1.01    1      up
131    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    0      up
142    hdd  7.27739   1.00000  7.3 TiB  352 MiB   48 MiB    2 KiB  304 MiB  7.3 TiB  0.00  1.01    2      up
                        TOTAL  1.0 PiB   49 GiB  6.9 GiB  330 KiB   42 GiB  1.0 PiB  0.00                   
MIN/MAX VAR: 0.97/1.26  STDDEV: 0

答案1

根据您的ceph osd df输出,OSD 的数据库也占用了一些空间。以下是空集群的示例,集群中只有 3 个 OSD,每个 OSD 的大小为 15 GB,没有数据:

$ ceph osd df
ID  CLASS  WEIGHT   REWEIGHT  SIZE    RAW USE  DATA     OMAP  META   AVAIL    %USE   VAR   PGS  STATUS
 0    hdd  0.01500   1.00000  15 GiB  6.0 GiB  5.9 MiB   0 B  1 GiB  9.0 GiB  40.03  1.00    1      up
 1    hdd  0.01500   1.00000  15 GiB  6.0 GiB  5.9 MiB   0 B  1 GiB  9.0 GiB  40.03  1.00    1      up
 2    hdd  0.01500   1.00000  15 GiB  6.0 GiB  5.9 MiB   0 B  1 GiB  9.0 GiB  40.03  1.00    1      up
                       TOTAL  45 GiB   18 GiB   18 MiB   0 B  3 GiB   27 GiB  40.03

$ ceph df
--- RAW STORAGE ---
CLASS  SIZE    AVAIL   USED    RAW USED  %RAW USED
hdd    45 GiB  27 GiB  15 GiB    18 GiB      40.03
TOTAL  45 GiB  27 GiB  15 GiB    18 GiB      40.03

  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   18 GiB used, 27 GiB / 45 GiB avail
    pgs:     1 active+clean

但尽管没有存储任何数据,原始使用量仍为 18 GB。在您的例子中,每个 OSD 为数据库设备保留了大约 300 MB。您可以检查 perf dump 输出以确认:

$ ceph tell osd.0 perf dump | jq -r '.bluefs.db_total_bytes'
5364506624

或者,使用 cephadm 进入 OSD 守护进程,然后查询值:

$ cephadm enter --name osd.0
$ ceph daemon osd.0 perf dump | jq -r '.bluefs.db_total_bytes'

在我的情况下,每个 OSD 大约需要 5 GB,添加元数据大约需要 6 GB,如您在“RAW USE”列中看到的那样,总计 18 GB RAW USE。

相关内容