我想删除一些“虚假”数据:
root@XX03:/# ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 1.0 PiB 1.0 PiB 47 GiB 47 GiB 0
TOTAL 1.0 PiB 1.0 PiB 47 GiB 47 GiB 0
--- POOLS ---
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
.mgr 1 1 70 MiB 19 209 MiB 0 327 TiB
.nfs 3 32 572 B 4 36 KiB 0 327 TiB
root@XX03:/#
如您所见,没有数据池。47GiB 可能来自我之前用于测试的池/文件系统。
我怎样才能在不影响 OSD 的情况下删除这些“虚假”数据?我检查了“ceph-volume lvm zap”,但我不确定这是否是正确的。
(我正在运行 ceph 版本 quincy 17.2.7)
谢谢,朱利亚诺。
编辑/添加:这里是输出ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
110 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 2 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
111 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
112 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
113 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 3 up
114 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
115 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
116 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
117 hdd 7.27739 1.00000 7.3 TiB 343 MiB 48 MiB 1 KiB 295 MiB 7.3 TiB 0.00 0.98 0 up
118 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 2 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
119 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 1 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
120 hdd 7.27739 1.00000 7.3 TiB 427 MiB 120 MiB 1 KiB 307 MiB 7.3 TiB 0.01 1.22 2 up
143 hdd 7.27739 1.00000 7.3 TiB 347 MiB 48 MiB 2 KiB 299 MiB 7.3 TiB 0.00 0.99 1 up
11 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 2 KiB 305 MiB 7.3 TiB 0.00 1.01 2 up
12 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
13 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 4 KiB 301 MiB 7.3 TiB 0.00 1.00 2 up
14 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
15 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
16 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
17 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
18 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 5 KiB 305 MiB 7.3 TiB 0.00 1.01 3 up
19 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 5 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
20 hdd 7.27739 1.00000 7.3 TiB 358 MiB 48 MiB 2 KiB 310 MiB 7.3 TiB 0.00 1.02 0 up
21 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 2 up
132 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
33 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 2 KiB 310 MiB 7.3 TiB 0.00 1.02 0 up
34 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 4 KiB 297 MiB 7.3 TiB 0.00 0.99 2 up
35 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
36 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 2 up
37 hdd 7.27739 1.00000 7.3 TiB 342 MiB 48 MiB 4 KiB 294 MiB 7.3 TiB 0.00 0.98 1 up
38 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
39 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
40 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 2 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
41 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
42 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
43 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
135 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
66 hdd 7.27739 1.00000 7.3 TiB 362 MiB 48 MiB 3 KiB 314 MiB 7.3 TiB 0.00 1.03 1 up
67 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
68 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 5 KiB 309 MiB 7.3 TiB 0.00 1.02 1 up
69 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 3 KiB 296 MiB 7.3 TiB 0.00 0.98 1 up
70 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 2 KiB 303 MiB 7.3 TiB 0.00 1.00 0 up
71 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 3 KiB 303 MiB 7.3 TiB 0.00 1.00 1 up
72 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 9 KiB 298 MiB 7.3 TiB 0.00 0.99 2 up
73 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
74 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 3 KiB 293 MiB 7.3 TiB 0.00 0.98 1 up
75 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 3 KiB 303 MiB 7.3 TiB 0.00 1.00 1 up
76 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 4 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
138 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
77 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
78 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
79 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 2 KiB 308 MiB 7.3 TiB 0.00 1.02 1 up
80 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
81 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 0 up
82 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
83 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
84 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 2 up
85 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
86 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
87 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.97 1 up
139 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
88 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
89 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 1 up
90 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 1 up
91 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
92 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
93 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
94 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 2 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
95 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
96 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
97 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
98 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 3 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
140 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
0 hdd 7.27739 1.00000 7.3 TiB 338 MiB 48 MiB 0 B 290 MiB 7.3 TiB 0.00 0.97 0 up
1 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
2 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
3 hdd 7.27739 1.00000 7.3 TiB 338 MiB 48 MiB 0 B 290 MiB 7.3 TiB 0.00 0.97 1 up
4 hdd 7.27739 1.00000 7.3 TiB 357 MiB 48 MiB 3 KiB 309 MiB 7.3 TiB 0.00 1.02 1 up
5 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
6 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
7 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
8 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 3 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
9 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
10 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 2 up
133 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
22 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 292 MiB 7.3 TiB 0.00 0.97 3 up
23 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 2 up
24 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 293 MiB 7.3 TiB 0.00 0.98 0 up
25 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
26 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 4 KiB 308 MiB 7.3 TiB 0.00 1.02 2 up
27 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
28 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
29 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 292 MiB 7.3 TiB 0.00 0.97 3 up
30 hdd 7.27739 1.00000 7.3 TiB 341 MiB 48 MiB 1 KiB 294 MiB 7.3 TiB 0.00 0.98 0 up
31 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
32 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 303 MiB 7.3 TiB 0.00 1.00 0 up
134 hdd 7.27739 1.00000 7.3 TiB 431 MiB 120 MiB 1 KiB 310 MiB 7.3 TiB 0.01 1.23 1 up
44 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
45 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
46 hdd 7.27739 1.00000 7.3 TiB 439 MiB 120 MiB 1 KiB 318 MiB 7.3 TiB 0.01 1.26 2 up
47 hdd 7.27739 1.00000 7.3 TiB 350 MiB 48 MiB 2 KiB 302 MiB 7.3 TiB 0.00 1.00 3 up
48 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 2 KiB 298 MiB 7.3 TiB 0.00 0.99 2 up
49 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
50 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 1 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
51 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 2 KiB 297 MiB 7.3 TiB 0.00 0.99 1 up
52 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 2 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
53 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
54 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
136 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
55 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
56 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
57 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
58 hdd 7.27739 1.00000 7.3 TiB 345 MiB 48 MiB 3 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
59 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 0 up
60 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
61 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
62 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 3 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
63 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
64 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 2 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
65 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
137 hdd 7.27739 1.00000 7.3 TiB 351 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
99 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 1 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
100 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
101 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 3 KiB 300 MiB 7.3 TiB 0.00 0.99 1 up
102 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
103 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
104 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
105 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 2 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
106 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 296 MiB 7.3 TiB 0.00 0.98 0 up
107 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 4 KiB 300 MiB 7.3 TiB 0.00 0.99 0 up
108 hdd 7.27739 1.00000 7.3 TiB 348 MiB 48 MiB 1 KiB 300 MiB 7.3 TiB 0.00 0.99 1 up
109 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 2 KiB 308 MiB 7.3 TiB 0.00 1.02 0 up
141 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 1 KiB 292 MiB 7.3 TiB 0.00 0.97 0 up
121 hdd 7.27739 1.00000 7.3 TiB 340 MiB 48 MiB 3 KiB 293 MiB 7.3 TiB 0.00 0.97 0 up
122 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 3 KiB 305 MiB 7.3 TiB 0.00 1.01 0 up
123 hdd 7.27739 1.00000 7.3 TiB 344 MiB 48 MiB 1 KiB 297 MiB 7.3 TiB 0.00 0.99 0 up
124 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 1 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
125 hdd 7.27739 1.00000 7.3 TiB 346 MiB 48 MiB 3 KiB 298 MiB 7.3 TiB 0.00 0.99 0 up
126 hdd 7.27739 1.00000 7.3 TiB 356 MiB 48 MiB 1 KiB 308 MiB 7.3 TiB 0.00 1.02 1 up
127 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
128 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 3 KiB 304 MiB 7.3 TiB 0.00 1.01 1 up
129 hdd 7.27739 1.00000 7.3 TiB 349 MiB 48 MiB 1 KiB 301 MiB 7.3 TiB 0.00 1.00 1 up
130 hdd 7.27739 1.00000 7.3 TiB 353 MiB 48 MiB 4 KiB 305 MiB 7.3 TiB 0.00 1.01 1 up
131 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 0 up
142 hdd 7.27739 1.00000 7.3 TiB 352 MiB 48 MiB 2 KiB 304 MiB 7.3 TiB 0.00 1.01 2 up
TOTAL 1.0 PiB 49 GiB 6.9 GiB 330 KiB 42 GiB 1.0 PiB 0.00
MIN/MAX VAR: 0.97/1.26 STDDEV: 0
答案1
根据您的ceph osd df
输出,OSD 的数据库也占用了一些空间。以下是空集群的示例,集群中只有 3 个 OSD,每个 OSD 的大小为 15 GB,没有数据:
$ ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
0 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
1 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
2 hdd 0.01500 1.00000 15 GiB 6.0 GiB 5.9 MiB 0 B 1 GiB 9.0 GiB 40.03 1.00 1 up
TOTAL 45 GiB 18 GiB 18 MiB 0 B 3 GiB 27 GiB 40.03
$ ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 45 GiB 27 GiB 15 GiB 18 GiB 40.03
TOTAL 45 GiB 27 GiB 15 GiB 18 GiB 40.03
data:
pools: 1 pools, 1 pgs
objects: 0 objects, 0 B
usage: 18 GiB used, 27 GiB / 45 GiB avail
pgs: 1 active+clean
但尽管没有存储任何数据,原始使用量仍为 18 GB。在您的例子中,每个 OSD 为数据库设备保留了大约 300 MB。您可以检查 perf dump 输出以确认:
$ ceph tell osd.0 perf dump | jq -r '.bluefs.db_total_bytes'
5364506624
或者,使用 cephadm 进入 OSD 守护进程,然后查询值:
$ cephadm enter --name osd.0
$ ceph daemon osd.0 perf dump | jq -r '.bluefs.db_total_bytes'
在我的情况下,每个 OSD 大约需要 5 GB,添加元数据大约需要 6 GB,如您在“RAW USE”列中看到的那样,总计 18 GB RAW USE。