如何检查 XFS 上包含引用链接文件的文件夹的磁盘使用情况？

Question 1

感觉应该有一个工具默认可以执行此操作，但我不记得是否有一个。

您可以使用filefrag（通用、FIEMAP ioctl）或使用xfs_bmap（XFS 特定）查询文件范围。这样，您可以选择仅对共享区（重复项）进行一次计数（或根本不计数）。

# filefrag -e -k testfile
Filesystem type is: 58465342
File size of testfile is 5242880 (5120 blocks of 1024 bytes)
 ext:     logical_offset:        physical_offset: length:   expected: flags:
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof
testfile: 1 extent found

在此示例中，filefrag知道并显示范围是共享的（文件系统中的任何位置，不一定在该目录内），但xfs_bmap不会：

# xfs_bmap -l testfile
testfile:
    0: [0..10239]: 192..10431 10240 blocks

但基本上这是您可以用来自己编写脚本的关键要素。

显示所有可能的共享范围：

# find . -xdev -type f -exec filefrag -e -k {} + | grep shared
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof
   0:        0..    5119:       5216..     10335:   5120:             last,shared,eof
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof

共享（目录内重复）范围使用xfs_bmap：

# find . -xdev -type f -exec xfs_bmap -l {} + | grep 'blocks$' | grep -v ': hole' | sort | uniq -d
0: [0..10239]: 192..10431 10240 blocks

请注意，xfs_bmap每个块使用 512 字节，而filefrag使用 1024 字节（带-k选项）或任何文件系统块大小（例如 4096 字节）。

使用以下方式共享重复范围filefrag：

# find . -xdev -type f -exec filefrag -ek {} + | grep shared | sort | uniq -d
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof

因此，在这种情况下，您必须从du -cks .结果中减去 5120。

Answer

感觉应该有一个工具默认可以执行此操作，但我不记得是否有一个。

您可以使用filefrag（通用、FIEMAP ioctl）或使用xfs_bmap（XFS 特定）查询文件范围。这样，您可以选择仅对共享区（重复项）进行一次计数（或根本不计数）。

# filefrag -e -k testfile
Filesystem type is: 58465342
File size of testfile is 5242880 (5120 blocks of 1024 bytes)
 ext:     logical_offset:        physical_offset: length:   expected: flags:
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof
testfile: 1 extent found

在此示例中，filefrag知道并显示范围是共享的（文件系统中的任何位置，不一定在该目录内），但xfs_bmap不会：

# xfs_bmap -l testfile
testfile:
    0: [0..10239]: 192..10431 10240 blocks

但基本上这是您可以用来自己编写脚本的关键要素。

显示所有可能的共享范围：

# find . -xdev -type f -exec filefrag -e -k {} + | grep shared
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof
   0:        0..    5119:       5216..     10335:   5120:             last,shared,eof
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof

共享（目录内重复）范围使用xfs_bmap：

# find . -xdev -type f -exec xfs_bmap -l {} + | grep 'blocks$' | grep -v ': hole' | sort | uniq -d
0: [0..10239]: 192..10431 10240 blocks

请注意，xfs_bmap每个块使用 512 字节，而filefrag使用 1024 字节（带-k选项）或任何文件系统块大小（例如 4096 字节）。

使用以下方式共享重复范围filefrag：

# find . -xdev -type f -exec filefrag -ek {} + | grep shared | sort | uniq -d
   0:        0..    5119:         96..      5215:   5120:             last,shared,eof

因此，在这种情况下，您必须从du -cks .结果中减去 5120。

Question 2

我试图找出我的文件实际使用了多少空间以及与其他文件共享了多少空间。我不确定为什么“total”与相比在某些字节上有所不同du，但最终它似乎返回了我需要的内容：

file="/mnt/cache/domains/Windows 10/vdisk1-backup.img"

du -h "$file"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum total"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | grep "shared" | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum shared"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | grep -v "shared" | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum unique"

输出：

15G     /mnt/cache/domains/Windows 10/vdisk1-backup.img
15G total
8.3G shared
6.8G unique

Answer

我试图找出我的文件实际使用了多少空间以及与其他文件共享了多少空间。我不确定为什么“total”与相比在某些字节上有所不同du，但最终它似乎返回了我需要的内容：

file="/mnt/cache/domains/Windows 10/vdisk1-backup.img"

du -h "$file"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum total"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | grep "shared" | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum shared"

mapfile -t fragments < <( filefrag -ek "$file" | tail -n +4 | grep -v "shared" | cut -d ":" -f 4 | grep -oP "[0-9]+" )
sum=$(IFS=+; echo "$((${fragments[*]}))")
sum=$((sum * 1024))
sum=$(echo "$sum" | numfmt --to=iec)
echo "$sum unique"

输出：

15G     /mnt/cache/domains/Windows 10/vdisk1-backup.img
15G total
8.3G shared
6.8G unique

Question 3

我在 Veeam 社区页面上为此提出了一个解决方案：

固有：

由于我们根据使用 (Veeam) CloudConnect 的客户的实际磁盘使用情况进行计费，因此现有报告无法用于报告和计费（它们报告预重复数据删除/重新链接数据）。花了一段时间才弄清楚，但有一种方法可以计算不可变存储库上每个目录所使用的实际磁盘空间。

解决方案：

使用：https://community.veeam.com/blogs-and-podcasts-57/check-reflink-and-spared-space-on-xfs-repositories-244

我推断了一个脚本，该脚本将给出不可变存储库上每个文件夹（IE：客户端）的磁盘使用情况。这不是“使用的数据”；这就是 Veeam 的报告。这是“已使用的磁盘”。引用链接后磁盘上的实际大小（重复数据仅计算一次）。

关于此脚本的注释；看来原来的博客条目对于块的大小是错误的。他们将其归因于 4096...这在磁盘上是正确的...但所使用的实用程序明确给出了块大小为 512 的信息： https://linux.die.net/man/8/xfs_bmap “512字节块的单位”

要使用此脚本，我们使用 cron 任务并将输出通过管道传输到存储库本身上的邮件客户端（即：script.bash 2>&1 | mail -s“$HOSTNAME 的不可变存储报告”[电子邮件受保护]）

#!/bin/bash

for clientDir in `find /backups/disk-01/backups/ -mindepth 1 -maxdepth 1 -type d`
do
    echo $clientDir
    clientSpaceUsed=$(find $clientDir/*/* -xdev -type f -exec xfs_bmap -l {} + | awk '{ print $3 " " $4 }' | sort -k 1 | uniq | awk '{ print $2 }' | grep -Eo '[0-9]{1,7}' | paste -sd+ | bc | awk '{print $1*512/1024/1024/1024}')
    #block sizes of 512 bytes.  Divided by 1024 for KB.  Divided by 1024 for MB. Divided by 1024 for GB.
    echo "$clientSpaceUsed GB"
done

分解其工作原理：

对于“/backups/disk-01/backups/”中的每个客户端目录

输出正在报告的目录

运行 xfs_bmap -l （这告诉我们有关相关块的所有信息）获取第 3 列和第 4 列（现在变成第 1 列和第 2 列，其余的被丢弃）按第 1 列排序删除重复的数据行（用于快速克隆的引用链接；保留用于计数目的的数据的单个副本）仅选择第 2 列（现在变为第 1 列）

删除除数字以外的任何内容

将这些数字加在一起

乘以块大小 (512)

除以 1024（现在为 KB）

除以 1024（现在为 MB）

除以 1024（现在为 GB）

输出文本

Answer