使用 LVM 和 dm-crypt 进行修剪

使用 LVM 和 dm-crypt 进行修剪

我尝试按照本教程在 ubuntu 13.04 上使用 LVM 和 dm-crypt 设置 TRIM:

http://blog.neutrino.es/2013/howto-properly-activate-trim-for-your-ssd-on-linux-fstrim-lvm-and-dmcrypt/

请参阅下面有关我的配置和测试过程的注释。

问题

  1. 有没有可靠的测试TRIM是否正常工作?

  2. 是我的测试程序错误还是我的 TRIM 不起作用?

  3. 如果它不起作用:我的设置有什么问题?

  4. 如何调试 TRIM 的设置并使 TRIM 正常工作?

配置

这是我的配置:

cat /etc/crypttab

sda3_crypt UUID=[...] none luks,discard

cat /etc/lvm/lvm.conf

# [...]
devices  {
      # [ ... ]
      issue_discards = 1
      # [ ... ]
   }
# [...]

SSD是三星840 Pro。

这是我的测试程序

为了测试我刚刚所做的设置,sudo fstrim -v /结果是

/: [...] bytes were trimmed

再次执行此操作的结果/: 0 bytes were trimmed似乎是有道理的,并表明 TRIM 似乎有效。

然而后来我做了这个测试:

dd if=/dev/urandom of=tempfile count=100 bs=512k oflag=direct

sudo hdparm --fibmap tempfile                                 

tempfile:
 filesystem blocksize 4096, begins at LBA 0; assuming 512 byte sectors.
 byte_offset  begin_LBA    end_LBA    sectors
           0    5520384    5521407       1024
      524288    5528576    5529599       1024
     1048576    5523456    5525503       2048
     2097152    5607424    5619711      12288
     8388608    5570560    5603327      32768
    25165824    5963776    5980159      16384
    33554432    6012928    6029311      16384
    41943040    6275072    6291455      16384
    50331648    6635520    6639615       4096

sync

sudo hdparm --read-sector 5520384 /dev/sda                    

/dev/sda:
reading sector 5520384: succeeded
7746 4e11 bf42 0c93 25d3 2825 19fd 8eda
bd93 8ec6 9942 bb98 ed55 87eb 53e1 01d5
c61a 3f52 19a1 0ae5 0798 c6e2 39d9 771a
b89f 3fc5 e786 9b1d 3452 d5d7 9479 a80d
114a 7528 a79f f475 57dc aeaf 25f4 998c
3dd5 b44d 23bf 77f3 0ad9 8688 6518 28ee
81db 1473 08b5 befe 8f2e 5b86 c84e c7d2
1bdd 1065 6a23 fd0f 2951 d879 e823 021b
fa84 b9c1 eadd 9154 c9f4 2ebe cd70 64ec
75a8 4d93 c8fa 3174 7277 1ffb e858 5eca
7586 8b2e 9dbc ab12 40ab eb17 8187 e67d
5e0d 0005 5867 b924 5cfd 6723 9e4a 6f5f
99a4 a3b0 eeac 454a 83b6 c528 1106 6682
ca77 4edf 2180 bf0c b175 fabb 3d4b 37e2
b834 9e3e 82f2 2fdd 2c6a c6ca 873f e71e
f979 160f 5778 356f 2aea 6176 46b6 72b9
f76e ee51 979c 326b 1436 7cfe f677 bfcd
4c3c 9e11 4747 45c1 4bb2 4137 03a1 e4c8
e9dd 43b4 a3b4 ce1b d218 4161 bf64 727b
75d8 dcc2 e14c ebec 2126 25da 0300 12bd
6b1a 28b3 824f 3911 c960 527d 97cd de1b
9f08 9a8e dcdc e65f 1875 58ca be65 82bf
e844 50b8 cc1b 7466 58b8 e708 bd3d c01f
64fb 9317 a77a e43b 671f e1fb e328 93a9
c9c7 291c 56e0 c6c1 f011 b94d 9dc7 71e6
c8b1 5720 b8c9 b1a6 14f1 7299 9122 912b
312a 0f2f a31a 8bf9 9f8c 54e6 96f3 60b8
04a7 7dc9 3caa db0a a837 e5d7 2752 b477
c22d 7598 44e1 84e9 25d4 5db5 9f19 f73b
85a0 c656 373a ec34 55fb e1fc 124e 4674
1ba8 1a84 6aa4 7cb5 455e f416 adc6 a125
c4d4 8323 4eee 2493 2920 4e38 524c 1981

sudo rm tempfile

sync

sudo fstrim /

sync

sudo hdparm --read-sector 5520384 /dev/sda

/dev/sda:
reading sector 5520384: succeeded
7746 4e11 bf42 0c93 25d3 2825 19fd 8eda
bd93 8ec6 9942 bb98 ed55 87eb 53e1 01d5
c61a 3f52 19a1 0ae5 0798 c6e2 39d9 771a
b89f 3fc5 e786 9b1d 3452 d5d7 9479 a80d
114a 7528 a79f f475 57dc aeaf 25f4 998c
3dd5 b44d 23bf 77f3 0ad9 8688 6518 28ee
81db 1473 08b5 befe 8f2e 5b86 c84e c7d2
1bdd 1065 6a23 fd0f 2951 d879 e823 021b
fa84 b9c1 eadd 9154 c9f4 2ebe cd70 64ec
75a8 4d93 c8fa 3174 7277 1ffb e858 5eca
7586 8b2e 9dbc ab12 40ab eb17 8187 e67d
5e0d 0005 5867 b924 5cfd 6723 9e4a 6f5f
99a4 a3b0 eeac 454a 83b6 c528 1106 6682
ca77 4edf 2180 bf0c b175 fabb 3d4b 37e2
b834 9e3e 82f2 2fdd 2c6a c6ca 873f e71e
f979 160f 5778 356f 2aea 6176 46b6 72b9
f76e ee51 979c 326b 1436 7cfe f677 bfcd
4c3c 9e11 4747 45c1 4bb2 4137 03a1 e4c8
e9dd 43b4 a3b4 ce1b d218 4161 bf64 727b
75d8 dcc2 e14c ebec 2126 25da 0300 12bd
6b1a 28b3 824f 3911 c960 527d 97cd de1b
9f08 9a8e dcdc e65f 1875 58ca be65 82bf
e844 50b8 cc1b 7466 58b8 e708 bd3d c01f
64fb 9317 a77a e43b 671f e1fb e328 93a9
c9c7 291c 56e0 c6c1 f011 b94d 9dc7 71e6
c8b1 5720 b8c9 b1a6 14f1 7299 9122 912b
312a 0f2f a31a 8bf9 9f8c 54e6 96f3 60b8
04a7 7dc9 3caa db0a a837 e5d7 2752 b477
c22d 7598 44e1 84e9 25d4 5db5 9f19 f73b
85a0 c656 373a ec34 55fb e1fc 124e 4674
1ba8 1a84 6aa4 7cb5 455e f416 adc6 a125
c4d4 8323 4eee 2493 2920 4e38 524c 1981

这似乎表明 TRIM 不起作用。自从

sudo hdparm -I /dev/sda | grep -i TRIM                        
       *    Data Set Management TRIM supported (limit 8 blocks)
       *    Deterministic read ZEROs after TRIM

编辑

这是输出sudo dmsetup table

lubuntu--vg-root: 0 465903616 linear 252:0 2048
lubuntu--vg-swap_1: 0 33308672 linear 252:0 465905664
sda3_crypt: 0 499222528 crypt aes-xts-plain64 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 0 8:3 4096 1 allow_discards

这是我的/etc/fstab

# <file system> <mount point>   <type>  <options>       <dump>  <pass>
/dev/mapper/lubuntu--vg-root /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda2 during installation
UUID=f700d855-96d0-495e-a480-81f52b965bda /boot           ext2    defaults        0       2
# /boot/efi was on /dev/sda1 during installation
UUID=2296-2E49  /boot/efi       vfat    defaults        0       1
/dev/mapper/lubuntu--vg-swap_1 none            swap    sw              0       0
# tmp
tmpfs /tmp tmpfs nodev,nosuid,noexec,mode=1777          0       0 

编辑:

我最终将其报告为错误https://bugs.launchpad.net/ubuntu/+source/lvm2/+bug/1213631

希望有人能在那里找到解决方案,或者至少测试设置并验证错误。

更新

现在可以了,请参阅已接受的答案。

答案1

我建议使用不同的测试方法。hdparm有点奇怪,因为它提供设备地址而不是文件系统地址,并且它没有说明这些地址与哪个设备相关(例如,它解析分区,但不解析 devicemapper 目标等)。使用与文件系统地址相关的东西要容易得多,这样它是一致的(也许除了像 zfs/btrfs 这样的非传统文件系统)。

创建一个测试文件:(不是故意随机的)

# yes | dd iflag=fullblock bs=1M count=1 of=trim.test 

获取地址、长度和块大小:(具体命令取决于filefrag版本)

# filefrag -s -v trim.test
File size of trim.test is 1048576 (256 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0    34048             256 eof
trim.test: 1 extent found

获取设备和挂载点:

# df trim.test
/dev/mapper/something  32896880 11722824  20838512   37% /mount/point

通过此设置,您将拥有一个在地址上trim.test填充了yes-pattern且长度为字节块的文件。/dev/mapper/something340482564096

直接从设备读取应该产生yes- 模式:

# dd bs=4096 skip=34048 count=256 if=/dev/mapper/something | hexdump -C
00000000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*
00100000

如果启用 TRIM,则当您删除文件时,此模式应该会更改。请注意,还需要删除缓存,否则dd将无法从磁盘重新读取数据。

# rm trim.test
# sync
# fstrim -v /mount/point/ # when not using 'discard' mount option
# echo 1 > /proc/sys/vm/drop_caches
# dd bs=4096 skip=34048 count=256 if=/dev/mapper/something | hexdump -C

在大多数 SSD 上,这会导致零模式:

00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00100000

如果涉及加密,您将看到一个随机模式:

00000000  1f c9 55 7d 07 15 00 d1  4a 1c 41 1a 43 84 15 c0  |..U}....J.A.C...|
00000010  24 35 37 fe 05 f7 43 93  1e f4 3c cc d8 83 44 ad  |$57...C...<...D.|
00000020  46 80 c2 26 13 06 dc 20  7e 22 e4 94 21 7c 8b 2c  |F..&... ~"..!|.,|

这是因为经过物理修剪,加密层读取零并将这些零解密为“随机”数据。

如果yes- 模式仍然存在,则很可能没有进行任何修剪。

答案2

这只是一个脚本,如果有懒惰的人来到这里,我想分享一下。它是由接受的答案弗罗斯特舒茨

#!/bin/bash
#
# 本脚本按“原样”提供,不附有任何明示或暗示的保证,包括但不限于适销性、特定用途的适用性或不侵权的暗示保证。
#
# 许可证 GPL2
#
# 由德斯瓜 2014/04/29

功能清洁{
cd“$面食”
[ -f test-trim-by-desgua ] && rm test-trim-by-desgua && echo "临时文件已删除"
回声“再见”
出口0
}

陷阱回声;回声“已中止”。 ;干净的;回声;退出 0' INT HUP

if [[ "$(echo $USER)" != "root" ]];然后

read -n 1 -p '成为root? [是/否]'a
    如果 [[ $a == "Y" || $a == "y" || $a == "" ]];然后
        须藤 $0 $1
        出口0
    别的
        回声”
        该脚本需要root权限。
        1号出口




name=$(echo $0 | sed 's/.*\///')
如果 [ $# -ne 1 ];然后

回声”
用法:$名称/文件夹/到/测试/

1号出口

意大利面=1美元

读取 -n 1 -p '使用 fstrim? [是/否]'a
如果 [[ $a == "Y" || $a == "y" ]];然后
    FS=1

方法=
while [[ "$method" != "1" && "$method" != "2" ]];做
read -n 1 -s -p '选择一个方法:
[1] hdparm(在 LVM 上的 LUKS 中将失败)
[2] filefrag(警告:您可能必须强制退出 - 关闭终端 - 在某些成功修剪的情况下,如果您看到永不结束的输出)
' 方法
完毕

函数 SDATEST {
磁盘=$(fdisk -l | grep /dev/sda)
if [ "$disk" == "" ];然后
回声”
fdisk 未找到 /dev/sda
1号出口
}

功能测试 {
echo "正在输入/" ;回声
cd $面食
echo "在 $pasta 创建文件 test-trim-by-desgua" ;回声
dd if=/dev/urandom of=test-trim-by-desgua 计数=10 bs=512k
echo“正在同步并休眠 2 秒。” ;回声
同步
睡觉2

hdparm --fibmap 测试修剪-by-desgua
lbab=$(hdparm --fibmap test-trim-by-desgua | tail -n1 | awk '{ print $2 }')

echo "如您所见,文件已创建,其 LBA 从 $lbab 开始" ;回声

echo“正在同步并休眠 2 秒。” ;回声
同步
睡觉2

echo "正在删除文件 test-trim-by-desgua" ;回声
rm 测试修剪 by desgua

陷阱回声;回声;回声“已中止”。 ;回声;退出 0' INT
echo“正在同步并休眠 2 秒。” ;回声
同步
睡觉2

如果[[“$fs”==“1”]];然后
    echo "fstrim $pasta && sleep 2" ;回声
    fstrim $意大利面
    睡觉2

echo "这是从扇区 $lbab 读取的:"
hdparm --读取扇区 $lbab /dev/sda

pass=$(hdparm --read-sector $lbab /dev/sda | grep "0000 0000 0000 0000")

如果 [[ $pass == "" ]];然后
    回声”
修剪失败...
您应该只看到 0000 0000 0000 0000 ...
别的
    回声“成功!!!”
出口0

}

函数LUKSTEST {
# 参考:https://unix.stackexchange.com/questions/85865/trim-with-lvm-and-dm-crypt#
echo 1 > /proc/sys/vm/drop_caches
cd $面食
echo“正在创建一个“是”文件。”
是的 | dd iflag=fullblock bs=1M count=1 of=test-trim-by-desgua

#position=`filefrag -s -v test-trim-by-desgua | grep “eof”| awk '{ print $3 }'`
位置=`filefrag -s -v test-trim-by-desgua | grep “eof”| sed 的| ||克; s|.*255:|| ; s|\.\..*||'`
[[ "$position" == "" ]] && echo "无法找到文件的位置。您是否在 LVM 上使用 LUKS?" && 干净的;

设备=`df test-trim-by-desgua | grep“dev/”| awk '{ 打印 $1 }'`

yes=`dd bs=4096 跳过=$位置计数=256 if=$设备 |十六进制转储-C`

echo "在下一行中,您应该看到如下模式:
00000000 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a |yyyyyyyy|
$是的

if [[ "`echo "$yes" | grep "yyy"`" == "" ]];然后
    echo“无法检查模式。出了问题。正在退出。”
    干净的;
别的
    echo“模式已确认。”

echo“删除临时文件。”
rm 测试修剪 by desgua

回显“正在同步”。
同步
睡觉 1

如果[[“$fs”==“1”]];然后
    echo "fstrim -v $pasta && sleep 2" ;回声
    fstrim -v $意大利面
    睡觉2

# 删除缓存
echo 1 > /proc/sys/vm/drop_caches

echo "在下一行中,您不应该看到类似以下的 yes 模式:
00000000 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a 79 0a |yyyyyyyy|
如果您看到,则修剪不起作用:
`dd bs=4096 跳过=$位置计数=256 if=$device |十六进制转储-C`"

yes=`dd bs=4096 跳过=$位置计数=256 if=$设备 |十六进制转储-C`
if [[ "`echo "$yes" | grep "yyy"`" != "" ]];然后
    echo“修剪不工作。”
别的
    echo “TRIM 正在工作!”
干净的;
}

if [[ "$method" == "1" ]];然后
    数据测试;
    测试;
elif [[ "$method" == "2" ]];然后
    运气测试;
出口0

答案3

您的测试例程是错误的 - 您获取的是相对于文件系统所在的块设备的扇区号 - 在本例中,块设备是逻辑卷。当然,逻辑卷并不从物理卷的第一个扇区开始(甚至可能不连续)。

即使逻辑卷从物理卷的扇区 0 开始(事实并非如此),那么物理卷实际上是另一个设备映射器目标,这个目标用于加密。前面可能有一个 LUKS 标头,因此扇区号也不匹配。

如果您想将扇区号映射到底层磁盘,dmsetup tables将为您提供所需的信息。如果您将其粘贴到此处,请确保您的版本不会在输出中显示密钥(它应该显示全 0)! (有没有恢复泄露密钥——它无法改变——这比泄露密码要糟糕得多)。

我建议要调试(一旦确定了扇区映射),您从最低级别开始,并确认它在那里工作。直接在 /dev/sdaX 上修剪文件系统并确保其正常工作(设备很可能在撒谎,并且修剪不会读回零)。然后在其之上进行 dm-crypt,并修剪其上的文件系统,并确保其正常工作。最后,将 LVM 放在上面,并检查是否有效。

相关内容