☰

Linux LUKS 和文件系统的选择

tag-icon • tag-icon linux filesystems luks
Linux LUKS 和文件系统的选择

在 LUKS 加密分区上运行时，哪种文件系统性能最佳？当 LUKS 分区位于 SSD 上时，使用 f2fs 是否有意义，或者设备映射器抽象是否会使 f2fs 的 SSD 优化变得无用？

答案1

有很多建议，但关于使用加密的效率的经验结果却很少。

我发现了一个这样的研究： SSD Linux 基准测试：比较文件系统和加密方法。在下表中，度量是 real/user/sys，最佳结果用绿色表示，而最差结果用红色表示：

点击查看更大图片点击查看更大图片

根据这些结果，作者决定使用密钥长度为 128 位的 aes-xts-plain 模式的 dm-crypt 以及带有 ssd 对齐的 btrfs compress=lzo。

另一篇有用的文章是 Linux 磁盘加密对 Ubuntu 14.04 LTS 的性能影响。研究了三种配置（原有安装选项（无磁盘加密）、使用 LVM 上的 LUKS 进行全磁盘加密方法以及基于 eCryptfs 的主目录加密）在安装过程中的 CPU 使用率。结果总结在下图中，结论是无加密安装平均为 26%，而 LVM 上的 LUKS 和 eCryptfs 加密平均约为 30~31%，因此性能几乎相当。

点击查看大图点击查看更大图片

一篇没有实证结果但有很多好建议的文章是 Linux、SSD 和磁盘加密。我建议阅读这篇文章，这里给出了主要的建议：

  1. 对于 SSD 分区，您至少应该添加挂载选项noatime并nodiratime抑制文件和目录的访问时间记录。
  2. 使用 tmpfs 设置 ramdisk 来存储临时文件。
  3. 更改要使用的磁盘调度程序无操作或者最后期限。
  4. 启用设备级写入缓存
  5. 参数化浏览器以便不使用磁盘缓存。

答案2

我用中低端系统做了一些测试。结果如下。

桌子

总之，加密似乎不会使文件系统的优化变得毫无用处。如您在表中所见，对于 dmcrypt/LUKS (AES256)，F2FS文件系统的速度比EXT4几乎所有默认情况下更快的场景（即没有加密）都要快。有点令人惊讶的是，在没有加密的情况下，它也提供了明显的好处 - 即Bonnie++ Sequential Output (Per char)和Flexible I/O Tester Sequential Read测试。

对于同样的场景，它在两项测试（顺序写入 - Bonnie++ 和 FIO）中也较慢，但不是很多无论如何都会比较慢。您的里程可能会有所不同。

由于时间有限，我没有使用 AES-128 位测试 EXT4，因为这对于这个答案来说并不重要。

注意：我在使用 AES-128bits 进行测试时观察到非常大、奇怪的偏差。大多数测试中变化高达 15%，甚至在一次测试中变化高达 37% (!)。不知道为什么。在测试期间我没有将系统用于其他任何用途。系统 (root) 本身使用 AES-256 加密，因此我可以想到一个涉及 CPU 管道/opcache 的假设解释，但是……现在真的还不能确定。（从实时 CD 进行测试时也会发生这种情况，而无需解锁 AES-256bit 分区，所以这不是原因）。

其他地方的偏差保持在 3.6% 以下（典型值为 1.4%）。我采用 4% 的误差幅度。因此，对于这些结果，小于 4% 的差异应被忽略。

测试设置：

SSD: Kingston SV300S37A/120G
Mainboard: ASUS Sabertooth 990FX R2.0
CPU: AMD FX-6350 @ stock
Kernel version: 4.11.3
IO Scheduler: CFQ
All tests were run using an 80GB secondary partition.

ASCII 格式的结果表（省略被视为“不相关”的差异）：

                                                                                                                |+===================================+| 
                                                                                                                ||            % Change               ||
                                      |+=====================+=====================+=================+|         ||--------+--------+--------+--------||
                                      ||   (no encryption)   |       AES-256       |    AES-128      ||         ||   F2FS / EXT4   |Crypto / NoCrypto||
|+============+========================+----------+----------+----------+----------+------+----------||=========||--------+--------+--------+--------+|
|| Test suite | Test Method            | EXT4     | F2FS     | EXT4     | F2FS     | EXT4 | F2FS     || Unit    ||nocrypto| aes256 | aes128 | aes256 ||
|+------------+------------------------+----------+----------+----------+----------+------+----------++---------++--------+--------+--------+--------+|
|| Manual     | Read                   | 390.6    | 391.59   | 320      | 325.6    | -    | 345.36   || MiB/s   ||        |        | -11.81 | -16.85 ||
||(cp and dd) | Write (zeros)          | 501.96   | 517.17   | 96.9     | 96.7     |      | 112.16   || MiB/s   ||        |        | -78.31 | -81.30 ||
||            | Write (random data)    | 100.44   | 97.99    | 91.8     | 89.5     |      | 97.64    || MiB/s   ||        |        |        | -08.66 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
||            | Seq. Output – Per char | 80.68    | 83.76    | 63.56    | 80.59    | -    | 75.56    || MiB/s   ||        | +26.79 | -09.79 |        ||
||            | Seq. Output – Block    | 498.92   | 492.42   | 104.74   | 101.13   |      | 90.9     || MiB/s   ||        |        | -81.54 | -79.46 ||
|| Bonnie++   | Seq. Output – Rewrite  | 196.4    | 198.99   | 74.69    | 70.8     |      | 70.27    || MiB/s   ||        | -05.21 | -64.69 | -64.42 ||
||            | Seq. Input - Per char  | 86.93    | 86.04    | 84.01    | 81.25    |      | 87.84    || MiB/s   ||        |        |        | -05.57 ||
||            | Seq. Input – Block     | 352.57   | 355.99   | 286.36   | 289.24   |      | 304.5    || MiB/s   ||        |        | -14.46 | -18.75 ||
||            | Random seeks           | 9452.9   | 9102.2   | 8142.3   | 8224.8   |      | 7431.4   || ops/s   ||        |        | -18.36 | -09.64 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
|| Fs-mark    | 1000 files, 1 thread   | 193.7    | 236.6    | 93.6     | 103.7    | -    | 73.9     || files/s || +18.13 | +10.79 | -68.77 | -56.17 ||
||            | 5000 files, 4 threads  | 310.1    | 348.8    | 90.9     | 99       |      | 91.6     || files/s || +11.10 | +08.91 | -73.74 | -71.62 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
||            | Random read            | 56.77    | 69.86    | 58.79    | 63.51    |      | 61.93    || MiB/s   ||        |        |        |        ||
||            |                        | 14188    | 17461    | 14695    | 15874    |      | 15479    || IOPS    || +23.07 | +08.02 | -11.35 | -09.09 ||
|| Flexible   |                        |          |          |          |          | -    |          ||         ||        |        |        |        ||
|| I/O        | Random write           | 59.91    | 78.99    | 52.2     | 63.75    |      | 67.75    || MiB/s   ||        |        |        |        ||
|| Tester     |                        | 14973    | 19745    | 13046    | 15935    |      | 16934    || IOPS    || +31.87 | +22.14 | -14.24 | -19.30 ||
||            |                        |          |          |          |          |      |          ||         ||        |        |        |        ||
||            | Sequential read        | 284.02   | 247.57   | 95.14    | 95.17    |      | 95.98    || MiB/s   ||        |        |        |        ||
||            |                        | 71001    | 61889    | 23781    | 23788    |      | 23991    || IOPS    || -12.83 |        | -61.24 | -61.56 ||
||            |                        |          |          |          |          |      |          ||         ||        |        |        |        ||
||            | Sequential write       | 94.06    | 100.77   | 100.63   | 96.56    |      | 86.93    || MiB/s   ||        |        |        |        ||
||            |                        | 23512    | 25188    | 25153    | 24137    |      | 21728    || IOPS    || +07.13 | -04.04 | -13.74 | -04.17 ||
|+------------+------------------------+----------+----------+----------+----------+------+----------++---------++--------+--------+--------+--------+|
_

相关内容