我的 ZFS 重复数据删除表目前有多大?

我的 ZFS 重复数据删除表目前有多大?

我阅读了大量有关规划 ZFS 重复数据删除的 RAM 需求的信息。我刚刚升级了文件服务器的 RAM,以支持 ZFS zvol 上的一些非常有限的重复数据删除,我无法在这些 zvol 上使用快照和克隆(因为它们是格式化为不同文件系统的 zvol),但这些 zvol 会包含大量重复数据。

我想确保我添加的新 RAM 能够支持我打算进行的有限重复数据删除。在规划中,我的数字看起来不错,但我希望当然

我该如何告诉当前的我的实时系统上的 ZFS 重复数据删除表 (DDT) 的大小是多少?我读此邮件列表主题但我不清楚他们是如何得到这些数字的。(如果有必要,我可以发布输出,zdb tank但我正在寻找可以帮助其他人的通用答案)

答案1

您可以使用该zpool status -D poolname命令。

输出类似于:

root@san1:/volumes# zpool status -D vol1
  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013

DDT entries 2459286, size 481 on disk, 392 in core

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    2.23M   35.6G   19.0G   19.0G    2.23M   35.6G   19.0G   19.0G
     2     112K   1.75G   1005M   1005M     240K   3.75G   2.09G   2.09G
     4    8.03K    129M   73.8M   73.8M    35.4K    566M    324M    324M
     8      434   6.78M   3.16M   3.16M    4.61K   73.8M   35.4M   35.4M
    16      119   1.86M    811K    811K    2.33K   37.3M   15.3M   15.3M
    32       24    384K   34.5K   34.5K    1.13K   18.1M   1.51M   1.51M
    64       19    304K     19K     19K    1.63K   26.1M   1.63M   1.63M
   128        7    112K      7K      7K    1.26K   20.1M   1.26M   1.26M
   256        3     48K      3K      3K     1012   15.8M   1012K   1012K
   512        3     48K      3K      3K    2.01K   32.1M   2.01M   2.01M
    1K        2     32K      2K      2K    2.61K   41.7M   2.61M   2.61M
    2K        1     16K      1K      1K    2.31K   36.9M   2.31M   2.31M
 Total    2.35M   37.5G   20.1G   20.1G    2.51M   40.2G   21.5G   21.5G

重要的领域是全部的分配的块和全部的引用的块。在上面的例子中,我的重复数据删除率很低。40.2G 存储在 37.5G 的磁盘空间中。或者 235 万个块的空间中存储了 251 万个块。

要获取表的实际大小,请参阅:

DDT 条目 2459286,磁盘上的大小为 481,核心中的大小为 392

2459286*392=964040112字节除以1024和1024可得到:内存 919.3MB

答案2

在阅读了原始电子邮件后@ewwhite答案澄清了这一点,我认为这个问题需要更新的答案,因为上面的答案只涵盖了一半。

作为示例,让我们使用我的池上的输出。我使用了命令zdb -U /data/zfs/zpool.cache -bDDD My_pool。在我的系统上,我需要额外的-U参数来定位池的 ZFS 缓存文件,FreeNAS 将其存储在与正常位置不同的位置;您可能需要或可能不需要这样做。通常先尝试zdb不使用-U,如果出现缓存文件错误,则使用find / -name "zpool.cache"或类似命令来定位所需的文件。

这是我的实际输出,我将其解释如下:

DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M

DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G


DDT histogram (aggregated over all DDTs):

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

这一切意味着什么,并计算出实际的重复数据删除表大小:

输出显示两个子表,一个用于存在重复的块(DDT-sha256-zap-重复)和一个用于不存在重复的块(DDT-sha256-zap-唯一)/。它们下面的第三个表格给出了这两个表格的总计,下面有一个摘要行。只看“总计”行和摘要就可以得到我们所需的信息:

所有出现多次的块的 DDT 大小 (“DDT-sha256-zap-重复”)
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")

唯一块的 DDT 大小 (“DDT-sha256-zap-唯一”)
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")

所有 DDT 条目的总 DDT 统计信息、重复 + 唯一 (“所有 DDT 的汇总 DDT 直方图”)

                    allocated                       referenced
          (= disk space actually used)      (= amount of data deduped 
                                                 into that space)
______   ______________________________   ______________________________
         blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE

 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

概括
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

让我们做一些数字运算。

  • 块计数的工作原理如下:与重复块相关的条目数 = 771295,与唯一块相关的条目数 = 4637966,DDT 表中的总条目数应为 771295+4637966 = 5409261。因此,百万(即二进制百万!)的块数应为 5409261 / (1024^2) = 515.8 万。在摘要中我们发现总计 5.16M 个区块

  • RAM 需求如下:重复块的 771295 个条目每个条目占用 RAM 中的 165 字节,唯一块的 4637966 个条目每个条目占用 RAM 中的 154 字节,因此重复数据删除表现在所需的总 RAM = 841510439 字节 = 841510439 / (1024^2) MBytes = 803 MB =0.78 GB 内存(可以使用“磁盘上的大小”数字以相同的方式计算所使用的磁盘上大小。

    显然,ZFS 正在尝试高效使用磁盘 I/O,并利用 DDT 占用的磁盘空间通常不是问题这一事实。因此,看起来 ZFS 只是为每个条目分配一个完整的 512 字节扇区,或类似的,而不是仅仅 154 或 165 字节,以保持其效率。这可能不包括在磁盘上保存多个副本的任何津贴,而 ZFS 通常会这样做。)

  • 存储的数据总量以及重复数据删除带来的好处:从 DDT 的总体统计数据来看,715 GB(“715G”)的数据仅使用 578 GB(“578G”)的磁盘分配存储空间进行存储。因此,我们的重复数据删除空间节省率为(715 GB 数据)/(去重后使用 578 GB 空间)= 1.237 x,这就是摘要告诉我们的(“dedup = 1.24”)。

相关内容