zfs-l2arc

zfs:刷新缓存但不导出
zfs-l2arc

zfs:刷新缓存但不导出

为了测试,我需要 zfs 的缓存是冷的。 我可以通过移除缓存磁盘、导出和导入池来清除池中的缓存。这可以达到我想要的效果。但我真的不想导出池。 有没有不那么激烈的方法来达到同样的效果? 我所寻找的是相当于: echo 3 > /proc/sys/vm/drop_caches 它满足我对 ext4 的要求。 背景 我可以用不同的方式运行我的算法。我不关心最佳情况下的性能。我做关心最坏情况下的性能。最坏情况是冷数据(很久以前接触过的数据,不再存在于 ARC/L2ARC 中)。 为了选择最佳的算法运行方式,我需要能够在同一个测试集上运行。而且这个测试集必须是...

Admin

ZFS l2arc 无法预热
zfs-l2arc

ZFS l2arc 无法预热

我的设置有 256 GB 的 RAM,其中 200 GB 专用于 arc,还有 2 个 SSD 用于 l2arc。它已经运行了好几天,并稳定地为许多客户端提供文件,但似乎 l2arc 仍未正确预热。缓存报告显示zpool iostat -v: cache - - - - - - sdy 4.84G 889G 0 0 203 819 sdz 4.84G 889G 0 0 202 826 ...

Admin

AMD Optane 替代品
zfs-l2arc

AMD Optane 替代品

我希望我的 Ryzen 版本具有 Optane 功能:高 TBW 和高 I/O。磁盘空间无关紧要(例如 MEMPEK1W064GA,64GB 对我来说就足够了)。如果我可以充分利用空闲的 PCIe 4.0 通道,那就太好了。现在我有一个 PCIe 3.0 x4 NVMe 0.5TB 主磁盘,这对我的数据来说已经足够了,但使用类似 Optane 的磁盘,我可以加快缓存速度(Swap / L2ARC / ZIL / pagefile.sys / 等)并且不会浪费我当前磁盘的有限资源。我可以使用什么? 是的,我知道 Optane 具有完整的硬件功能(不仅是 PCI...

Admin

无法将缓存设备重新添加到 zpool
zfs-l2arc

无法将缓存设备重新添加到 zpool

我有一个缓存设备由于错误而从 zfs 阵列中掉出来了。我非常确定是我搞错了什么 - 弄乱了电缆之类的。检查结果正常,而且它只是一个缓存设备。当我尝试重新添加它时,它失败并出现以下错误: # zpool add array cache /dev/sdj2 cannot add to 'array': one or more vdevs refer to the same device 有没有办法从 zpool 数组中删除引用,以便我可以重新添加它?我试过删除: # zpool remove array /dev/sdj2 cannot remove /...

Admin

免费使用 ZFS L2ARC
zfs-l2arc

免费使用 ZFS L2ARC

我最近升级了工作站的 SSD,所以现在我有 2x256GB SSD 闲置。我正在考虑将它们用作 NAS 上的 L2ARC 磁盘。 但是我的 NAS 只有 12GB 的 RAM 和 8TB 的磁盘空间(RAID-Z 中为 5x2TB)。我读到过,在低端服务器中使用 L2ARC 可能会损害性能而不是提高性能,因为每 100GB 的 L2ARC 会消耗 1-2GB 的 ARC。如果这是真的,那就意味着 12GB 中的 10GB 会被浪费掉,对吗? 我考虑过的另一件事是将其中一个 SSD 用作 ZIL 磁盘。NAS...

Admin

诊断 ZFS 缓存需求
zfs-l2arc

诊断 ZFS 缓存需求

我的机器上有一台受磁盘 IO 限制的特殊负载,主要是读取。 大部分 IO 发生在使用 ZFS 格式化的慢速网络连接磁盘上。 使用 iostat 我可以清楚地看到这些磁盘的使用率约为 100%,因此,至少我知道这是瓶颈。 此外,我发现我主要在那些磁盘上进行读取操作。 慢盘大概有3T左右。 我很乐观,安装了 L2ARC 缓存,使用后zpool iostat我看到了类似这样的内容: pool alloc free read write read write --------------...

Admin

如果主要数据已经在 SSD 上,是否还需要 ZFS L2ARC?
zfs-l2arc

如果主要数据已经在 SSD 上,是否还需要 ZFS L2ARC?

我正在尝试根据我的工作负载(同一台物理机器上的 Postgres 和文件服务器 [1])调整 Linux 上的 ZFS,并想了解我是否真的需要 L2ARC。 如果在https://www.zfsbuild.com/2010/04/15/explanation-of-arc-and-l2arc/ (写于 2010 年,我猜那时 SSD 很贵),是正确的,我不应该禁用 L2ARC 吗?如果 ARC 上发生缓存未命中,则从 L2ARC 和主数据集读取将花费相同的时间(两者都是 SSD)。我的理解正确吗? 相关问题——如何检查 L2ARC 的摘要?我认为没有a...

Admin

用于 ZFS L2ARC 的 SSD 中是否存在脱机无法纠正的扇区?
zfs-l2arc

用于 ZFS L2ARC 的 SSD 中是否存在脱机无法纠正的扇区?

我有两个企业级 SSD,已经L2ARC在OpenZFS池中使用了几年。这段时间的工作流程相当繁重,有大量的读写操作,为客户提供视频进行视频后期制作。 最近,收到了一些有关 L2ARC SSD 的严重警报: CRITICAL: Oct. 22, 2018, 6:12 p.m. - Device: /dev/da0 [SAT], 215869351264256 Offline uncorrectable sectors CRITICAL: Oct. 22, 2018, 6:12 p.m. - Device: /dev/da1 [SAT], 174264003...

Admin

我应该如何使用新的 Optum 驱动器?
zfs-l2arc

我应该如何使用新的 Optum 驱动器?

我有一个由 7 个不同年份的 2TB HDD 组成的 zpool,雷兹设置。目前,没有配置 ZIL 或 L2ARC 设备。服务器有 12GB RAM,没有交换。 池中的不同文件系统包括/var/spool/imap和/var/db/pgsql。用户不多——只是家庭成员,但有时使用率可能很高,比如当重新训练反垃圾邮件数据库时(读取 Cyrus-IMAP 下的“垃圾邮件”文件夹并提供给 PostgreSQL DB),或者当自由文本搜索遍历所有 IMAP 消息时。 我以优惠的价格买到了一台新的英特尔 Quantum 32GB 设备,我想知道如何最好地使用它。一...

Admin

在我的 ZFS 盒中,为什么我的缓存设备留下了一堆可用空间?
zfs-l2arc

在我的 ZFS 盒中,为什么我的缓存设备留下了一堆可用空间?

我有一个 ZFS 系统,为许多虚拟机提供服务。在其中,我们安装了 12 个 4TB SAS 磁盘,并将它们配置为镜像。我们添加了两个 PCI-E SSD(三星 960,每个 512GB),但它们的消耗量都刚好超过 50%,而不是缓存所有可以缓存的数据。我们消耗的存储空间很多,但 SSD 只占了大约一半。 系统是 CentOS 7 盒,带有 Linux 版本 0.6.5.9-1.el7_3.centos 上的 ZFS。 以下是 zpool iostat 的快照: ...

Admin

使用 dtrace 跟踪 Solaris 上 ZFS 中哪些块经过 L2ARC
zfs-l2arc

使用 dtrace 跟踪 Solaris 上 ZFS 中哪些块经过 L2ARC

我和我的同事正在尝试跟踪 OpenZFS 中 L2ARC 的读取/写入。我们需要块偏移量、IO 类型(读取/写入)和请求的设备 ID。请注意,我们不需要 L2ARC 设备中的偏移量,而是需要原始存储设备的偏移量/设备 ID,以便模拟哪些存储块经过 L2ARC 缓存。 浏览 OpenZFS 源代码(github.com/openzfs/openzfs/blob/master/usr/src/uts/common/fs/zfs/arc.c)并使用 Brendan 的 dtrace 教程(dtrace.org/blogs/brendan/2012/01/09/a...

Admin

Linux 和 KVM 上的 ZFS:主机的 NUMA 节点
zfs-l2arc

Linux 和 KVM 上的 ZFS:主机的 NUMA 节点

我对在多插槽系统上在 Linux 上的 ZFS 下的 zvols 上使用 KVM 映像感兴趣。我想知道我应该如何固定 NUMA 节点,以便最大限度地发挥 ZFS ARC 缓存对系统上所有 KVM 映像的优势。显然,我应该将每个 VM 固定到一个插槽/节点,以便其所有内存都在一个控制器上。但我对如何设置主机以使 ARC 最大限度地惠及每个 VM 感到困惑。 似乎合乎逻辑的是,如果我将主机保留在一个 NUMA 节点上,则意味着另一个节点上的虚拟机访问 ARC 的速度会更慢。但是,如果主机分布在 NUMA 节点上,其性能将受到影响,这可能会损害客户机的性能。 ...

Admin

在 Solaris 11.3 上启动 ZFS L2ARC 缓存
zfs-l2arc

在 Solaris 11.3 上启动 ZFS L2ARC 缓存

有没有一个好的方法可以在 Solaris 11.3 上启动 ZFS L2ARC 缓存? L2ARC 的设计目的是忽略已从文件中顺序读取的块。这对于正在进行的操作很有意义,但很难为初始预热或基准测试准备好缓存。 此外,高度碎片化的文件可能会从 L2ARC 中缓存的顺序读取中受益匪浅(因为在磁盘上它们是随机读取),但使用当前的启发式方法,即使 L2ARC 只占 10%,这些文件也永远不会被缓存。 在 Solaris 10 和 11 的先前版本中,我成功地dd对每个文件连续使用了两次。第一次dd将文件读入 ARC,第二次dd似乎触发了缓冲区,因此它们有资格进...

Admin

freenas zfs 读取性能很差..为什么?
zfs-l2arc

freenas zfs 读取性能很差..为什么?

我刚刚设置了一个带有 4 个 SATA 企业级驱动器的 freenas zfs raid-z2,并进行了一些性能测试。现在我正在将 Linux 映像推送和拉入存储。我的笔记本配有三星 840pro ssd,本地读写速度为 400MB/s。使用 Samba4。 我可以以平均 105 MB/s 的速度连续写入。我印象深刻,考虑到 1Gb/s 局域网,这真的很棒。 但是读取速度相当慢,网络 io 从几 kB 跳到 30MB/s,平均大约 10MB/s。添加 l2arc 也无济于事。 有什么想法,为什么阅读性能这么差?这是正常的吗? ...

Admin

使用 SATA III SSD 作为 ZFS 池
zfs-l2arc

使用 SATA III SSD 作为 ZFS 池

我正在考虑构建一个针对随机访问(PostgreSQL 数据库)优化的 ZFS 服务器。我认为我有两个选择: 使用由 Crucial M500 960 GB SATA III SSD 组成的池。企业级 SAS SSD 的价格并不划算,其价格可能是 SATA III 同类产品的 10 倍。 使用由 15K SAS HDD 组成的池。(相比之下,企业级 SAS HDD 和普通 SATA III HDD 之间的价格差异要小得多,因此购买 SAS HDD 仍然是合理的。) 我的问题是: SATA III SSD 与 15k SAS HDD:大多数反对 SA...

Admin