使用 Linux 自制自动分层存储解决方案?(内存 -> SSD -> HDD -> 远程存储)

使用 Linux 自制自动分层存储解决方案?(内存 -> SSD -> HDD -> 远程存储)

相关关于使用 SSD 存储系统和使用 HDD 存储数据的问题,除非我希望我的系统能够自动执行此操作......

是否可以使用最好是免费的开源软件来拥有多层存储并在它们之间自动推送项目?

我知道非常昂贵的企业级解决方案,例如 EMC SAN->EMC 中心自动归档,但我想知道这种分阶段存储是否可以自动完成。

如果能够有多个层就好了:内存->SSD->HDD->较慢的 HDD 或磁带或一些其他存档解决方案。

是否有任何文件系统可以自动执行此操作?(ZFS、Btrfs、HAMMER?)

任何Unix-variants 很好,因为我对它如何工作以及它是否可以移植到 Linux 或其他版本(BSD 等)感兴趣。

答案1

ZFS 使用一种称为混合存储池 (HSP)

  1. 层:记忆
  2. 层:基于 SSD 的读缓存(L2ARC)和写缓存(单独的意图日志,又名 slog)。
  3. 层:(廉价)硬盘

相比仅使用硬盘的解决方案,使用 HSP 可以轻松自动享受 SSD 的优势。使用 HSP 的系统比后者更快、更便宜。参见此链接以获得一些很好的例子和更多的细节。

我认为有计划分层存储管理 (HSM)对于 ZFS(例如参见自动数据迁移 (ADM)我是一个 OpenSolaris 项目,但我不知道它的当前状态。

答案2

看看这个家伙正在策划的基于 LVM 的“lvmts”(LVM 分层存储)解决方案:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

很酷。

答案3

TIER 似乎可以满足您的需求。它是一个可以创建分层存储的 Linux 内核模块。它似乎可以自行学习模式并优化存储中的放置

http://www.lessfs.com/wordpress/?p=776

答案4

用我刚刚发现的东西回答我自己的问题:

我刚刚更新了内核,并查看了新添加的内容, 现在有一个“CACHEFILES”选项它允许将(通常是远程)文件系统缓存到本地文件系统。我想我可以用它将较慢的存储机制(HDD)缓存到较快的存储机制(SSD),至少对于一个层次结构来说是这样。

相关内容