我的团队目前有两台大型存储服务器，两台都是运行 Debian Linux 的 NAS。第一台是一台已有数年历史的一体式 24 磁盘 (SATA) 服务器。我们在其上设置了两个硬件 RAID，并在其上使用 LVM。第二台服务器有 64 个磁盘，分布在 4 个机箱上，每个机箱都是硬件 RAID 6，通过外部 SAS 连接。我们使用 XFS 和 LVM 创建 100TB 可用存储。所有这些运行良好，但这些系统已经无法满足我们的需要。我们已经构建了两台这样的服务器，并且仍在不断发展，我们希望构建一个可以让我们在未来增长、备份选项方面具有更大灵活性的东西，在磁盘故障时表现更好（检查较大的文件系统可能需要一天或更长时间），并且可以在高度并发的环境中站稳脚跟（想想小型计算机集群）。我们没有系统管理支持，所以我们自己管理所有这些（我们是一个基因组学实验室）。
因此，我们寻求的是一种相对低成本、性能可接受的存储解决方案，该解决方案将允许未来的增长和灵活的配置（想想具有不同操作特性的不同池的 ZFS）。我们可能超出了单个 NAS 的范围。我们一直在考虑将 ZFS（例如在 openindiana 上）或每台服务器的 btrfs 与 glusterfs 相结合（如果我们自己做的话）。我们在权衡利弊后，决定硬着头皮投资 Isilon 或 3Par 存储解决方案。
任何建议或经验都值得赞赏。
答案1
我希望这会有所帮助。我试着不让它变成一整面墙的文字。:)
3Par/Isilon
如果您可以而且愿意为担任 SAN 管理员角色的人员投入固定数量的工时，并且想要享受无痛苦的生活，晚上睡觉而不是夜班工作，那么这就是我要选择的方式。
SAN 可让您完成单一“存储”限制的所有工作（例如，将 purestorage 闪存阵列和大型 3par sata 怪兽连接到同一台服务器），但如果您想利用其灵活性，您还必须为其付费并始终保持良好的维护。
备择方案
安普利达
优点：横向扩展、价格便宜、设计理念好、有专用的读/写缓存层。这实际上可能是最适合您的。
潮汐操作系统
他们的目标软件现在几乎用于所有 Linux 存储，并且比普通的 Linux / gluster 软件管理起来更好一些。（恕我直言）商业版本可能值得一看。
Gluster/btrfs
优点：横向扩展和“砖块”为您提供了一个非常有利于管理的抽象层。
缺点：第一个对我来说完全是件麻烦事。它不够强大，故障可能只发生在一个地方，也可能毁掉所有东西。现在，有了 RedHat 的控制，它可能会真正发挥作用，我甚至遇到过这样的人能驯服它，以便它能工作多年。第二个仍然是半实验性的。通常，FS 在“完成”后需要 3-4 年的时间才能被证明是可靠的。如果你关心数据，你为什么要考虑这个？说到实验，Ceph 的商业支持现在几乎已经出来了，但你需要坚持使用“RBD”层，FS 还没有经过充分的测试。我想说清楚的是，从长远来看，Ceph 更有吸引力。:)
虚拟文件系统
优点：这些功能肯定会给其他东西的棺材钉上一颗钉子。这些功能设计精良（比如 L2ARC），而且压缩/重复数据删除很有趣。拥有更多“存储集群”，这意味着只有小故障，而不是一个大型整合集群繁荣
缺点：需要维护许多小型软件盒，而不是真正的存储。需要整合它们并花费 $$$ 时间才能拥有一个强大的设置。
答案2
XFS + LVM 路线确实是过去几年中扩展纯 Linux 存储解决方案的最佳选择之一。我很高兴你已经在那里了。现在你需要进一步发展，你确实有更多可用的选择。
如您所知，大型硬件供应商确实有 NAS 头用于存储。这确实可以让您与一家供应商合作，实现所有目标，而且效果会很好。它们是容易获得的解决方案（与 DIY 相比），并且可维护性较低。但是，它们的成本相当高。一方面，您将拥有更多的工程资源来解决主要问题而不是基础设施问题；另一方面，如果您像我认识的大多数大学部门一样，那么相对于用现金购买东西，人力确实很便宜。
选择 DIY 路线后，您已经对可用的 DIY 选项有了很好的了解。ZFS/BTRFS 是用于扩展存储的 XFS + LVM 的明显升级路径。我会避开 BTRFS，直到它在 Linux 主线内核中被宣布为“稳定”，现在几个主要的免费发行版都使用它作为默认文件系统，这应该很快就会实现。对于 ZFS，我建议使用 BSD 基础而不是 OpenIndiana，因为它已经存在很长时间了，并且已经解决了（更多）问题。
Gluster 是为您在此处描述的用例而设计的。它可以进行复制，也可以提供带有大量存储的单个虚拟服务器。他们的分布式卷听起来正是您想要的，因为它们将文件分散到声明卷上的所有存储服务器上。您可以继续添加离散存储服务器以继续扩展可见卷。单一名称空间！
Gluster 的缺点是，当您的客户端可以使用 Gluster Client 访问系统而不是 CIFS 或 NFS 选项时，它的效果最好。由于您正在运行一个小型集群计算集群，您可能只需要使用 GlusterFS 客户端。
你走在正确的轨道上。
答案3
据我所知，您可以使用基于 Linux SCST + FibreChannel 或 infiniband 的 SAN 解决方案，这是我现在正在构建的东西。作为 LUN 的基础，您可以在硬件 RAID 上使用 LVM，并在文件系统级别以下处理快照/复制（以 DRBD 为例）。作为文件系统，我不知道有任何好的并发解决方案，因为我将 ESXi 放在节点之上，因此数据存储由 ESX 并发 FS 管理。我认为 GFS2 可能适用于该环境，但我不是 100% 确定，因为您应该检查您的确切要求。无论如何，一旦您的节点下方有一个强大的 SAN，就很容易完成任务。