☰

有没有分布式 SAN/存储系统？

tag-icon • tag-icon storage-area-network distributed-filesystems network-storage
有没有分布式 SAN/存储系统？

与许多其他地方一样，我们要求用户不要将文件保存到本地计算机。相反，我们鼓励将文件放在文件服务器上，以便其他人（具有适当权限）可以使用它们，并且文件可以正确备份。

结果是，大多数用户的大硬盘大部分都处于闲置状态。现在是 2010 年。肯定有系统可以让你把这些空闲空间变成虚拟 SAN 或文档库吧？

我设想的是一个客户端程序，它被推送到用户的电脑上，并与中央服务器协调。在用户看来，服务器就像一个普通的文件服务器，但它并不保存整个文件内容，而是记录这些文件在各个用户电脑上的位置。然后，它会与正确的客户端协调，以提供文件请求。客户端软件将能够直接响应此类请求，并且足够智能，可以在本地缓存最近的文件。为了实现冗余，服务器可以确保将文件复制到多台电脑上，也许允许您在不同位置定义组，以便整个存储库的实例驻留在每个组中，以防止一栋建筑发生灾难而导致其他所有建筑都瘫痪。

显然，您不会将数据库服务器指向这里，但对于更简单的事情，我看到了几个优点：

  • 文件通常可以从较近的（或当地的） 机器。
  • 分布式网络连接，而不是将所有文件传输都挤在单个连接上
  • 磁盘空间会随着公司的发展而自动增长。
  • 最终应该会更便宜，因为你不需要保留一组单独的磁盘

我也看到了一些缺点：

  • 如果机器在繁忙时段必须提供或接受大文件传输，则用户电脑性能偶尔会下降。
  • 写入必须在网络上传播几次（尽管我认为这并不是什么大问题，因为在大多数地方读取比写入发生得更多）
  • 仍然需要一种方法偶尔将数据的完整副本发送到异地，这将使差异化变得非常困难

可以将其视为一个完全存在于您的企业局域网内并利用您现有用户设备的云存储系统。

我们的旧主文件服务器将在大约 2 年后退役，我正在考虑用小型 SAN 替换它。我们当前的文件服务器使用了 1TB 共享中的大约 400GB。我们只将其保持在这么小的规模，因为我们的备份空间有限。我打算将备份空间扩展到至少 4TB可用的更换后的空间可能会更大，如果价格像我预期的那样下降，可能会更大。我认为像这样的东西会更合适。作为一所学校，我们有几个我可以继续运行的计算机实验室，这对于为这样的系统添加一点额外的冗余来说非常完美。

除了极少数例外，我们的用户在 120GB 硬盘中占用的空间不到 40GB，这意味着我可以轻松为每台机器预留 65GB。而且这个数字只会增加，因为新机器配备了 250GB 的硬盘，而且这些硬盘很快就会变得更大。考虑到我们的桌面更换计划，到文件服务器更换时，我预计这样的系统将提供 5TB 的可用存储空间，甚至允许冗余和历史记录。

不幸的是，我能找到的最接近的东西是迪恩斯特，而且这只是一篇 1994 年的论文。我是不是在搜索时用错了流行词，还是这真的不存在？如果不是，我是否忽略了某个重大缺陷？

答案1

在我看来，你描述的是先进先出系统，最常见的实现是开放AFS。OpenAFS 的关键概念描述如下：http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3。

AFS 是：

  • 分布式。文件系统跨多台机器，但仍使用统一的命名空间，因此分布式特性对于客户端机器而言是透明的。
  • 冗余。文件可以同时存在于多个服务器节点上，因此多个服务器节点的丢失不会导致任何数据无法访问。
  • 可扩展。显然，一些“企业”实现跨越多达 25,000 个节点。

答案2

是的，当您正确使用集中存储时，最终用户桌面系统中的大磁盘将不幸地闲置。哦，算了。使用假设的桌面网络分布式 NAS 的一些缺点：

  1. 它必须处理用户计算机离线导致的性能下降。有人今天没来，他们的计算机关机了？最好希望上面的文档分发到打开的计算机上。有人今晚工作到很晚，而他们的计算机是唯一开着的？很不幸，很抱歉。除非你还将所有内容复制到真实的文件服务器 - 然后，你得到了什么？

  2. 一切都必须有良好的加密 - 否则，老板的包含兑现计划的文件或显示每个人薪水的人力资源文档将被复制到邮递员 Jimmy 的机器上。他在该机器上运行 LimeWire。明白这是怎么回事了吗？

答案3

就像是CleverSafe（有开源和商业版本）可以满足您的大部分需求，但管理非常不可靠的节点可能会成为问题。CleverSafe 可以处理多个节点中断，但对于使用台式机作为存储节点时出现的“持续变动”节点，其处理速度可能不够快。

我认为我以前读过的学术论文中也有类似的解决方案，但 CleverSafe 似乎是一款真正有效的产品，而不仅仅是一个原型。该公司自 2004 年起就已成立。

答案4

我想到的最接近的是 Google 的 MapReduce 或免费的 Hadoop 替代品，但它的设计目标是扩展到 PB 级，适用于真正大型的网络应用。

一般来说，我并不想尝试您的场景，因为我猜测管理这项附加服务的机器的管理开销将远远超过您可能从中获得的任何好处。

另外，我认为 Windows（或任何其他操作系统）中可能存在未被发现的问题，这可能会导致快速传播的蠕虫病毒的出现，无论你的系统配置得多么好、多么安全，它都可能在几分钟内摧毁你的整个网络，并且会带走你所有的数据存储池。

除此之外，我不太确定客户端系统上的可用磁盘容量是否会继续增长，因为我猜测未来会有更多的应用程序移植到网络上，包括办公应用程序甚至 Photoshop 之类的东西，这将再次推动瘦客户端的发展。

相关内容