存储集群的最佳选择

存储集群的最佳选择

我正在开发一个需要大量存储空间的应用程序,并且我想“内部”处理存储(比 S3 便宜得多),因此我们将拥有多台服务器(最初为 4 台),具有大量存储空间(每台 6TB)。

存储需要非常灵活且可配置,每块数据都应至少复制到 2 台服务器上,并且必须能够通过 UNIX 设备/文件/文件夹的 API 轻松读取/写入,就像普通驱动器一样,我不介意哪个。我们还必须能够轻松地将内容卸载到我们的 HTTP CDN(Edgecast),它不需要内置 HTTP 支持,但如果没有,我将不得不编写一些代码将文件放到 HTTP 上,以便 CDN 可以提取它们。

我研究了很多解决方案,包括

  • 桉树海象
  • OpenStack对象存储
  • 移动文件系统
  • 还有一些我不记得了

所有服务器都将运行 RHEL 6,它们有 4 个 1.5TB 驱动器,这些驱动器将以 RAID1 形式整合到一个分区中。所有服务器之间都有 1GB/s 的连接速度,并且互联网连接速度为 100MB/s,带宽无限。它们有 2 个 2.66ghz 处理器。

我知道没有一个完美的答案,但如果能得到一些指点就好了。

答案1

我们经常被问到类似的问题,我很惊讶你问这个问题时,这些先前的问题都没有出现在搜索结果中,

无论如何,我通常推荐 GlusterFS 或 Lustre,但还有许多其他分布式文件系统可供选择。

答案2

由于您已经是 RH 商店Red Hat 企业集群和存储管理课程可能会非常有用。

答案3

如果您能分享更多关于存储工作负载的信息,那就太好了。根据您是否需要低延迟或大容量存储,可以采用不同的存储解决方案。对于内容存储选项,请查看对象存储解决方案。(甚至可以进一步细分 - 如果您需要长时间保留数据并且不经常读取,那么请考虑支持擦除编码的解决方案)。如果您需要低延迟,请查看基于集群主机的存储文件系统 - 最好与主机中的闪存结合使用。请注意,也可以将对象存储与主机中的闪存缓存加速结合使用。

相关内容