在线服务如何扩展高要求的存储容量？

Question

我想知道对存储容量有很高需求的在线服务如何物理扩展？（硬件）

假设某项服务需要在一个地理位置存储 1000TB 的数据，并且具有可扩展性。有没有一种常见的方法可以实现这一目标？

Answer 1

有很多不同的方法，具体取决于应用程序的基础设施。NetApp 等公司的网络附加存储 (NAS) 解决方案很常见。对于其他应用程序，使用 iSCSI 或光纤通道的企业 SAN 阵列可能更合适。

在硬件方面，还有更多富有创造力的人，比如这篇来自 Backblaze 的博客文章关于他们的存储舱，67TB 的 NAS 售价不到 8,000 美元（现在随着驱动器价格的下降可能甚至更低）。

其他考虑因素包括冗余和备份。性能考虑因素可能会影响是否使用带有 SAS 驱动器的企业阵列或商用 SATA 硬件。

显然，任何额外的硬件都需要考虑电源、空间和连接性。如果公司拥有自己的数据中心，这些可能由公司处理，也可能由另一家公司通过主机托管或完全托管的环境处理。

Answer 2

当设计正确时，总会有成长的空间，我会重点考虑两个主要因素。

由于我们还没有讨论性能需求或带宽，因此存放此内容的设施需要主要电源和冷却，因此此存储需要充足的电力和适当温度的空调。

其次是用于存储这些数据的技术解决方案。企业 SAN 设备？商用白盒或两者结合以及一些 DAS 机箱。

Answer 3

除了提到的整洁的硬件盒太阳神，你需要一些软件来将它们绑定起来。一种方法是在每个盒子上运行 iSCSI，并将它们全部挂载为一个大文件系统（ZFS 或 XFS 很乐意处理所有 PB 数据），但这很快就会成为管理噩梦和瓶颈。

更具可扩展性和抗故障能力的方法是使用“对象存储”系统。有几种可用的系统，既有专有的，也有开源的，但我倾向于使用以下系统：移动文件系统和集群文件系统，第一个是为了简单，第二个是为了成熟（和 POSIX 兼容性）。