☰

Facebook 如何搭建拥有 12+ 块硬盘的服务器

tag-icon • tag-icon hard-drive hardware-rec
Facebook 如何搭建拥有 12+ 块硬盘的服务器

从脸书博客：

... 部署在商用存储刀片之上。2U 存储刀片的典型硬件配置为 –

  • 2 个四核 CPU
  • 16GB – 32GB 内存
  • 带有 256MB – 512MB NVRAM 缓存的硬件 raid 控制器
  • 12+ 个 1TB SATA 硬盘

有人能告诉我他们到底使用了哪些零件吗？

我知道你可以买到能容纳 2 个 CPU 的主板，我也可以买到能容纳 16 GB 内存的主板，但是我该如何连接 12 个驱动器呢？

答案1

十二个 1TB 硬盘？小数目，大一点的！:)

德州记忆系统推出RamSan-6200SSD 系统在 40U 机架配置中提供高达 100 TB 的基于闪存的存储，可维持创纪录的每秒 500 万次输入/输出 (IOPS) 和每秒 60 GB 的吞吐量，同时使用略高于 6 千瓦的功率。

替代文本

所有这些的价格高达 440 万美元，圣诞老人，你听见了吗？:)

（也许 RAMinSANe 是个更好的名字）

但如果你只需要 12 个驱动器，你可以花大约 1,000 美元购买一个带控制器的 SATA 12 驱动器外壳（速度 > 500MB/s）

替代文本

答案2

我讨厌挖掘这样一个老问题，但这些答案需要帮助。有许多不同的 2U 机箱具有 12x3.5 英寸热插拔托架（3 个垂直 x 4 个水平 - 参见 Supermicro 的 SC826），甚至有些还带有一个或两个内部托架（http://www.servaris.com/servers_m2100.php)。虽然密度很大，但并非不可能。如果你想要更疯狂一点，Supermicro 的 SC847 支持 4U 中的 45 个热插拔驱动器托架（无主板）或 36 个带 E-ATX 主板的热插拔驱动器托架，有人制造了一个机箱（RMC5D2），其中有 48 个垂直热插拔托架，有空间容纳 E-ATX 主板，我认为 5U 中可以容纳 7 个全尺寸卡。

我相信这是Facebook 的 Haystack 系统看看照片，他们使用 RAID 6 控制器连接 2U 机架式服务器中的 12 个驱动器。您可以购买仍支持 12 个驱动器的低配置控制器，也可以使用转接卡。作为其2012 年 IPO 申请，他们透露，他们存储了“超过 100 PB”的照片和视频。即使使用较新的 4 TB 和 6 TB 驱动器，这些机器也有很多。

Facebook 还使用 100+ PB 的 Hadoop 系统来分析网站上发生的所有事情（每天多 TB）。它跳过 RAID 磁盘阵列，通过将大文件拆分为 64MB 块并将每个块写入多台机器，使整个机器变得冗余。为此，您可以获得带有 8 个端口的主板，并廉价地添加 4 个非 RAID 端口。我很确定这些机器没有那么多驱动器，但该技术基于 Google 正在做的事情。Google 确实有 12 个驱动器无 RAID 机器的机架，以及许多有趣的计算机设计。它们几乎大到足以让定制部件成为商品硬件的批量订单。

您可以在 Facebook 不同类型的服务器上观看视频这里。

Facebook 最近推出了 Open Vault 存储系统，该系统支持 2U 开放式机架中的 30 个驱动器（机柜整体宽度相同，但内部宽度为 21 英寸，而标准宽度为 19 英寸）。机箱中拉出 2 个独立的 1U 托盘，每个托盘有 15 个驱动器（5 个宽 x 3 个深）和 2 个 SAS 扩展器。YouTube 上的一段视频展示了一个系统，其中 30 个 3.5 英寸驱动器托架中的每一个都装有 2x2.5 英寸 SSD，与 12G SAS 结合使用时将提供一些强大的 IO 能力。根据 SSD 制造商的说法，单个单元可以支持 500 万 IOPS。一个完整的机柜将支持超过 9000 万 IOPS 和 170 GB/s 带宽（接口受限）和 1 PB 的 SSD 存储（多达 3.2 PB 的氦气填充旋转磁盘）。如果您只是想将它用于真正出色的 NAS，那么有一个使用 Open Vault 的 Open Compute 服务器，其中内置有 ARM 服务器主板。

更有趣的是，Facebook 正在试验蓝光冷存储（数据很少被访问）。他们的原型系统有 10,368 张光盘，每张光盘可容纳 100GB，可存储约 1 PB 的数据。他们有一个机器人拾取器，可以从一个装有 24 个磁带盒的架子上取用光盘，每个磁带盒有 36 个磁带盒，每个磁带盒有 12 张光盘。一旦他们修复了错误并调整了功能，我预计 10,000 张蓝光光盘换碟机将成为开放计算项目的一部分。

答案3

我认为原始 FB 帖子有点误导。如果他们使用存储刀片，那么这些刀片旨在连接到外部存储阵列。例如，刀片本身将运行 Windows Storage Server，但您不会将数据存储在该刀片上。您可以将 2U SAN 阵列挂接到该刀片上，该阵列可以容纳 12 个 3.5 英寸热插拔托架或 24 个 2.5 英寸托架。

答案4

看看 1U、2U 3U 4U 的服务器，它们适合服务器机房的机架。

像那些http://www.supermicro.com/products/system/2U/

您可以查看戴尔、惠普、IBM 服务器以及更多服务器。

它们可以支持大约 8 个硬盘，甚至更多。

相关内容