高速存储驱动器(超过 8 GByte/s)

高速存储驱动器(超过 8 GByte/s)

寻找基于 Windows 的解决方案来创建高性能、8 GB/s 存储阵列。

要么通过将数十个 SSD 拼凑在一起,要么通过创建多个 RAID 阵列并以某种方式将它们汇集在一起​​。诀窍似乎是从单个卷获得 8 GB/s.... 而不是每个卷都达到 1.5 GB/s 的多个卷。

编辑:

让我们假设阅读,让我们假设现实世界的情况(而不仅仅是理论最大值)。

答案1

这正是我想问的问题!

实际上,在单个服务器上创建一个理论上能够实现这种性能的单个卷并不难 - 您需要多个基于 PCIe 的闪存驱动器(例如我自己使用的 FusionIO 驱动器) - 使用 LVM 或类似技术(例如 ZFS)绑定在一起。这当然是基于零缓存模型的 - 如果您可以从内存中完成所有操作,那么生活就会变得更容易,但您没有提到卷,所以让我们假设最坏的情况。

这会让你的实际音量开始运行,但问题不仅仅在于此,还在于端到端的性能。

您打算如何传输这些数据?大约 80Gbps,因此您需要在专用 PCIe 3.0 x16 总线上至少安装一个 100Gbps NIC 才能清除该数量,当然,在存储总线上也需要相同的数量。现在可以使用正确的芯片组来实现这一点,但您这里说的不是低规格/成本的服务器,我使用 HP DL980 来实现这种功能,它们并不便宜。

然后你遇到了最大的问题,中断 - 有很多非常聪明的方法来处理你在这里创建的中断风暴,但即使你设法重新编译你的内核(Windows,甚至 2012,都会遇到所有这些问题),你实际上也在推动这些服务器的实际可交付、一致的容量 - 你对链的几乎每个部分都要求很高,而最薄弱的部分,如果是最复杂的部分,那就是操作系统。你还必须了解你的写入配置文件,因为如果它很重,它就会真正妨碍你的读取性能。

如果您让我们知道您实际上想要实现什么(因为说实话这听起来很像家庭作业),那么我们可能会有一些更有创意的方法来提供帮助,但我想这是一个大约 10 万美元/大约 2 个月的项目。这是可以做到的(我有很多服务器每天大约能达到这个性能的一半),但您需要知道这不是一个便宜或快速的项目。

答案2

首先,您没有提到这是读取带宽还是写入带宽。

为了达到这样的速度,您可能需要多个基于 PCIe 的 SSD 卡,并将它们组合成一个卷。例如,三个 Fusion IO ioDrive2 可以为您提供该带宽以及一些额外带宽。

使用传统的 SAS RAID 卡是可行的,但比较棘手。这些卡每通道 6Gb/s,您需要 11 个通道才能达到所需的速度。市面上有 4 端口卡,所以您需要 3 个,以及足够的 SSD 来为它们供电。不过,您必须混合使用硬件和操作系统条带化来制作卷。

答案3

这里有几点需要考虑:

  • 容量——如此快速的存储需要花费大量成本才能拥有大量容量
  • 本地存储 - 如果这是本地存储,PCIe 2.0 大约为每通道 500MB/s,这意味着您至少需要与 PCIe 2.0 x16 插槽接口的设备,或者 PCI3 3.0 x8,因为 3.0 的带宽是其两倍。io-drive 八进制Strats 接近,但 10.24TB 型号的读取速度仅为 6.7GB/s,写入速度仅为 3.9 GB/s,价格非常昂贵。您必须将它们条带化在一起。
  • 外部存储,如果您谈论的是非本地存储,那么在存储方面,单个阵列的最大通用速率将只有 16Gb/s(2GB/s),因此您需要以某种方式对其进行多路复用。我曾使用过 20Gb/s 光纤,但这仍然无法让您达到想要的效果。基本上,这意味着您只需获得大量光纤和多个外部存储卡,然后将它们条带化即可。
  • 读取与写入——这将对任何解决方案的性能产生很大的影响。

作为购物问题,这可能无论如何都是题外话;正如您所见,有很多变量取决于您的具体情况。

答案4

问题是什么?除非你试图读取 80 千兆位网络数据。

  • 使用 SAS - 多个控制器、外部机柜。
  • 添加存储池(Server 2012)

完成的。

问题在于如何处理这些数据。这使得这个练习毫无意义。

相关内容