如何组建快速局域网

如何组建快速局域网

我从事电影制作工作,需要非常快速地访问非常大的原始素材文件。我目前使用 eSATA 6Gbps 底座连接内置硬盘,其速度与硬盘一样快。

如果我使用服务器并通过网络连接到我的工作站,什么(相对便宜的)技术可以让我接近或超过驱动器速度?

答案1

2017 年初,从网上现有的信息来看,最快的 SATA HDD 速度约为 220 MB/秒,即 1.760 GB/秒。

因此,如果您只是想要超越单个驱动器的速度,并且出于每 TB 成本考虑而只能使用 HDD 来存储大型视频文件,那么 10 Gigabit 以太网就足够了。


另外,请注意 Thunderbolt 网络也是 10 Gigabit/sec,因此如果您已经有 Thunderbolt 端口,您可以尝试一下。它可能会击败您的 6 Gigabit eSATA 3 端口,尽管我对此不确定,因为 eSATA 非常特定于存储,而通过以太网进行存储则有更多开销。还请注意,Thunderbolt 是一种桌面总线;它只能达到几米,而不是 10 Gigabit 以太网可以处理的 100 米。因此,虽然在您权衡选择时,Thunderbolt 可能对于实验和原型设计很有趣,但它可能不是适合您的长期解决方案,除非您想将所有工作站和磁盘围绕一张大桌子背对背连接。


以上是针对单个硬盘的情况。但是,如果您将这些硬盘组合在一起,以便每次读取或写入都分散到多个硬盘上,则可以获得比单个硬盘更好的性能。此外,根据您的预算,您可以将 PCIe/M.2 NVME SSD 放入 PC 中以充当服务器/NAS,并且每个硬盘可以获得极快的存储性能(大约 3.4 GB/秒 == 27 GB/秒)。

在这种情况下,您可能想要考虑比 10 Gigabit 以太网更快的设备,但在网上浏览过后,看起来价格在 10 Gigabit 以太网之后会大幅上涨。因此,您可能想要考虑跨多个 10Gigabit 链路进行链路聚合。我还在网上看到一些轶事,如果您不介意在 eBay 上购买二手设备带来的麻烦,那么二手网络设备(例如二手 40Gbps InfiniBand)可以在 eBay 上以极低的价格购买。

答案2

如果您坚持使用 SATA 磁盘,那么在服务器上实施 10Gb 以太网并构建合理大小的 RAID10 将为您带来显著的性能提升,远超单个 SATA 磁盘。这将是一项值得的投资,因为您可以在所需的任意数量的工作站之间共享服务器,并且将来可以通过添加交换机来添加。您需要运行 Cat-6 以太网电缆,因为 Cat-5E 不适用 - 不要忘记将这笔费用添加到您的计算中。您还可以添加 SSD 作为缓存以进一步加快系统速度;由于您正在处理视频片段,我认为您需要大量的存储空间,而仅使用 SSD 构建存储空间将非常昂贵。

您可以从戴尔或惠普购买预制机架式服务器并使用硬件 RAID 卡,或者如果您更擅长硬件,您可以从 Supermicro 购买更便宜的机箱并自行构建存储机器,使用 Windows 或 Linux 中的软件 RAID。当涉及 RAID1 时,硬件 RAID 通常更快,因为软件必须依次写入每个磁盘并等待写入完成后才能转到下一个操作;RAID 卡通常可以并行写入两个磁盘,并缓存写入操作,立即将控制权返回给操作系统。但请注意,虽然 RAID0 会更快,但没有冗余,单个驱动器故障将导致数据完全丢失;当您有要保留的数据时,切勿使用 RAID0。我建议联系戴尔、惠普或其他大公司,看看他们是否可以帮助您设计出满足您需求的系统。

在高端,您拥有存储区域网络 (SAN),但它们的设计目的是允许大量独立客户端并行执行许多操作;这样做的好处是,对于少量连接的机器来说,吞吐量非常高,但可能超出您的需求,而且非常昂贵。在低端,您拥有其他人提到的网络附加存储 (NAS) 设备,但尽管它们比完整服务器简单得多,但我不推荐它们,因为 NAS 通常是一个黑匣子;它们被设计为对大多数用户而言即插即用,因此您几乎无法控制操作系统 - 我刚刚不得不退回我为客户办公室购买的小型 NAS,因为它在使用一天后变得不稳定。

建立服务器的另一个好处是,您可以将所有素材集中在一个地方,这使得定期备份变得实用且相对容易。永远不要忽视您的备份策略;总有一天您需要依赖它!

答案3

没有什么可以超越 10gbe 的灵活性和易配置性,但 SAS 本身就具有令人惊讶的联网能力:

对于少量工作站(n<8),卷不需要同时从多台计算机写入,SAS 非常适合。泰安JBOD(1,500 美元)以及LSI主机总线适配器($400),我们获得 3,400 MB/s (27 Gbps) 持续传输到 SSD。JBOD 有一个内部交换机,有 3 个上行链路到 HBA,但 SAS 交换机可用于更高的端口数。

以下是我们其中一个卷的速度测试:

CDM5 显示顺序读取速度为 2,862MB/s,队列中 32 iops。4k 单线程随机读取速度为 29MB/s

在内部,我们使用这个解决方案运行存储空间的群集 Windows Server分发给具有10gbe的客户端。

群集 Windows 服务器

答案4

使用带有光纤交换机的光纤以太网卡,最好是多模或带垫片的单模。如果您有足够的预算,您可以将整个设备设置为 10gbps,如果您使用带有双端口光纤卡的链路聚合,则可以获得 20gbps。由于“相对实惠”一词会根据您的预算而变化,因此您愿意花费的实际数字会很有帮助。

相关内容