大带宽内网

Question

我们是一家动画工作室，我们有一个内部网，需要不断在网络上移动大文件（2 GB 以上）。我们的配置如下：

三台 Netgear 24 端口非管理型交换机。交换机 1 连接到交换机 2，交换机 2 连接到交换机 3，交换机 3 连接到路由器。交换机 2 上连接有一台 NAS。

50 台 PC 连接到各种交换机。20 个工作站和 30 个渲染节点。

一切都很顺利，直到我们发送渲染任务。当我们这样做时，大约有 30 台机器会同时尝试从 NAS 复制同一个文件，网络速度会变得非常慢。

管理型交换机超出预算。升级到两台 48 端口非管理型堆叠交换机或许可行。

我有以下问题：

1. 我连接交换机的方式是否不正确？交换机 1 和交换机 2 是否都应连接到交换机 3？
2. 转移到两个 48 端口堆叠非管理型交换机是否可以缓解这种拥塞？
3. 交换机上的 100 Mbps 设备是否会影响 GB 交换机上其他设备的 GB 连接？
4. 有没有办法拆分网络。假设有 20 台 PC，一台 NAS 位于一台交换机上，另外 20 台 PC，另一台 NAS 位于另一台交换机上，以防 NAS 成为瓶颈。在这种情况下，我应该将两台交换机都连接到路由器吗？它们还能互相看到吗？路由器是 ISP 提供的标准路由器。
5. 对于这种工作来说带宽是否根本不够呢？

谢谢您的帮助。这个网络问题确实很令人困惑...

Answer 1

很抱歉，你说的有些话完全没有道理。真的。你必须是一家朝鲜渲染公司才能说得通。

50 台 PC 连接到各种交换机。20 个工作站和 30 个渲染节点。

和：

管理型交换机超出预算

真的。你可以支付 20 名员工的工资，外加所有许可证，但没有足够的钱购买托管交换机，而托管交换机的价格大约为....每台工作站 100 美元。恭喜你。正如我所说 - 如果你是一家员工每小时收入 1.5 美元的朝鲜公司，那么这很有意义。托管交换机并不那么昂贵。特别是如果你需要它们。

好的，我们开始吧。

• 最好通过一个交换机运行所有功能
• 选择能够显示 1-2 个 10gbit 上行链路的 48 端口交换机。
• 将您的存储基础设施连接到 10gbit 端口。

没钱？坏消息是——运气不佳。

另外，请确保您确实可以从存储中输入 1gbyte 的数据，这是另一个预算问题。您实际上可以从光盘获得的性能取决于硬件和光盘布局。

无论如何，您的问题有两个方面。首先，1gbit 大约是每秒 100mbyte。这听起来不错（2gb 文件需要 20 秒），但如果 30 个节点拉取，则这个数字将乘以 30，因为您的存储也只有 1gbit。瓶颈来了。其次，从交换机 1 到交换机 2 的所有内容也会经过 1gbit 瓶颈。

当你移动这么多东西时，你需要的存储带宽比工作站上的多得多。这里的 10gbit 基本上可以让你在节点拉动时只减少 3 倍，而不是 30 倍。

这基本上是需求与现实不符 - 使用 1gbit 网络复制 2gbx30 = 60gb 数据需要很长时间，而且您基本上通过 1gbit 连接传输所有数据，因此交换不会为您提供额外的带宽。因此，制定预算，升级到足以满足您的需求的设备，然后问题就会消失。不过，这确实是较大的问题之一 - 在规划 30 个渲染节点时，应该有人投入预算。

Answer 2

我认为 NAS 是主要瓶颈。30 个节点拉取同一个（可能很大）文件是完全饱和 NAS 网络链路的绝佳方式，任何访问它的内容都无法访问。我猜想，当渲染节点完成时，它们会将完成的工作上传到 NAS，这可能会导致其自身的速度变慢。另一个瓶颈可能在于您的交换机配置。

Switch 1 -> Switch 2 (NAS) -> Switch 3 -> [Router] -> Internet

除非你的路由器不仅仅是一个普通的 SOHO 路由器，否则你应该可以免费做到这一点：

Switch 1 ->  [          ]
switch 2 ->  [  router  ] -> Internet
Switch 3 ->  [          ]

这本身可能会帮助您解决问题，最好的部分是它不会花费任何费用，只是会有一些停机时间。

如果可能的话，您确实希望将渲染节点和 NAS 放在同一个交换机上。由于您有 30 个渲染节点，因此您无法将所有渲染节点和 NAS 放在当前配置的同一个交换机上，因此需要新硬件。您可以像您所说的那样使用可堆叠交换机来帮助减轻上行链路的压力。这应该会在交换机之间提供更好的带宽。这两个步骤都应该让您的上行链路端口不那么饱和，但这不会影响 NAS 上的负载。

30 个节点以高速率拉取文件会完全饱和 1GbE，因此解决这个问题需要采取以下几个步骤之一：

• 在 NAS 上绑定多个 NIC，但这需要托管交换机
• 使用 NAS 上的第二个网络端口作为渲染节点的专用共享点。网络仍然会陷入瘫痪，但其他网络的正常使用不会受到太大影响（磁盘 I/O 可承受）
• 获取第二台 NAS 设备以供一般办公使用。

Answer 3

也许你可以切换到类似flamethrower，多播文件分发程序，以防止您发送 60GB（2GB 到 30 台机器），而是通过网络发送 2GB...

如果那不是一个选择，您可能必须升级网络中的瓶颈。从您的描述来看，NAS 似乎是主要瓶颈，因此您首先需要查看是否可以绑定多个接口。这取决于 NAS。48 端口交换机将具有非常高的背板带宽，但如果您的 NAS 是 1Gbps 的瓶颈，那么即使它是 40Gbps 也没关系。

如果您有 2 个交换机通过 1Gbps 链路连接到另一个交换机，那么这将是一个瓶颈。因此，升级到 48 端口交换机并在其上安装尽可能多的东西将有助于消除这些瓶颈。

除此之外，也许你可以使用分布式并行文件系统像 PVFS 一样？可以把它想象成一个 bittorrent 文件系统，其中许多机器分担分发文件的负载，而不是单个中央 NAS。这样 NAS 就不会成为瓶颈。

Answer 4

其他人的回答都很棒。你应该有足够的答案来给你提供所有你需要的想法。不过，这里有一些不同寻常的想法：

1. 在您的网络上设置本地 bit-torrent 跟踪器（仅对您的网络可见），并通过 bittorrent 在您的工作站之间共享大文件。

2. 每个渲染站都需要每个文件的全部内容吗？如果不是，那么就共享文件的部分内容。要么将大文件分割成较小的块，要么使用理解范围请求的 HTTP 服务器来提供文件，并让您的客户端仅下载他们需要的字节范围。