深度学习服务器的设计与挖矿设备非常相似,具体来说,就是使用立管将尽可能多的 GPU 堆叠到主板上。设计如下:
CPU: AMD EPYC Rome 7302P
-128 Lanes PCIe 4.0
Mobo: AsRock Rack ROMED8-2T
-Supports 7 x PCIe 4.0 x16
GPUs can be any model
首先:我们可以运行 7 个 GPU(主板上最多)并最大程度地利用它们吗?硬件方面是否存在瓶颈?
7 gpu * x16 pcie 速度 = 112 通道
我的问题纯粹来自硬件设计的角度,以及这种设计是否有任何限制。我试图在不构建更多服务器的情况下使用 10GB 网络设备来最大化 GPU。我知道有双插槽服务器主板可以分别处理 4 个 GPU,但这不是我想要的。
第二:如果我以较慢的速度运行 GPU,比如 pcie x8,理论上我们是否可以将 GPU 的数量增加一倍,前提是主板有足够的 pcie x8 插槽(使用 x8 到 x16 转换器)?