在 Ubuntu 和硬件上,是否可以使用 CPU RAM 扩展 GPU DRAM

在 Ubuntu 和硬件上,是否可以使用 CPU RAM 扩展 GPU DRAM

我正在使用 PyTorch 在 Nvidia 2080TI GPU 上进行机器学习。它有 11GB 的 DRAM,我有 32GB 的 CPU RAM。我必须仔细调整我的批次以适应 11GB。使用CUDA 统一内存我应该能够通过将 DRAM 空间扩展到 RAM 来防止 CUDA 内存不足错误。这在 Ubuntu 上可行吗?如果可以,我该如何配置?

我之所以问这个问题,是因为 GPU 的价格会随着 DRAM 的大小而呈指数级增长,无论 GPU 有多旧,但 RAM 相对便宜。我试图覆盖边界情况,即大多数情况下,程序运行在 11GB 内存中,偶尔需要覆盖超额部分。

更新: 它似乎PyTorch 不使用这种机制。然而,一个单独的包叫做速度手电筒使其在实践中可用。然而,它需要对神经网络架构和 CPU 有相当深入的了解才能有效地应用它。

相关内容