例如，我有一个 4 GPU 系统。我希望能够有 2 个用户，每个用户在 2 个 GPU 上使用 MPS。在阅读 nvidia 文档时，我似乎会设置 CUDA_VISIBLE_DEVICES 来指定哪些 GPU 对 nvidia-cuda-mps-control 守护进程可见（然后对服务器进程可见）。那么我是否真的需要两个控制守护进程实例，每个实例都能够看到 2 个不同的 GPU，以便每对 GPU 上都有不同的用户？我如何在同一个系统上启动 2 个 nvidia-cuda-mps-control 实例，我可以指定每个实例使用不同的端口吗？
答案1
您需要为每个守护进程设置 CUDA MPS LOG 和 PIPE 目录。
答案2
您可以为不同的用户使用容器，并在其容器中为用户设置环境（导出 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE）。