![重启Google Cloud Notebook后无法检测到CUDA设备](https://linux22.com/image/767673/%E9%87%8D%E5%90%AFGoogle%20Cloud%20Notebook%E5%90%8E%E6%97%A0%E6%B3%95%E6%A3%80%E6%B5%8B%E5%88%B0CUDA%E8%AE%BE%E5%A4%87.png)
今天我重启云笔记本服务器时出现了这个问题。可以使用以下步骤重现:
使用 Tensorflow 或 Pytorch 和 GPU 创建 Google Cloud Notebook 服务器
启动服务器后,打开python控制台:
>>> import torch
>>> torch.cuda.is_available()
True
CUDA 设备至今可用。
- 重新启动服务器,然后再次打开笔记本。
>>> import torch
>>> torch.cuda.is_available()
/opt/conda/lib/python3.7/site-packages/torch/cuda/__init__.py:52: UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero. (Triggered internally at /opt/conda/conda-bld/pytorch_1614378098133/work/c10/cuda/CUDAFunctions.cpp:109.)
return torch._C._cuda_getDeviceCount() > 0
False
nvidia-smi
命令工作正常。
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.80.02 Driver Version: 450.80.02 CUDA Version: 11.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 43C P0 16W / 70W | 0MiB / 15109MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Thu_Jun_11_22:26:38_PDT_2020
Cuda compilation tools, release 11.0, V11.0.194
Build cuda_11.0_bu.TC445_37.28540450_0
使用 TensorFlow 也可以重现此问题。如何修复这种情况?
答案1
选项 1:
升级 Notebooks 实例的环境。请参阅关联升级。
可升级的 Notebooks 实例是双磁盘的,有一个启动磁盘和一个数据磁盘。升级过程会将启动磁盘升级为新映像,同时保留数据磁盘上的数据。
选项 2:
通过 SSH 连接到笔记本虚拟机并运行命令关联。
执行命令后,cuda版本将更新为11.3,nvidia驱动版本将更新为465.19.01。
重启笔记本虚拟机。
笔记:gpu 图像中的问题已解决。将使用图像版本 M74 创建新的笔记本。关于新图像版本尚未更新google 公共问题追踪器但您可以在控制台中找到新的图像版本 M74。