![我的 GPU 坏了吗?](https://linux22.com/image/1361496/%E6%88%91%E7%9A%84%20GPU%20%E5%9D%8F%E4%BA%86%E5%90%97%EF%BC%9F.png)
我暂时禁用了 NVIDIA K20m(我节点中的设备 0)上的 ECC 内存保护,现在我无法让它再次工作。在此之前,启用 ECC 后,它可以正常工作。因此,我做了以下操作:我禁用了 ECC
nvidia-smi -i 0 --ecc-config=0
然后重启。启动时显示 GPU 利用率为 100%,并且无法启动任何内核(实际上在创建上下文时它已经失败了)。原因是双位错误。我用
nvidia-smi -i 0 --reset-ecc-errors=0
并重新启动节点。重新启动后,设备利用率为 0%,我可以照常开始工作。几个小时后,设备再次显示 GPU 利用率为 100%。这次它没有报告双位错误(甚至没有单位错误)。但是,由于我无法运行任何作业,我重新启动了节点,结果 GPU 利用率为 100%,我无法使用它,但没有报告位错误。这是怎么回事?
GPU 0000:02:00.0
Product Name : Tesla K20m
Display Mode : Disabled
Persistence Mode : Enabled
Driver Model
Current : N/A
Pending : N/A
Serial Number : 0324512044699
GPU UUID : GPU-9bfe1aba-1628-a406-3ed5-2af49462a997
VBIOS Version : 80.10.11.00.0B
Inforom Version
Image Version : 2081.0208.01.07
OEM Object : 1.1
ECC Object : 3.0
Power Management Object : N/A
GPU Operation Mode
Current : Compute
Pending : Compute
PCI
Bus : 0x02
Device : 0x00
Domain : 0x0000
Device Id : 0x102810DE
Bus Id : 0000:02:00.0
Sub System Id : 0x101510DE
GPU Link Info
PCIe Generation
Max : 2
Current : 2
Link Width
Max : 16x
Current : 16x
Fan Speed : N/A
Performance State : P0
Clocks Throttle Reasons
Idle : Not Active
User Defined Clocks : Not Active
SW Power Cap : Not Active
HW Slowdown : Not Active
Unknown : Not Active
Memory Usage
Total : 4799 MB
Used : 12 MB
Free : 4787 MB
Compute Mode : Default
Utilization
Gpu : 100 %
Memory : 0 %
Ecc Mode
Current : Enabled
Pending : Enabled
ECC Errors
Volatile
Single Bit
Device Memory : 0
Register File : 0
L1 Cache : 0
L2 Cache : 0
Texture Memory : 0
Total : 0
Double Bit
Device Memory : 0
Register File : 0
L1 Cache : 0
L2 Cache : 0
Texture Memory : 0
Total : 0
Aggregate
Single Bit
Device Memory : 0
Register File : 0
L1 Cache : 0
L2 Cache : 0
Texture Memory : 0
Total : 0
Double Bit
Device Memory : 0
Register File : 0
L1 Cache : 0
L2 Cache : 0
Texture Memory : 0
Total : 0
Temperature
Gpu : 30 C
Power Readings
Power Management : Supported
Power Draw : 49.51 W
Power Limit : 225.00 W
Default Power Limit : 225.00 W
Min Power Limit : 150.00 W
Max Power Limit : 225.00 W
Clocks
Graphics : 758 MHz
SM : 758 MHz
Memory : 2600 MHz
Applications Clocks
Graphics : 705 MHz
Memory : 2600 MHz
Max Clocks
Graphics : 758 MHz
SM : 758 MHz
Memory : 2600 MHz
Compute Processes : None
答案1
我的 GPU 坏了吗?
我说它已经死了。它不再报告位错误,因为你关闭了检测这些错误的功能。(ECC检测超过它能纠正的范围。)但是,可能是卡上的内存(或物理卡本身)出现了故障。
在我将其扔进“回收站”之前,还有两个可疑之处:冷却和电源。冷却很容易检查;电源则不太容易检查。