集群上的程序超出了 RSS 内存限制

集群上的程序超出了 RSS 内存限制

我一直试图在计算机集群上运行 Python 脚本,但总是遇到错误,提示超出 RSS 内存限制。我正在使用这个程序分析一个包含大约 40000 个案例的数据集。我在我的 PC 上尝试了 1000 个元素,它似乎只使用了非常少的内存。Fedora 上的系统监视器工具显示我的 PC 内存使用量约为 %23,相当于 1.7gb(主要由操作系统本身使用),但是,当我在集群上运行它时,RSS 内存超过了 14gb。

我不知道发生了什么,也不知道为什么我的 PC 和集群之间的内存使用量会有如此大的差异。如能得到任何帮助,我将不胜感激。

相关内容