如何增加 Ubuntu 的虚拟内存和/或 Matlab 交换空间？

Question 1

您无法为软件专门设置交换区。您可以做的是创建一个 shell 脚本来创建交换区，启动 MATLAB，并在 MATLAB 退出时删除交换区。

这是一个示例脚本，它在 /tmp 目录中创建一个 10Mb 的交换文件，挂载它，启动 R（我没有 matlab），等待 R 退出，卸载交换文件并将其删除。

请注意： - 您将收到警告，因为交换文件不属于 root。这是因为系统将使用它来处理任何软件，可能不是由您运行的，您可以在此文件中阅读...我让您修复它。 - 如果您 [ctrl]-[c] 脚本，或注销等，交换将保持挂载状态。我也让您修复它。

#!/usr/bin/env bash

SWAP_FILE=/tmp/my_swap_file
SIZE_MB=10
TO_RUN="R"

dd if=/dev/zero of=${SWAP_FILE} bs=1M count=${SIZE_MB}
mkswap ${SWAP_FILE}
chmod 0600 ${SWAP_FILE}
sudo swapon -v ${SWAP_FILE}
echo "Swap enabled. Press enter to continue"; read
${TO_RUN}
echo "I will remove the swap. Press enter to continue"; read
sudo swapoff -v ${SWAP_FILE}
rm -vf ${SWAP_FILE}

Answer

您无法为软件专门设置交换区。您可以做的是创建一个 shell 脚本来创建交换区，启动 MATLAB，并在 MATLAB 退出时删除交换区。

这是一个示例脚本，它在 /tmp 目录中创建一个 10Mb 的交换文件，挂载它，启动 R（我没有 matlab），等待 R 退出，卸载交换文件并将其删除。

请注意： - 您将收到警告，因为交换文件不属于 root。这是因为系统将使用它来处理任何软件，可能不是由您运行的，您可以在此文件中阅读...我让您修复它。 - 如果您 [ctrl]-[c] 脚本，或注销等，交换将保持挂载状态。我也让您修复它。

#!/usr/bin/env bash

SWAP_FILE=/tmp/my_swap_file
SIZE_MB=10
TO_RUN="R"

dd if=/dev/zero of=${SWAP_FILE} bs=1M count=${SIZE_MB}
mkswap ${SWAP_FILE}
chmod 0600 ${SWAP_FILE}
sudo swapon -v ${SWAP_FILE}
echo "Swap enabled. Press enter to continue"; read
${TO_RUN}
echo "I will remove the swap. Press enter to continue"; read
sudo swapoff -v ${SWAP_FILE}
rm -vf ${SWAP_FILE}

Question 2

好的，你列出的清单相当多。让我在线回复

如何在此应用错误捕获的更好的错误处理？请参阅我的脚本以获取源代码中的示例。线程如何进行错误捕获并在出现错误/警告时进行交换？。

我一点也不喜欢这个脚本的概念。你有一个外部硬盘，并试图将其用作交换分区，这真是个坏主意。如果你真的打算定期这样做，那么请调整分区大小以放入合适的交换分区，添加交换文件，或者直接购买更大的内部磁盘。

如果矩阵大小超出交换大小，如何发出警告？

只需进行计算即可。如果您在程序启动之前知道矩阵的大小，则计算以 MiB 为单位的大小并将其与可用交换进行比较。

如何在 Matlab 中计算大型矩阵时显示进度条？

matlab 有 API 吗？我认为这里不适合讨论这个问题。即使你有 API，你也会通过交换阻塞 IO，所以它只是一个不稳定的进度条，实际上并不能反映现实。

如何在迭代（2）中终止繁忙的进程和/或 swapon -s/swapoff？

你不需要。仅仅因为你完成了计算并不意味着操作系统已经用完了你分配的资源。当它完成写入交换区时，它会释放。你已经消耗了太多内存，以至于许多应用程序无法获得所需的内存，所以它们也在使用交换区。只需将其打开并让操作系统完成它的工作。在执行下一次运行之前，请清除缓存。

echo 3 > /proc/sys/vm/drop_caches

可能还有更多内容，我不是 Linux VM 专家。值得研究一下 SLAB/SLUB 分配器的工作原理以及如何针对您的大内存需求进行调整。您可能能够将 matlab MLOCK 放入内存中。这会强制操作系统为您保留内存，否则它根本无法启动，您还必须在完成后解锁它。我可以使用 C API 很好地做到这一点，但我不确定您如何在无法重新编译的进程之外做到这一点，这需要一些研究。

最后，这就是 EC2 的用途。看起来你需要的是 16G，m4.4xlarge 有 64G 内存，每小时 0.958 美元。这比一杯咖啡还便宜。使用 juju charm 或类似程序编写 matlab 安装脚本，并将整个过程转变为计算即服务。

16G 就是 16 GB 吗？

是的，通常当我们省略后缀时，我们指的是以字节为单位的二进制数字。如果你想简洁的话，你可以写成 16GiB。

“我需要大于 100 GB 的矩阵。我不知道您是否可以使用 EC2 来实现。”

EC2 的机器主内存高达 2TB。您可以亲自体验一下。 https://aws.amazon.com/ec2/instance-types/

您是否也应该清除缓存echo 3 > /proc/sys/vm/drop_caches？

是的，总是这样做不会有什么坏处。请参阅 Linux 内核中的 Documentation/sysctl/vm.txt。

如何将 Matlab MLOCK 到内存中？

man mlock。虽然我引用的时候犯了个错误。这个调用确保你可以分配你想要的所有内存，并且不被换出，它永远不会使用虚拟内存。这不是你想要的。

我认为您可以将 C API 绑定到 Matlab。——如果进程出现任何故障，您是否知道如何关闭交换？

我要坦白地说，以你提议的方式微观管理交换文件的概念是荒谬的。操作系统的工作是管理资源并以公平一致的方式分配资源。一旦你给它更多的资源，它就会按照它认为合适的方式使用它们。你无法告诉它何时完成并从它下面抽出资源，操作系统会告诉你何时完成。

当我向操作系统请求内存地址空间时，有时它并不总是成功，但这并不意味着我不能再试一次。matlab 无法弄清楚两次调用 malloc 是 matlab 的问题。

因此，为了实现您想要的更改，如果这 100G 空间是确实很贵然后您需要弄清楚如何告诉操作系统减少其内存占用（首先通过清除缓存），以便内存管理器不会觉得需要使用为其提供的额外交换空间。然后，您才能要求内存管理器释放交换文件。

增加内存和磁盘等东西很容易，但减少它们却困难得多。减少会迫使每个在该空间中分配资源的用户重新平衡。如果我说“我有一个 100TB 的存储阵列，但现在我只需要 60TB，为什么当我移除 40TB 的磁盘时阵列会停止工作？”那么，答案是显而易见的，对吧？

就我所见，以下是您的选择。

研究 matlab C API，看看是否可以更好地控制如何为这些海量工作集分配内存。
重构您的计算，使用子矩阵或其他稀疏数据表示来计算您现在拥有的内容。
使用大量的线性代数库用 C/C++ 编写自己的程序来执行计算并使用malloc或mmap匿名分配所需的地址空间。

Answer