使用wget镜像的内存限制问题

使用wget镜像的内存限制问题

我正在尝试使用 wget 的镜像功能将动态站点转换为静态站点。这个似乎运行良好,但由于它是一个非常繁重的站点,有很多页面,我运行了该命令screen并让它运行了几天。进行每日检查时,我注意到我的函数因消耗太多内存而被终止。

运行以下命令后:

 wget -r -mirror --tries=1  --wait=1 --html-extension -o log http://mysite.tld

我已经看到这些错误/var/log/messages

kernel: Out of memory: Kill process 10645 (wget) score 367 or sacrifice child
kernel: Killed process 10645 (wget), UID 0, total-vm:3154656kB, anon-rss:624672kB, file-rss:0kB, shmem-rss:0kB

我在具有 4GB RAM 和 4vCPU(托管 vps 的站点)的 centos7 VPS 上启动该命令,该命令似乎在最多 2 天内饱和了所有可用内存。

有什么方法可以限制启动的命令的内存消耗,或者使其在死亡时从被杀死的地方重新启动?

相关内容