如何抓取自己的网站并保存到缓存中

如何抓取自己的网站并保存到缓存中

我在用着乌贼,一个缓存程序,用于缓存我的网站。但是,这样做似乎每个页面都必须至少被访问一次,Squid 才能缓存它。我的问题是,是否有一个程序可以快速爬过我的网站,访问所有页面一次,以便 Squid 可以缓存它们。

干杯

答案1

您可以使用 wget 来实现这一点。设置http_proxy环境变量以指向您的代理后,使用类似于下面的选项运行它(下面的 linux 命令)。

export http_proxy=http://127.0.0.1:3128/

wget --cache=off --delete-after -m http://www.mywebsite.org

相关内容