使用 wget 下载今天的所有 stackexchange

使用 wget 下载今天的所有 stackexchange

假设我想递归下载今天在 stackexchange 上的所有帖子以及它们链接到的任何维基百科文章。

 wget -kprcH -l 4 -t 3 stackexchange.com

这不是一个好的选择,因为它会转到维基百科和 stackexchange 之外的许多其他外国网站。如果我使用

wget -kprcH -l 4 -t 3 -D *stackexchange.com,*overflow.com,*overflow.net,*wikipedia.org stackexchange.com

我最终只下载了一页,“stackexchange.com”

我应该使用什么命令来下载当今所有的 stackexchange 及其可能包含的任何维基百科链接,而无需下载大量不需要的材料?

答案1

删除站点前面的“*”(星号)。我尝试了这个,它下载了 stackexchange,并且只下载了 Wikipedia.com 的 index.html 文件,而没有内容!

相关内容