我想下载整个维基百科以获得离线副本,我尝试使用该命令:
wget --recursive --domains --convert-links --no-clobber https://it.wikipedia.org/wiki/
但它只下载第一页。我该如何使用它?
答案1
维基百科的robots.txt
不包括wget
:
#
# Sorry, wget in its recursive mode is a frequent problem.
# Please read the man page and use it properly; there is a
# --wait option you can use to set the delay between hits,
# for instance.
#
User-agent: wget
Disallow: /
请听从他们的建议。特别是,您可能不应该使用诸如 之类的工具下载维基百科wget
,而应使用他们的离线数据库下载反而。