我想下载 HTML 页面中的成千上万个基本文本(没有图片)。我已将 .txt 文件和代码中所需的所有 URL 组合在一起
wget -i urls.txt
工作正常,直到我们得到文件名相同的高数字,例如 index.10000 它开始变慢,然后每页需要 3 秒,而不是每秒 10-30
我可能认为它正在通过数字序列工作
我想下载 HTML 页面中的成千上万个基本文本(没有图片)。我已将 .txt 文件和代码中所需的所有 URL 组合在一起
wget -i urls.txt
工作正常,直到我们得到文件名相同的高数字,例如 index.10000 它开始变慢,然后每页需要 3 秒,而不是每秒 10-30
我可能认为它正在通过数字序列工作