Wget Mass Download 因数字过高而变慢

Wget Mass Download 因数字过高而变慢

我想下载 HTML 页面中的成千上万个基本文本(没有图片)。我已将 .txt 文件和代码中所需的所有 URL 组合在一起

wget -i urls.txt

工作正常,直到我们得到文件名相同的高数字,例如 index.10000 它开始变慢,然后每页需要 3 秒,而不是每秒 10-30

我可能认为它正在通过数字序列工作

相关内容