☰

Wget Mass Download 因数字过高而变慢

tag-icon • tag-icon wget
Wget Mass Download 因数字过高而变慢

我想下载 HTML 页面中的成千上万个基本文本（没有图片）。我已将 .txt 文件和代码中所需的所有 URL 组合在一起

wget -i urls.txt

工作正常，直到我们得到文件名相同的高数字，例如 index.10000 它开始变慢，然后每页需要 3 秒，而不是每秒 10-30

我可能认为它正在通过数字序列工作

相关内容