☰

如何获取失败的 URL 列表？

tag-icon • tag-icon wget
如何获取失败的 URL 列表？

我尝试从特定文件下载所有 URL：file.csv，为了做到这一点，我使用这个命令行： wget -c -i file.csv 但我想获取 wget 无法下载的所有 URL 的列表。

当我使用这种命令行时：wget -c -i file.csv 1>output_file.txt 2>error_file.txt 我得到了一个包含太多信息的error_file.txt，其中很多信息都是无用的，例如，已经下载的URL在这个文件中提到（这不是失败的情况）。

最好的，

答案1

您可以按照以下方式尝试该命令：

wget -c --rejected-log=/path/to/logfile -i file.csv

  • --rejected-log=logfile：

    Logs all URL rejections to logfile as comma separated values. The values include the reason of rejection, the URL and the parent URL it was
found in.

笔记：您需要创建一个日志文件以供使用，并在该命令中提供路径

看：man wget

相关内容