wget 中是否有任何选项可以获取 wget 爬行的链接的引荐来源网址或父链接

wget 中是否有任何选项可以获取 wget 爬行的链接的引荐来源网址或父链接

是否有任何方法可以获取或查找 wget 抓取的链接的引荐来源网址?

假设某个链接返回 400 错误。 wget 只显示发生 400 错误的 url,而不显示错误 url 的引用者。如果可能,请提供类似于 Linux 中的 wget 的任何实用程序或用于执行此操作的 wget 选项。

答案1

引荐来源网址作为请求标头的一部分传递。如果您使用 . 打开调试,Wget 会打印它-d。然后使用 grep 查找“引用者”(请注意,调试输出可能会写入 stderr)。

相关内容