wget 进行验收测试,重定向未通过测试

wget 进行验收测试,重定向未通过测试

我正在运行命令:

wget -r --wait=2 --random-wait -P ./pdfs -A pdf -e robots=off https://www.<somesite>/documents

该命令已在其他网站上运行以递归下载所有 pdf,但在我需要的网站上它没有获取任何内容。详细的错误日志指出了问题所在。它重定向到 /document/latest 然后中断:

Deciding whether to enqueue "https://www.<somesite>/document/latest"
https://www.<somesite>/document/latest (latest) does not match acc/rej rules.
Decided NOT to load it.

我不确定它是否由于安全重定向而损坏,或者因为它认为 /latest 是一个文件,因为没有尾随反斜杠。到目前为止,我所尝试的只是尽可能多地剥离选项,并添加忽略机器人的内容。我无法删除 -A pdf 因为那样我就会被垃圾超载。这里出了什么问题以及如何修复它?非常感谢!

相关内容