![wget:在访问之前,在爬取过程中编辑损坏的链接](https://linux22.com/image/773247/wget%EF%BC%9A%E5%9C%A8%E8%AE%BF%E9%97%AE%E4%B9%8B%E5%89%8D%EF%BC%8C%E5%9C%A8%E7%88%AC%E5%8F%96%E8%BF%87%E7%A8%8B%E4%B8%AD%E7%BC%96%E8%BE%91%E6%8D%9F%E5%9D%8F%E7%9A%84%E9%93%BE%E6%8E%A5.png)
情况:
我想镜像一个旧网站。该网站位于https://example.com/website/
。该网站使用绝对链接指向http://www.example.com/website/
。
问题:
无论出于什么原因,wget 都无法到达https://www.example.com
(www. 文件夹),连接就会超时 - 不知道为什么,它在浏览器中运行良好(顺便说一下 curl 也不能)。
可能的解决方案:
- 当 wget 仍在爬行时,让它在跟踪链接之前重写链接。
- 使 wget 与 www. 文件夹一起工作。
为了使 .www 正常工作,我已经尝试将用户代理设置为 FF:,--header="Accept: text/html" --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0"
但没有效果。
因此我需要在爬行时以某种方式重写该网站上的链接。