wget 可以检测远程重复文件(具有不同的名称)并只下载一个吗?

wget 可以检测远程重复文件(具有不同的名称)并只下载一个吗?

我正在递归检索动态网站内容。不幸的是,文件可以从不同的动态 URL 获得。例如,可能文件http://foo.bar/bla.php?q=xyzhttp://foo.bar/bla.php?q=abc确切地相同(它们具有相同的校验和)但作为不同的文件下载。

是否可以让 wget 检测到这样的事情并只下载其中一个?

另外:即使页面引用第二个,是否可以将-k转换链接链接到已下载的链接?

谢谢!

相关内容