我正在递归检索动态网站内容。不幸的是,文件可以从不同的动态 URL 获得。例如,可能文件http://foo.bar/bla.php?q=xyz
和http://foo.bar/bla.php?q=abc
确切地相同(它们具有相同的校验和)但作为不同的文件下载。
是否可以让 wget 检测到这样的事情并只下载其中一个?
另外:即使页面引用第二个,是否可以将-k
转换链接链接到已下载的链接?
谢谢!
我正在递归检索动态网站内容。不幸的是,文件可以从不同的动态 URL 获得。例如,可能文件http://foo.bar/bla.php?q=xyz
和http://foo.bar/bla.php?q=abc
确切地相同(它们具有相同的校验和)但作为不同的文件下载。
是否可以让 wget 检测到这样的事情并只下载其中一个?
另外:即使页面引用第二个,是否可以将-k
转换链接链接到已下载的链接?
谢谢!