使 wget 不下载大于 X 大小的文件

Question

好吧，我放弃了。我该如何限制下载的文件大小，比如说我不想要任何大于 2 MB 的文件？

Answer 1

我知道支持的唯一限制选项wget是-Q配额开关。但这不是你想要的，因为它会在一段时间后停止。综合限额所有已下载的文件，而不是单独下载。使用-Q开关单独将每个链接传输到该链接也不起作用，如手册页。

我不知道你使用什么环境，但是爬虫支持最大长度字节的文件大小限制并在 Java 平台上运行。

从他们的用户手册：

• 最大长度字节

每个文档可下载的最大字节数。达到此限制后将截断文件。

默认情况下，此值设置为一个非常大的值（在艾字节范围内），实际上永远无法达到。

Answer 2

如果是关于“最大下载 2MB“ 而不是 ”下载最大 2MB 的文件“您可以只限制保存到磁盘的输出。

wget -O - $url |head -c 1024（带有可选> $SaveAsFile）-> 保存第一个 KB，其余部分被截断。

（足以看到“确定:$Message“，没有杀死我的/tmp来自远程的大量错误消息;-))

Answer 3

借助第三方补丁可以实现这一点：http://yurichev.com/wget.html