☰

如何下载网页中所有大小>100kb的图片？

tag-icon • tag-icon wget curl
如何下载网页中所有大小>100kb的图片？

我想下载某些网页中包含的图像，但仅限那些大于 100 KB 的图像。到目前为止，我已经下载了所有图像，然后删除了小图像，但这不是很有效。有什么方法可以在下载时忽略小文件吗？

答案1

如果您使用 http HEAD 请求，则仅返回标头。

这是一个粗略的方法（假设您有一个网址列表）。阈值=expr 100 \* 1024

for url in ${list_of_urls} ; do    
    size=`curl -s --head ${url} | grep 'Content-Length:' | cut -d ' ' -f 2` 

    if [ ${size} -gt ${threshold} ] ; then  
        curl -s ${url}
    fi    
done

相关内容