☰

使用 curl 下载 pdf 文件

tag-icon • tag-icon wget curl bash-script
使用 curl 下载 pdf 文件

如何从以下位置下载数百个 .pdf 文件http://www.ncbi.nlm.nih.gov/pmc/articles使用循环，例如对于以下文档 ID：

PMC3386155
PMC3625956
PMC3477654
PMC3531051
PMC3114846
PMC3117879
PMC3130560
PMC3531173
PMC3546115
PMC3354575
PMC3771521

答案1

这是经过测试的工作脚本

使用 wget

#!/usr/bin/env bash

Link="http://www.ncbi.nlm.nih.gov/pmc/articles/"

ID=(    PMC3386155 PMC3625956 PMC3477654 PMC3531051
        PMC3114846 PMC3117879 PMC3130560 PMC3531173
        PMC3546115 PMC3354575 PMC3771521 )

for f in ${ID[@]};
do
   wget  --user-agent="Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1" \
         -l1 --no-parent -A.pdf ${Link}${f}/pdf/ -O ${f}.pdf
done

由于远程站点不允许像这样的用户代理wget，curl 这就是为什么我们必须在中显式指定用户代理wget

使用卷曲

ID=( PMC3386155 PMC3625956 PMC3477654 PMC3531051 PMC3114846 PMC3117879 PMC3130560 PMC3531173 PMC3546115 PMC3354575 PMC3771521 )

Link="http://www.ncbi.nlm.nih.gov/pmc/articles/"

Args='-O -J -L -A "Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"'

printf "%s\n" ${ID[@]}  | xargs -n1 -I{} echo curl $Args ${Link}'{}'/pdf/ | sh

一些解释

  • -O 输出文件
  • -J 来自远程标头名称（curl 7.21.2或更新的）的输出文件名
  • -L 远程站点重定向到其他下载页面以跟随使用此
  • -A 用户代理

相关内容