如何使用 wget 从网站下载多个文件并在下载下一个文件之前对下载的文件执行功能

如何使用 wget 从网站下载多个文件并在下载下一个文件之前对下载的文件执行功能

我用来wget从网站下载一些 json 文件。但是,我想在下载下一个文件之前对这些文件执行某种功能以减小其大小。

有没有办法指定一个wget命令,然后在下载下一个文件之前对下载的文件执行一系列功能?

我的脚本示例如下:

for FILE in wget -A json -np -nd -r **website URL**
  do **somefunctions** 
  rm $FILE
done

但这似乎不起作用。

答案1

最终使用命令

wget -O **URL** | awk **file suffix** | cut **delimiter1** | cut **delimiter2** > filenames.txt

然后我只是迭代该文件以一次下载一个文件:

while read FILE; do **commands**; done <filenames.txt

不是非常优雅,但它做到了!

相关内容