☰

如何从文本文件下载文件

tag-icon • tag-icon command-line bash scripts
如何从文本文件下载文件

我有多个文本文件，例如a0001.txt，，a0002.txt最多a0900.txt包含直接图像链接https://example.com/photos/example.jpg。

我想批量下载文件夹a0001.txt中的所有链接a0001，并以文本文件的形式下载到相应的文件夹名称中。

必须按顺序下载链接，以便使用前缀重命名图像，以便进行排序。

我尝试了以下方法，但每次下载一个文件的速度非常慢，还有其他方法可以并行下载吗？

#! /usr/bin/env
bashif [ -z $1 ] || egrep -qv '^https?:\/\/[^[:space:]]+' $1; then
  echo "Usage: $0 FILE"
  echo "FILE must be a newline-separated list of URLs."
  exit
fi

INPUT_FILE=$1
OUTPUT_DIRECTORY="${INPUT_FILE%.*}"

mkdir -p $OUTPUT_DIRECTORY

i=1
while read URL; do
  FILENAME="${URL##*/}"
  curl -L $URL > "${OUTPUT_DIRECTORY}/${i}_${FILENAME}"
  i=$(($i+1))
done < $INPUT_FILE

相关内容