如何中断并继续下载多个 wget 文件而不重复?

如何中断并继续下载多个 wget 文件而不重复?

wget我正在从包含我需要下载的文件的 URL 的 csv 文件下载约 330k 科学文件。所以,我正在使用命令

wget -i all_the_urls.csv

我的文件all_the_urls.csv看起来像这样

http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits

这些文件很小,每个大约 250 kB。但它们的数量太大了,我有时需要中断下载,然后再继续下载。是否有一个wget命令可以使用,以便我可以在上次下载的文件之后的位置继续下载,而不是在 URL 列表的开头?

如果没有这样的命令,你能告诉我如何使用以下解决方法之一(我不知道wget):

  • 下载文件后wget删除该文件的 URLall_the_urls.csv
  • 在下载新文件之前wget,检查该文件是否已下载,如果是,则跳到下一个文件(但不确定此检查的时间成本)

任何其他想法也欢迎! tnx

答案1

-c对于继续和可能-nc,没有任何破坏者应该工作。

mirror尽管相关文档很差,但您最好看一下。

相关内容