wget
我正在从包含我需要下载的文件的 URL 的 csv 文件下载约 330k 科学文件。所以,我正在使用命令
wget -i all_the_urls.csv
我的文件all_the_urls.csv
看起来像这样
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits
这些文件很小,每个大约 250 kB。但它们的数量太大了,我有时需要中断下载,然后再继续下载。是否有一个wget
命令可以使用,以便我可以在上次下载的文件之后的位置继续下载,而不是在 URL 列表的开头?
如果没有这样的命令,你能告诉我如何使用以下解决方法之一(我不知道wget
):
- 下载文件后
wget
删除该文件的 URLall_the_urls.csv
- 在下载新文件之前
wget
,检查该文件是否已下载,如果是,则跳到下一个文件(但不确定此检查的时间成本)
任何其他想法也欢迎! tnx
答案1
-c
对于继续和可能-nc
,没有任何破坏者应该工作。
mirror
尽管相关文档很差,但您最好看一下。