☰

并行下载数据

tag-icon • tag-icon parallelism
并行下载数据

我必须使用 ftp 下载 20G 的数据。我可以并行执行此操作吗（gnu？）以下是一些数据的链接。

 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz 
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz

谢谢，

答案1

虽然我不知道parallel，但我确实知道并行下载的一个出色工具是aria2c.

以下是 FTP/HTTP 部分的摘录它的手册:

  • -s,--split=[N]

  • 使用连接下载文件N。如果N给出多个URI，N则使用第一个 URI，其余 URI 用于备份。如果给出的 URI 少于NURI，则这些 URI 将被多次使用，以便N同时建立连接总数。与同一主机的连接数量受该--max-connection-per-server选项限制。另请参阅--min-split-size选项

  • 默认值：5

相关内容