我需要将 100 个大小为 30GB 的文件从一台远程服务器传输到另一台远程服务器。
我已将要传输的所有文件保存在名为to_transfer.大多数文件都是这种格式
- 1.数据
- 1.idx
- 1.vif
所有文件都在这样的对中，n.dat, n.idx, n.vif。
我正在使用这个命令。
rsync -azP --remove-source-files --progress --files-from=/storage/to_transfer /storage [email protected]:/tmp
这将逐个传输文件，但我想并行移动所有文件，我有 1 GBit/s 的保证带宽。我怎样才能充分利用它？
我也在完全传输后删除文件。
答案1
https://www.gnu.org/software/parallel/man.html#示例：-Parallelizing-rsync
cd src-dir
find . -type f |
parallel -j10 rsync -zR -Ha ./{} fooserver:/dest-dir/