快速(非阻塞)方式将许多文件传输到另一台服务器

快速(非阻塞)方式将许多文件传输到另一台服务器

可能重复:
传输大量文件的最快和最可靠的方法是什么?

我目前正在尝试将超过 100 万个文件从一台服务器传输到另一台服务器。使用 wget 似乎非常慢,可能是因为它在前一次传输完成后才开始新的传输。

问题:有没有更快的非阻塞(异步)传输方式?第一台服务器上没有足够的空间将文件压缩为 tar.gz 并传输过去。谢谢!

答案1

  • 每个目录运行 1 个 rsync 进程,直到网络链接饱和。编写脚本,以便在前一个 rsync 进程结束时触发新的 rsync 进程。
  • 或者,使用包含功能对文件名开头每个唯一字符运行 1 个 rsync 进程。
  • 或者,使用包含文件的每个唯一第 1 个 + 第 2 个字符组合运行 1 个 rsync 进程。

基本上,rsync - 尽一切努力触发足以饱和您的网络链接。

答案2

将文件放在硬盘上,然后通过 FedEx、UPS、DHL 等方式发送。

相关内容