在多台服务器之间传输大文件的最佳方式是什么?

在多台服务器之间传输大文件的最佳方式是什么?

我目前正在使用 scp,但它似乎每天都变得越来越慢。我最多有 30 台服务器,每天需要重新整理大约 3-5k 个文件,平均大小为 200-400MB。

我以前也使用过 rsync,结果更糟糕。

每个服务器都应该能够将文件传输到池中的任何其他服务器(我现在每月添加大约 7 台服务器),因此密钥管理也非常关键。

答案1

rsync 的速度很快,正常情况下应该比 scp 快。

如果这还不够好……瓶颈在哪里?所有文件的源设备都是通用的吗?

如果没有更多信息,我将放弃使用 BitTorrent。例如,Twitter 构建了一个使用 BitTorrent 进行大规模代码部署的工具:谋杀

相关内容