什么是快速、高效的线程 rsync 方法

什么是快速、高效的线程 rsync 方法

我有一个根目录(在 NAS 上),需要将其备份到另一台服务器。目录的层次结构有好几层,大部分数据由位于层次结构各个位置的大约十几个目录中的超大文件集合组成。如果我在父目录上执行 rsync,我可以获得大约 100MB/s 的吞吐量。我测试过在不同的目录上手动运行多个 rsync 进程,可以获得更高的吞吐量(350-500MB/s)。我正在从目标服务器运行 rsync。

我实施了一个简单解决方案,它只是使用父目录下的目录来拆分 rsync,但它需要更有针对性,因为其中一些目录包含的数据多于其他目录。理想情况下,每个进程负责同步大致相同数量的数据。

有没有办法使用 rsync 将任务拆分为nrsync 进程,每个进程都有(大致)相等数量的文件。

相关内容