将完整目录(所有级别)从一台服务器复制到多台服务器

将完整目录(所有级别)从一台服务器复制到多台服务器

我有一个

linux 服务器:a1 它的本地磁盘是:/scratch 本地磁盘中的目录是:/scratch/builda

/builda 有超过 100K 个文件,大约 100GB

我的计算集群有大约 100 台服务器 - a1 到 a100

我需要将a:/scratch/builda复制到相同结构下的a2 - a100。 builda 下的所有文件都需要复制,并且需要保持结构相同、权限相同、校验和相同等。

我尝试过 rscyn --recursive a1:/scratch/builda a2:/scratch (thro a100) 我尝试过 scp 我尝试过自动化 ftp

我看过与 rsycn 一起使用并行

所有这些都很慢,或者在 10 或 12 次运行后崩溃 - 然后减慢 - 然后我无法预测它们何时完成。

我读到了有关 grid-ftp 的内容 - 但看起来很复杂,而且我不太明白 globus。

任何帮助。

我需要在Windows(b1:x:\ builda到b2-b100:x:\ builda)和Linux(a1:/scratch/builda到a2-a100:/scratch/builda)上快速且少密码(或使用 ssh 密钥)

谢谢

相关内容