我有一个
linux 服务器:a1 它的本地磁盘是:/scratch 本地磁盘中的目录是:/scratch/builda
/builda 有超过 100K 个文件,大约 100GB
我的计算集群有大约 100 台服务器 - a1 到 a100
我需要将a:/scratch/builda复制到相同结构下的a2 - a100。 builda 下的所有文件都需要复制,并且需要保持结构相同、权限相同、校验和相同等。
我尝试过 rscyn --recursive a1:/scratch/builda a2:/scratch (thro a100) 我尝试过 scp 我尝试过自动化 ftp
我看过与 rsycn 一起使用并行
所有这些都很慢,或者在 10 或 12 次运行后崩溃 - 然后减慢 - 然后我无法预测它们何时完成。
我读到了有关 grid-ftp 的内容 - 但看起来很复杂,而且我不太明白 globus。
任何帮助。
我需要在Windows(b1:x:\ builda到b2-b100:x:\ builda)和Linux(a1:/scratch/builda到a2-a100:/scratch/builda)上快速且少密码(或使用 ssh 密钥)
谢谢