我正在 CentOS 6 上运行一个通过慢速网络连接到头节点的集群。每个生成的作业都需要将一个 ~1GB 的文件从头节点拉到计算节点，然后在本地处理它。头节点的文件系统通过 NFS 提供服务。
允许每个生成的作业（同时）获取cp其所需的文件显然会拖慢 NFS 服务器的速度。
是什么推荐方式在Linux上对复制/文件传输过程进行排队？
NFS 不必包含在内。如果有一个 (s)ftp 服务器可以接受多个请求并一次处理一个（或 N 个）请求，那就完美了。“客户端”组件应该能够等待很长时间而不会超时。我使用的集群管理器是 SLURM；但这个问题很普遍。
编辑
这并不是在所有节点上同步数据集的问题。每个节点都需要自己的文件。
答案1
坦白说，听起来你确实应该使用 bittorrent 来同步这些文件。这样任何一台机器上都不会出现热点。