如何并行上传(和测量)SFTP?

如何并行上传(和测量)SFTP?

我有一个可以通过 SFTP 访问的远程服务器。(不是通过 SSL 的 FTP,而是 SFTP。)

我需要定期将几千个新文件推送到该机器。

我怎么能够:

  1. 并行上传这些吗?
  2. 收集统计数据,以便我可以根据我的特定服务器/网络配置判断理想的并行化水平?

命令行客户端是理想的,但 GUI 也可以。

谢谢

答案1

  1. 使用允许多个流的客户端(例如 Filezilla 或 WinSCP)。或者以并行方式编写脚本(使用多线程),或者将文件分成可以运行多个脚本的块。
  2. WinSCP 将保留详细日志,因此您可以回顾这些日志并生成自己的统计数据。Filezilla 可能会这样做,但我不确定。您自己的脚本将生成您要求的日志。

答案2

mfinni 已经给出了我能想到的使用 sftp 的最佳答案。

我的建议是调查同步看看它是否满足你的需求。
它可以用来推送、拉取、同步、替换等适当的命令行选项,实现了良好的压缩,并尽可能发送增量而不是整个文件。它还具有不错的统计数据,可能满足您的需求。

相关内容