为什么 scp 这么慢以及如何让它更快？

Question 1

您可以使用rsync(over ssh)，它使用单个连接来传输所有源文件。

rsync -avP cap_* user@host:dir

如果您没有rsync（为什么不！？），您可以像这样使用tarwith ssh，这可以避免创建临时文件（这两种选择是等效的）：

tar czf - cap_* | ssh user@host tar xvzfC - dir
tar cf - cap_* | gzip | ssh user@host 'cd dir && gzip -d | tar xvf -'

rsync在其他条件相同的情况下，这是首选，因为它可以在发生中断时重新启动。

Answer

您可以使用rsync(over ssh)，它使用单个连接来传输所有源文件。

rsync -avP cap_* user@host:dir

如果您没有rsync（为什么不！？），您可以像这样使用tarwith ssh，这可以避免创建临时文件（这两种选择是等效的）：

tar czf - cap_* | ssh user@host tar xvzfC - dir
tar cf - cap_* | gzip | ssh user@host 'cd dir && gzip -d | tar xvf -'

rsync在其他条件相同的情况下，这是首选，因为它可以在发生中断时重新启动。

Question 2

@wurtel 的评论可能是正确的：建立每个连接都有很多开销。如果你能解决这个问题您将获得更快的传输速度（如果不能，只需使用@罗艾玛的rsync解决方法）。我做了一项实验，将类似大小的文件（head -c 417K /dev/urandom > foo.1并制作了该文件的一些副本）传输到需要一段时间才能连接的主机（HOST4）和响应速度非常快的主机（HOST1）：

$ time ssh $HOST1 echo


real    0m0.146s
user    0m0.016s
sys     0m0.008s
$ time scp * $HOST1:
foo.1                                         100%  417KB 417.0KB/s   00:00    
foo.2                                         100%  417KB 417.0KB/s   00:00    
foo.3                                         100%  417KB 417.0KB/s   00:00    
foo.4                                         100%  417KB 417.0KB/s   00:00    
foo.5                                         100%  417KB 417.0KB/s   00:00    

real    0m0.337s
user    0m0.032s
sys     0m0.016s
$ time ssh $HOST4 echo


real    0m1.369s
user    0m0.020s
sys     0m0.016s
$ time scp * $HOST4:
foo.1                                         100%  417KB 417.0KB/s   00:00    
foo.2                                         100%  417KB 417.0KB/s   00:00    
foo.3                                         100%  417KB 417.0KB/s   00:00    
foo.4                                         100%  417KB 417.0KB/s   00:00    
foo.5                                         100%  417KB 417.0KB/s   00:00    

real    0m6.489s
user    0m0.052s
sys     0m0.020s
$

Answer

@wurtel 的评论可能是正确的：建立每个连接都有很多开销。如果你能解决这个问题您将获得更快的传输速度（如果不能，只需使用@罗艾玛的rsync解决方法）。我做了一项实验，将类似大小的文件（head -c 417K /dev/urandom > foo.1并制作了该文件的一些副本）传输到需要一段时间才能连接的主机（HOST4）和响应速度非常快的主机（HOST1）：

$ time ssh $HOST1 echo


real    0m0.146s
user    0m0.016s
sys     0m0.008s
$ time scp * $HOST1:
foo.1                                         100%  417KB 417.0KB/s   00:00    
foo.2                                         100%  417KB 417.0KB/s   00:00    
foo.3                                         100%  417KB 417.0KB/s   00:00    
foo.4                                         100%  417KB 417.0KB/s   00:00    
foo.5                                         100%  417KB 417.0KB/s   00:00    

real    0m0.337s
user    0m0.032s
sys     0m0.016s
$ time ssh $HOST4 echo


real    0m1.369s
user    0m0.020s
sys     0m0.016s
$ time scp * $HOST4:
foo.1                                         100%  417KB 417.0KB/s   00:00    
foo.2                                         100%  417KB 417.0KB/s   00:00    
foo.3                                         100%  417KB 417.0KB/s   00:00    
foo.4                                         100%  417KB 417.0KB/s   00:00    
foo.5                                         100%  417KB 417.0KB/s   00:00    

real    0m6.489s
user    0m0.052s
sys     0m0.020s
$

Question 3

转会谈判需要时间。一般来说，操作n文件的乙每个字节比单个文件上的单个操作花费的时间要长得多n*乙字节。例如对于磁盘 I/O 也是如此。

如果你仔细观察，你会发现这种情况下的传输速率是文件大小/秒。

要更有效地传输文件，请将它们与捆绑在一起tar，然后传输 tarball：

tar cvf myarchive.tar cap_20151023T*.png

或者，如果您还想压缩存档，

tar cvzf myarchive.tar.gz myfile*

是否压缩取决于文件内容，例如。如果它们是 JPEG 或 PNG，压缩不会产生任何效果。

Answer