我怎样才能加快 SFTP 的速度？

Question

我使用的设置要求我使用 SFTP 将文件发送到我的服务器。SFTP 服务器需要 2-4 秒才能连接，每次我更改文件夹时，文件列表都需要 1-2 秒才能更新。这很快就会过时 ;-) 有什么方法可以加快 SFTP 的速度吗？

我可以完全控制我要上传到的服务器，因此如果这是答案，我可以使用不同类型的协议/服务器。