首先，我查看了所有现有的答案，但没有一个能解决我的问题（UseDNS等）。问题是当我尝试使用SSH连接到我的VPS时（Putty是相同的），大约50％的时间会出现长时间延迟（~1+分钟）。使用ssh -vvv我发现它挂起的地方：
OpenSSH_7.2p2 Ubuntu-4ubuntu2.1, OpenSSL 1.0.2g 1 Mar 2016
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug2: resolving "mydomain.ca" port 22
debug2: ssh_connect_direct: needpriv 0
debug1: Connecting to mydomain.ca [0:0:0:0::0] port 22.
<hangs right here>
debug1: connect to address 0:0:0:0::0 port 22: Resource temporarily unavailable
debug1: Connecting to mydomain.ca [1.1.1.1] port 22.
debug1: Connection established.
它挂起然后导致资源暂时不可用，此时它会尝试 IPv4 并立即连接。
我尝试使用-4参数强制 IPv4，它确实强制 IPv4，但奇怪的是问题仍然存在，所以我认为这个问题比 SSHD 更深。我基本上只是使用我的主机 (OVH) 在设置 VPS 时提供的任何网络配置，但我想在去问他们之前先在这里问一下。服务器正在运行 Debian 8 Jessie。