scp 9.2GB 文件持续锁定 AWS EC2 t2.small 实例

Question

我有一个 9.2GB 的文件，我想将其传输到我的 AWS t2.small 实例中进行备份。当我启动 scp 时，它会以每秒约 3.4MB 的速度复制文件，因此预计传输时间约为 45 分钟。

一段时间后，实例总是会锁定。我无法在终端窗口中输入任何内容，网站停滞（它是一个 Web 服务器），我无法连接到它。重新启动实例可以解决问题。

我调查了 EBS 的限制：我连接了 2 个 RAID10 200GB gp2 磁盘。从这个文档我看不到我超出了磁盘的 IOPS 或吞吐量。我还检查了带宽，但看不到任何有关 t2 实例的信息。最后我查看了CPU 积分，但想必它应该不会完全停滞？

这是一次性传输，因此我想知道必须将传输速度减慢多少才能确保安全。同时，我想了解管理此 Web 服务器的限制。

Answer 1

如果你想找出问题所在，那么你应该安装一些监控或者您也可以与系统建立多个连接并运行诸如top、vmstat、iostat等实用程序free（使用观看(1)如果需要的话）来了解系统资源的情况。收集数据，然后应用科学的方法——这是唯一可以确定的方法。

如果你只是想传输文件，请尝试使用分裂将文件分成几块并分别传输每个块。然后您可以使用 cat 将各块重新组合成整个文件。

Answer 2

一种可能性是文件系统缓存。通常，在复制大量数据时，文件系统缓存会用尽所有可用内存（t2.small 只有 2GB），从而导致交换，这可能会导致系统无响应。不过，不确定是否有办法使用 scp 绕过文件系统缓存。