AWS S3 同步作业的 VM RAM 要求

Question

我设置了一个 VM，使用最新的 awscli v.2 将 15TB 的数据（分成 25GB 卷）同步到 S3。我的上传容量为 100Mbps，这项工作可能需要 16 天。到目前为止，我还没有这方面的经验，我正在尝试限制可能遇到的问题。

1. 能否猜测一下虚拟机完成此过程所需的 RAM 要求是多少？
2. 2 核虚拟机可以吗？
3. 在继续之前我可能还需要检查其他什么吗？

谢谢

Answer 1

1. 如果您使用 Linux，2GB 内存应该完全可以满足需求。
2. 是的 - 两个核心就可以
3. 如果可能的话，尝试压缩文件分割，压缩（即使在 2 个核心上）也可以帮助您加快该过程。

我使用 2 核 2GB 的机器完成了这项工作，没有任何问题。我在 12 核的机器上使用 gzip 压缩文件，又节省了 30%。