![AWS S3 同步作业的 VM RAM 要求](https://linux22.com/image/755919/AWS%20S3%20%E5%90%8C%E6%AD%A5%E4%BD%9C%E4%B8%9A%E7%9A%84%20VM%20RAM%20%E8%A6%81%E6%B1%82.png)
我设置了一个 VM,使用最新的 awscli v.2 将 15TB 的数据(分成 25GB 卷)同步到 S3。我的上传容量为 100Mbps,这项工作可能需要 16 天。到目前为止,我还没有这方面的经验,我正在尝试限制可能遇到的问题。
- 能否猜测一下虚拟机完成此过程所需的 RAM 要求是多少?
- 2 核虚拟机可以吗?
- 在继续之前我可能还需要检查其他什么吗?
谢谢
答案1
- 如果您使用 Linux,2GB 内存应该完全可以满足需求。
- 是的 - 两个核心就可以
- 如果可能的话,尝试压缩文件分割,压缩(即使在 2 个核心上)也可以帮助您加快该过程。
我使用 2 核 2GB 的机器完成了这项工作,没有任何问题。我在 12 核的机器上使用 gzip 压缩文件,又节省了 30%。