以低成本在同一区域内跨存储桶移动 1TB/100 万个文件

以低成本在同一区域内跨存储桶移动 1TB/100 万个文件

目前我们需要迁移一个约 1 TB 的存储桶,但其中包含大量文件,这些文件被分成多层子目录。如果我正确理解定价,则在同一区域的存储桶之间移动数据应该是免费的,如下所示:

“S3 存储桶之间或从 S3 到同一区域内的任何服务的传输都是免费的。”

从查看 AWS 文档来看,建议使用 aws s3 cli 来同步文件。

在这种情况下,我会运行aws s3 sync s3://oldbucket s3://newbucket。在与存储桶在同一区域运行的 ec2 实例上。但我是否仍需要为 GET / PUT 请求付费?

在这种情况下,存储成本不是问题,我只是担心大量的小文件会造成巨大的请求成本。

如果有人对此有更好的见解,我会非常欣慰。

答案1

我发现 AWS 定价真的很复杂。正如您所说,“S3 存储桶之间或从 S3 到同一区域内的任何服务的传输都是免费的。”如 AWS 定价页面上所述:https://aws.amazon.com/s3/pricing/

然而,在 S3 部分的简单月度计算器上,它确实表明复制操作以及获取和放置会产生少量成本http://calculator.s3.amazonaws.com/index.html

尝试使用计算器来获取复制操作的估计成本。

答案2

利用同一区域的 EC2 实例而不是本地机器来避免出口费用并可能降低传输速度

相关内容