更改大量文件的 Amazon S3 存储类别

更改大量文件的 Amazon S3 存储类别

我们正在使用 Amazon S3,并且我们的许多文件都具有 STANDARD 存储类。我们想将其更改为 REDUCED_REDUNDANCY 类以节省额外的费用。

然而,很难找到一种不超过一周的时间来执行此操作的方法。从 AWS Web 控制台执行此操作非常慢,之前使用 Bucket Explorer 进行的测试也证明速度非常慢。

也许没有快速的方法,但早期的结果表明 s3cmd 相当快。只是它似乎无法更改存储类别(除非您上传/复制文件)。

有人知道一种快速的方法吗?

答案1

您遇到的问题是每个单独请求的延迟很高。AWS 上解决此问题的方法是对请求进行高度并行化,而不是完全按顺序发出请求。

AWS/S3 设置为并行处理数百和数千个请求而不会降低性能。这可能需要您使用 API 进行一些编程,或者您可以通过在不同的窗口中针对 S3 对象的不同部分多次发出请求,利用您现有的舒适 UI 获得一些好处(两倍、三倍……)。

相关内容