如何将大文件批量上传到 AWS S3？

Question

我想将包含 1.4 TB 数据的 Linux 文件服务器备份到 AWS S3 Standard - IA。有些文件很大，超过 100 MB，我读到应该使用多部分备份。我如何在命令行上执行此操作，以便它进行同步，但自动处理较大的文件？

例如我想递归备份所有 /home 和 /root。

Answer 1

这aws-cli 工具有两组 S3 命令：s3api直接调用特定 API（例如aws s3api put-object）和s3用户级抽象（如aws s3 cp或aws s3 sync）。

对于大于 8Mb 的文件，后者将自动使用 S3 分段上传，它甚至有一个multipart_threshold配置选项来定制行为。