☰

AWS S3 Sync 选项重复/行为怪异

tag-icon • tag-icon amazon-web-services amazon-s3
AWS S3 Sync 选项重复/行为怪异

我正在尝试将一个包含 2M+ 个文件的文件夹同步到 S3，一切顺利，但有 40,000 个文件未上传（服务器随机崩溃），当我尝试再次执行同步命令时，它从 0 开始，即使我们在 S3 上有 2M-40K 个图像，它也会重新上传 2M 个图像，并出现“重复”。

为什么我说“重复”？因为当我在 S3 上重新同步之前列出列表时，它说我有一个 -40K 文件差异，当我在几分钟后重新同步时，它说它有 +80K 差异，它怎么可能比原始文件多 80K 文件呢？重复/版本/历史

所以我正在尝试上传仅有的丢失的 40k 文件，因为这些文件位于文件夹的末尾，所以如果重新开始，它必须等待另一天才能上传相同的 2M 文件...

我希望我解释得正确。

总结：破碎同步针对 S3 的 2M 文件命令没有上传 40K 文件，我该如何上传只有这些 40k 文件而不是 2M？

答案1

您的场景听起来就像 s3 sync 工具的用途。我认为“aws s3 sync local_directory s3://your_bucket_location”应该完全按照您的要求工作。

您是否在使用 AWS CLI 工具？如果是，您可以尝试使用 --dry-run 并告诉我们它是否认为差异约为 40k 或实际上所有文件都大于 2M？

编辑：s3同步文档，以防万一。http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

答案2

您可以使用Minio 客户端又名 mc，它是开源的并且与AWS S3兼容。

您可以使用 Minio 客户端“镜像command to do the upload. Minio client also has恢复会话”命令，它将上传上次断开连接时留下的对象。

例子：

$ mc cp myminio92/atul/yEd-3.15.0.2_with-JRE8.dmg 播放/kline
....0.2_with-JRE8.dmg： 7.13 MB / 96.19 MB ┃▓▓▓▓█░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░┃ 7.42 % 3.00 MB29s mc：会话已安全终止。要恢复会话，请按“mc session resume KBIJTOtQ”
minio@minio2:~/atul$ mc 会话恢复 KBIJTOtQ
....0.2_with-JRE8.dmg：96.19 MB / 96.19 MB ┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ 100.00 % 2.75 34 系列

希望对您有所帮助。免责声明：我为米尼奥

相关内容