从 AWS S3 流式传输失败

从 AWS S3 流式传输失败

我正在尝试从 S3 下载一个很大的 (750GB) tar 文件:

$ /usr/bin/aws s3 cp s3://something.db.backup/dbbackup.tar.gz - | tar zxvf -

这会运行很长时间(>4 小时),然后失败,例如:

download failed: s3://something.db.backup/dbbackup.tar.gz to - I/O operation on closed file.

我现在正在用 运行它--debug,它大概还会运行很长时间。与此同时,您知道可能是什么问题吗?我自己的想法是,如果tar挂了,或者网络连接断开了,我可能会收到此错误。我认为这不太可能tar消失,但另一方面,丢失的网络连接不会给出不同的错误吗?有什么想法吗?

相关内容