大型 mysql 转储管道到 s3

大型 mysql 转储管道到 s3

如果数据量很大的话,这样做会有什么问题吗?

mysqldump ... | gzip | s3cmd put - s3://bucket/file.sql.gz

MySQL 转储大小约为 100GB。如果 gzip 或 s3cmd 无法足够快地处理转储,会发生什么情况?它会溢出管道缓冲区吗?

答案1

写入器将会阻塞,等待读取器准备好。

你真正应该担心的是如果 s3cmd 失败会发生什么。然后你必须从头开始。

答案2

我正在分两个步骤进行物理备份和上传到 s3 bucket,没有任何问题。数据大约 250 GB,.gz 文件大约 80 GB

相关内容