如果数据量很大的话,这样做会有什么问题吗?
mysqldump ... | gzip | s3cmd put - s3://bucket/file.sql.gz
MySQL 转储大小约为 100GB。如果 gzip 或 s3cmd 无法足够快地处理转储,会发生什么情况?它会溢出管道缓冲区吗?
答案1
写入器将会阻塞,等待读取器准备好。
你真正应该担心的是如果 s3cmd 失败会发生什么。然后你必须从头开始。
答案2
我正在分两个步骤进行物理备份和上传到 s3 bucket,没有任何问题。数据大约 250 GB,.gz 文件大约 80 GB