☰

s3cmd：即时备份

tag-icon • tag-icon mysql backup tar database-backup s3cmd
s3cmd：即时备份

为了进行备份，我创建了一个脚本，将我需要备份的所有文件夹存档，将其发送到 S3（通过 s3cmd），然后在上传完成后将其删除。

我正在寻找一种方法来避免必须创建存档然后删除它，因为我没有足够的空间来临时存储存档！这可能吗？

这是我的脚本：

DBLIST=`mysql -uMYSQL_USERNAME -pMYSQL_PASSWORD --events -ANe"SELECT GROUP_CONCAT(schema_name) FROM information_schema.schemata WHERE schema_name NOT IN ('information_schema','performance_schema')" | sed 's/,/ /g'`
MYSQLDUMP_OPTIONS="-uMYSQL_USERNAME -pMYSQL_PASSWORD --single-transaction --routines --triggers"
BACKUP_DEST="/home/backup/db"
for DB in `echo "${DBLIST}"`
do
    mysqldump ${MYSQLDUMP_OPTIONS} ${DB} | gzip -f > ${BACKUP_DEST}/${DB}.sql.gz &
done
wait
tar -czvf /home/backup/db2/`date +\%G-\%m-\%d`_db.tar.gz ${BACKUP_DEST}
s3cmd --reduced-redundancy put -r /home/backup/db2/ s3://MY-S3-BUCKET/ --no-encrypt
find /home/backup -type f -delete

顺便说一句，我敢打赌，将用户名/密码以纯文本形式存储在 crontab 文件中并不是最佳做法。我该如何解决这个问题？

提前致谢 ：）

答案1

看起来s3cmd至少可以根据分辨率接受来自 stdin 的输入这个错误2014 年 2 月 6 日。如果您的 s3cmd 比该版本更新，您应该能够执行以下操作：

tar -czvf - ${BACKUP_DEST} | s3cmd --reduced-redundancy put - s3://MY-S3-BUCKET/`date +\%G-\%m-\%d`_db.tar.gz --no-encrypt

大多数实用程序使用-文件名来指示写入 stdout 或从 stdin 读取。这样可以避免驱动器上存在 .tar.gz 文件。

至于密码/密钥/等等，似乎您可以使用 为 s3cmd 指定一个配置文件-c FILENAME，大概您会使用添加--dump-config到完整s3cmd命令行生成的命令来创建文件。不过，您仍然需要保护该文件。同样，MySQL 也有自己的~/.my.cnf文件（请参阅这里例如）您可以在其中存储连接信息。

此外，由于您已经对各个数据库转储进行了 gzip 压缩，我怀疑再次对 tar 进行 gzip 压缩不会进一步压缩数据，并且会使整个过程花费更长时间。考虑仅使用-cvf -和.tar作为文件名。

相关内容