![最佳实践:迁移电子邮箱(maildir 格式)](https://linux22.com/image/535020/%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5%EF%BC%9A%E8%BF%81%E7%A7%BB%E7%94%B5%E5%AD%90%E9%82%AE%E7%AE%B1%EF%BC%88maildir%20%E6%A0%BC%E5%BC%8F%EF%BC%89.png)
情况是这样的。
我有大约 20,000 个 maildir 电子邮件帐户,占用了我们电子邮件服务器上数百 GB 的空间。Maildir 本质上保存了数千个微小的文件,而不是一个 .mbox 文件或类似的文件……
因此,出于空间和生命周期的原因,我需要将这数百万个文件从一台服务器迁移到另一台服务器。
我使用的传统方法都可以正常工作。rsync 是我立即想到的选项,但是我想看看是否还有其他“更好”的选项。
在这种情况下,Rsync 不处理多线程传输,这很糟糕,因为它实际上从未加速并使我的网络连接饱和,因此从一台服务器到另一台服务器的传输将花费数小时,而实际上不应该超过一两个小时。
我知道这是非常主观和主观的,因此将被标记为社区维基。
答案1
考虑像这样的 tar 管道:
tar cf - . | ssh remote "cd /backup; tar xf -"
我也会查看 bbcp。我知道关于 bbcp 的页面很长而且很混乱,但请花点时间阅读它,因为我觉得这可能是这里最好的解决方案。
http://www.slac.stanford.edu/~abh/bbcp/
我已经在各种网络上完成了 bbcp 传输,发现使用正确的线程设置通常可以使任何网络饱和。
仔细考虑你使用的文件系统,因为 ext3 对于大量小文件来说可能效率很低。我会使用 XFS。
答案2
根据您的服务需求,您可能还需要考虑使用 nginx 的 IMAP 代理和 imapsync 的组合。
动态代理 IMAP 请求(使用身份验证查找来确定用户应连接到哪个后端服务器)。使用 imapsync 遍历您的用户列表。一旦用户迁移到新服务器,锁定帐户,运行最终同步,并在某处更新记录,以便身份验证查找返回新服务器。
这样,最终用户就不会看到任何中断。
imapsync 在增量同步方面也相当巧妙。
我这样做是为了将用户从 Courier 迁移到 Cyrus,并在邮件存储后端之间进行迁移。