有谁知道如何在使用 WAL-E 时让我的复制件更快地处理 WAL 段? https://github.com/wal-e/wal-e
我有一个主服务器利用 WAL-E 上传到 S3,并且我有 6 个副本(hot_standby)从 S3 拉下信息,但其中一些落后了。
有趣的是,纽约的 2 台复制服务器通常不会落后,但其他 4 台(旧金山、亚特兰大)却落后(2000 秒以上)并且似乎没有赶上。
有人对我如何解决此问题有什么建议吗?
我甚至减慢了插入到主服务器的速度,但它们仍然落后。
答案1
据我所知,您正在使用 S3 作为通用存储进行日志传送。您应该改用流式复制。这样,您的从属服务器就不会落后超过几秒钟。
但它可能会产生带宽成本 - 我记得是每 GB 0.01 美元。您可以使用级联复制为多台服务器仅支付一次此带宽费用。
您还可以使用日志传送到 S3 以实现灾难恢复目的。
我认为 S3 可能正在可用区域之间复制数据,而您看到的是此复制的延迟。