是否可以在 aws s3 上进行数据库复制

Question

我公司有 4TB 的数据库。由于许多不同的分析需要完整数据，因此当前数据库无法处理来自数百个用户的并发会话。

是否可以在 S3 上完成数据库复制以解决该问题。

我是说

首先

1. 首先在 s3 上进行 4TB 的完整导出
2. 现在我想进行增量更新，就像我们在从属服务器上进行数据库复制一样。但在这里我想在 S3 而不是主机上进行。即使我每天必须做一两次也没问题。

但我不想每天都导出完整的 TB

有什么办法吗

Answer 1

你不可以做这个。

没有 RDBMS 允许您将数据保存在 S3 中。S3 只是一个互联网对象存储，每次访问都需要您使用特定 API 下载整个对象。只有当对象足够小到可以一次加载并适合内存时，它才是实用的，例如像 sqlite 这样小的东西允许您在内存中加载并且对对象几乎没有任何更改。

“复制 RDB 数据更改为 S3”？甚至有些 RDBMS “发明” 了这种疯狂的功能来使用 S3 分段上传，您的公司将因大量的 PUT/LIST/GET 请求而收到巨额的 S3 和 AWS 下载账单。

准备构建一个数据集市/数据仓库，为你的操作 RBDMS 构建聚合逻辑（触发器、过程以准备一些聚合），因为对于大规模分析数据请求没有灵丹妙药。