运行从一个 SQL 服务器到 mongoDB 的数据迁移的最佳 AWS 基础设施是什么？

Question

我们在运行 SQL Server 的旧系统中拥有数 TB 的数据。我们的新版本在 MongoDB 上运行。我们正在将这些数据迁移到 MongoDB。我们编写并验证了 Python 脚本，所有数据移动均正常进行。

我们在一台 4 核的低端机器上完成了这项工作，如果我们在更大的机器上完成这项工作，成本将非常高。AWS Lambda 的处理时间为 15 分钟，一次迭代需要超过 24 小时才能完成。AWS step functions 承诺了这一点，但不确定它是否正确。

Answer 1

您能否无法在本地执行“mongoexport”，导出到 S3（或物理 AWS Snowcone 设备），使用 EC2 实例执行“mongoimport”，然后运行脚本来执行自转储以来的任何更新？

至于如何运行它，您可能会使用现货 EC2 实例，特别是如果您在该地区高峰时段之外使用它 - 比如周末。如果您的工作不能中断，那么按需 EC2。具有 4 个核心/16GB RAM 的 m5.xlarge 每小时 0.20 美元，几天就是 10 美元。

我还要指出的是，如果以 100Mbps 的速度发送 3TB 的数据，需要 2.6 天，而以 800Mbps 的速度发送则需要 7 小时 - 但是如果没有 DirectConnect，维持这种带宽可能很困难。您最好使用AWS Snowcone这是一个您将数据复制到然后发送到 AWS 的物理设备。

我建议使用 AWS Database Migration Service 来迁移从 MongoDB 到亚马逊AWS官方博客，这是他们的 MongoDB 版本，只是名称不同。DMS 将迁移数据，然后您只需将应用程序指向新实例并关闭旧实例即可。