将大数据从 AWS S3 迁移到 Azure

将大数据从 AWS S3 迁移到 Azure

我们在 AWS S3 存储桶中有 85TB 的数据。将其迁移到 Azure 的最佳选择是什么?

我现在看到两个选择:

  1. 购买AWS Snowball Edge。我能从中将数据导入 Azure 吗?
  2. 购买Azure 数据框。我可以将数据从 AWS 导出到其中吗?

另一个困难是数据是海量的小文件(图像),那么如果我们选择各自的设备,AWS 会对 GET 请求收费,Azure 会对 PUT 请求收费吗?

答案1

我会致电亚马逊和 Azure 来讨论移动这些数据的最新服务。

根据我的经验,你有两种选择:

  1. 使用 Azure 进行有线数据传输. Azure 提供了一项名为Azure 数据工厂它支持将数据从多个供应商和服务移动到 Azure。您必须为获取、放置、数据传输等付费。
  2. 数据传输设备。Amazon 和 Azure 都支持使用物理设备将数据导出/导入到其云中。您可以从 Amazon 订购导出服务,该服务将在 Snowball 上交付。然后,您可以将数据从 Snowball 复制到发送到 Azure 进行导入的物理磁盘驱动器。

如今,85 TB 的数据量不算大(85 PB 才算大),因此与从 Amazon 导出、复制数据然后导入 Azure 相比,通过网络传输数据的时间可能更短。考虑到实际情况,通过网络传输可能需要一周时间,而导出/导入可能需要一个月时间。这还不包括实际验证数据传输是否无误的时间。这个阶段可能还需要一两周时间。

答案2

对于严格的有线传输,您可以使用 Cloud Berry Labs 的 Drive 等产品,它可以让您将 S3 和 Azure 存储映射为带字母的驱动器。然后,您可以在它们之间轻松复制。我相信客户端版本可以满足您的所有需求,因为您不需要在网络上共享驱动器。

云莓实验室

关于该软件的一点需要注意的是,它会在传输时缓冲文件,因此窗口可能会显示传输已完成,但在队列中可能仍在传输,尤其是对于需要进行多部分上传的大文件。

相关内容