☰

将大文件（100GB）从我的 colo 数据中心移动到 EC2 实例

tag-icon • tag-icon amazon-ec2
将大文件（100GB）从我的 colo 数据中心移动到 EC2 实例

我正在设置一个新的 EC2 实例。作为此过程的一部分，我需要将一个大文件 (100GB) 从我们的托管数据中心移动到 EC2。（例如，托管站点有大量带宽……）。

我的 EC2 实例具有很大的 EBS 卷，因此我有地方放置它。

我尝试了 robocopy，但花了很长时间。现在我尝试了 teracopy，但似乎要花 12 个小时。（现在的时钟速度为 1.8MB/s）（robocopy 和 teracopy 都可以使用 Windows 文件共享。）

  • 托管数据中心：大量带宽（出站带宽 30-60mbps 或更多）
  • EC2 实例：m1.medium 实例

有哪些选项可以加快这一进程？

谢谢你！

答案1

我的第一步是尝试一个更大的实例。m1.mediums 具有“中等”网络性能。http://aws.amazon.com/ec2/instance-types/#instance-details

hi1.4xlarge 之类的东西可以为您提供 10 GB 的 AWS 网络连接。如果测试没有显示更好的性能，则瓶颈不是 AWS。

答案2

或者，您也可以通过电子邮件发送您的数据：http://aws.amazon.com/importexport/

答案3

您可以通过从与您的实例位于同一地理区域的大型镜像站点下载内容来测试 Amazon 链接和 EBS 卷。我的欧盟 t1.micro 实例可以从以下位置获得约 6-9MB/slive.debian.net。在美国西部，我可以用微型计算机获得 2-4MB/s镜像网站

尝试使用 FTP/SCP/SFTP 之类的方式进行传输，这可能比通过 WAN 链接的 CIFS 更快一些，特别是当您两端都有旧版本的 Windows 时。

如果还有其他东西从 colo 链接传出，1.8 MB 与您引用的带宽相差不大。您可以通过将文件拆分成块并并行运行每个块的副本来从链接中获得更多。ymmv 取决于限制带宽的因素。

答案4

通过 S3 移动它。

已经快两年了，EC2 的网络性能仍然不太好。通过 S3 传输实际上更快，尽管这是一个额外的跳跃。我在悉尼。

相关内容