我需要在 7 天内下载 100 GB 的文件(大约 150 个文件),否则文件会过期。下载速度受主机限制,因此下载时间比基于正常互联网速度的理论传输速度要长得多。我有一个 curl 脚本http://curl.haxx.se/docs/manpage.html命令——每个文件一行。
我曾想过自动启动 n 个 EC2 实例,执行命令并将文件通过 FTP 传输到中心位置,然后关闭机器。我该怎么做?
我并不关心它是 Linux 还是 Windows。
答案1
我建议将 Canonical 的 AMI 与 cloud-init 结合使用
https://help.ubuntu.com/community/CloudInit
查找有关“用户数据脚本”的部分,您可以在其中使用 --user-data-file 在启动时自动启动脚本。因此,您只需将所有要运行的命令放入脚本中,然后在脚本末尾放入“shutdown -h now”。
答案2
我用过博托编写此类脚本。最简单的方法是启动 Linux 映像,然后通过 ssh 进入这些映像,让它们工作。
答案3
不确定最佳解决方案。但如果您定期执行此操作并且需要某些东西来自动启动和停止您的机器,那么您可能需要查看此产品:http://LabSlice.com(声明我是首席技术官)。