寻找软件套件将 CPU 密集型任务委托给 EC2 按需实例

Question

我正在寻找一个可以简化 EC2 按需实例管理以执行脚本的项目。这是我的场景。

• 脚本等待新任务
• 我的脚本读取执行参数
• 它执行外部 Python 脚本进行长期处理
• 脚本处理来自 Python 脚本的输出
• 循环到开始处（转到 10）

我不想在同一台服务器上执行 CPU 密集型 Python 脚本，而是想将其委托给按需 EC2 实例。我正在寻找一个可以帮助我完成以下任务的项目：

1. 提供在 EC2 之上构建的用于实例管理的脚本
2. 我认为，一旦实例启动，它可能会通过 ssh 进入并设置必要的环境，例如上传数据文件
3. 在这个新实例中执行应用程序
4. 收集实例结果并终止实例

我知道这一切都可以通过一些疯狂的脚本来完成，但我更愿意使用现有的软件来实现这一点。请建议我可以使用的软件包/库或工具。

Answer 1

有多个适用于不同编程语言的库可以帮助您与 AWS 交互：

• 博托（Python）
• right_aws（红宝石）
• 多雾路段（红宝石）

高血压

Answer 2

我很幸运能使用博托（一个 python AWS 控制库）用于这种事情。

Answer 3

作为一个构建块，请查看 AWS SQS 队列系统。您的脚本可以向其中添加“作业”，您的 EC2 实例将从那里读取它。