在 Amazon EC2 云中设置脚本

在 Amazon EC2 云中设置脚本

我目前正在 Windows PC 上运行一些 perl 和 python 脚本,并希望将其移植到运行 64 位 LINUX 的 Amazon EC2 服务器上。这些脚本是基本的网络抓取工具,可以访问各种网站,获取数据,然后每天将其保存为 csv 文件。

我想将这些安装在云中并以自动方式运行,这样它们就可以在无需我干预的情况下运行。此外,考虑到我不想在实例崩溃时丢失所有数据,我还应该将 csv 文件上传到 Amazon S3。

你知道我该怎么做吗?我不太熟悉 LINUX,也不太了解 Perl/Python。我解决这个问题的最佳方法是什么

答案1

如果您所做的只是抓取网站,我建议采用替代解决方案:

不要使用 Amazon EC2。EC2 需要的技能水平不仅仅是能够管理 unix 风格的操作系统。EC2 还假设您可以自己处理情况,没有人会帮助您。我知道目前 EC2 对个人新注册用户是免费的,但您是在用气动风镐敲打收尾钉。

相反,使用支持 perl 的共享 Web 托管服务,这些服务在有用的http://perlsharedhosting.com/会很好。那里列出的共享托管提供商都相对便宜(< 10 美元/月),并为您提供使用 CPAN 的机会。这样,您就让其他人担心服务器操作系统,而您只需担心您的脚本。然后了解如何使用 unix crontab 按计划运行您的脚本,或者学习 POE 或 AnyEvent 之类的东西来使您的抓取工具成为一项服务(在 CPAN 中搜索后两个)。

至于存储,您可以为共享主机购买备份包,并且您的包中应该有足够的免费存储空间(通常至少 10GB)。如果您出于某些特定原因需要备份到 S3,您也可以这样做,CPAN 上甚至有 perl 模块可以帮助您。为了获得加分,我建议您探索 Dancer 或 Catalyst,以便从 Web 浏览器获取您的 scarping,并在此过程中学习 perl webdev。请记住,这些共享主机包通常包括无限传输和几乎无限存储,而 EC2 不包括这些。

如果共享主机无法使用,而您又想花更多钱,我建议您使用 linode.com 作为中间步骤。您需要负责安装 Linux,但与 EC2 相比,您拥有更多的支持备份。

底线是,EC2/S3 是非常有用的工具,但它们实际上只适用于生产部署或具有生产部署经验的非常认真的个人。因为听起来你没有这方面的经验,所以我强烈建议你走另一条路。

祝你好运。

答案2

  1. 找一个了解 Linux、Perl 和 Python 的人。
  2. 给他们钱。

答案3

我不知道 EC2 是否适合这项工作。也许可以看看http://www.picloud.com/它基本上允许您在云中运行单一方法。

答案4

您可以使用其中一个云管理应用程序通过 UI 为您执行此操作,或者提交支持请求让系统管理员为您执行此操作 - 如果您想使用 AWS。查看 cloudkick.com 和http://digitalmines.com(免责声明:我在 Digital Mines 工作)。

相关内容