是否可以将文件直接上传到 Amazon S3 并进行编辑?

是否可以将文件直接上传到 Amazon S3 并进行编辑?

我遇到了这个问题,我希望让用户将他们的文件直接上传到我在 Amazon S3 上的存储桶。此步骤可以像所述一样轻松完成这里

但是如果我需要用 编辑每个文件该怎么办FFMPEG

例如。

shell_exec('ffmpeg -i /sample.wav -acodec libmp3lame /sample.mp3');

目前,我首先将文件存储到我的服务器,运行 shell 命令,然后我使用putObject它们发送到 S3,但是有没有更好的方法来完成此操作,让我的服务器保持安静?

我的规格:

  • 安装了 LAMP 的 EC2 运行 Ubuntu 14.04
  • AWS 开发工具包 PHP

答案1

根据我对您的解决方案的理解,我认为您希望使用现有的相同 ubuntu 服务器来执行上传的媒体文件的转码。

问题是,存储在 S3 中的对象无法像普通文件系统上的文件那样访问,您可以从 S3 下载文件并在 Web 服务器实例上进行处理,但这会是一个复杂且可能效率低下的设置。

最好将转码过程与 Ubuntu 服务器分离,并让它以真正的云方式进行。最好的解决方案是 S3 事件和 Lambda。

因此,根据我对您的用例的理解,我建议您采用以下解决方案:

  1. 创建一个具有适当权限的存储桶来接收文件(最好不要公开,否则你的账单可能会变得非常昂贵)
  2. 创建一个 S3 事件以在创建/放置/更新对象时触发 Lambda(取决于您希望触发的内容以及文件在 S3 上的放置方式)
  3. 使用 lambda 来处理您的文件,或者让 Lambda 启动一个具有 UserData 脚本的实例来执行该工作。

关于实例的 UserData,您可能希望它执行以下步骤:

  1. 下载 ffmpeg
  2. 安装 ffmpeg
  3. 从 s3 下载文件(你可以从 lambda 传递此参数)
  4. 使用 ffmpeg 处理文件
  5. 将文件上传到 s3
  6. 使用 ec2 元数据服务查找实例自己的实例 ID
  7. 运行 aws cli 命令来终止提供已解析实例 ID 的实例。

最好创建一个已经安装了 ffmpeg 的 AMI,但您需要决定是花 5 分钟为每个实例进行系统准备更便宜,还是花钱购买一个随时可用的 AMI。我想说,除非您的处理时间超过一小时,或者您的用例需要尽快返回文件,否则最好每次都安装 ffmpeg,因为即使您只使用了 15 分钟,AWS 也会按整小时计费。

对于此方法的建议:

您可能希望在创建新处理的文件时进行进一步的活动,那么为什么不利用 s3 事件来启动另一个 Lambda 进程呢?:)

此外,为了保持清洁,如果您的解决方案允许,请尝试将您创建的文件上传到 s3,并使用与放置上传文件的不同的关键路径。

替代方案:使用 Elastic Transcoder

另一种选择是使用 AWS Elastic Transcoder 服务。您可以以相同的方式将作业发送到转码器,方法是在 S3 存储桶更新时触发 lambda,并让其处理该存储桶中的文件。然后,Elastic Transcoder 可以通知 SNS 队列,然后该队列可以触发电子邮件或另一个 Lambda 查询来处理创建的文件。

Elastic Transcoder 可能是一种更酷且更好的方法,但它需要更多的工作。

Elastic Transcoder 要求您创建一个管道,然后使用该管道创建一个作业。我将为每个作业链接 JavaScript SDK。

创建管道 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/ElasticTranscoder.html#createPipeline-property

创建作业 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/ElasticTranscoder.html#createJob-property

另一种替代解决方案:使用 Amazon SQS

如果您希望在 ubuntu 实例上进行处理而不是从 Lambda 启动另一个实例,则可以使用 S3 事件来触发 lambda 将作业发布到 Amazon SQS。

然后,Amazon SQS 将让您自己创建的代理轮询 Amazon SQS 中的作业,然后让您引用 s3 中需要转码的文件。不过,这相当复杂,我只是为了完整性而将其包括在内,除非您确实需要在已有的 ubuntu 实例上执行这项工作。

相关内容