从 EC2 实例访问 S3 Bucket 中的文件的最佳方式

从 EC2 实例访问 S3 Bucket 中的文件的最佳方式

我尝试了几个软件包(goofys、s3fs、fuse),但还是无法找到解决我的问题的方法。

我有一个 S3 存储桶,里面有几千个文件,并且还会继续增长。大多数将 S3 映射到 EC2 的应用程序占用的空间比我处理的要小。文件的交付不是我的选择。

所有文件都小于 100KB。到目前为止,我发现的最大问题是文件数量太多。我需要一种方法来让 PHP 脚本轮询文件列表,寻找已知的常见模式,以构建存储列表以供将来参考。即,IMG-20160704_01.png在这种情况下,我正在寻找所有包含的文件20160704

有人有针对此问题的现行解决方案吗?

EC2 是 Centos 6.5

谢谢。

答案1

可以通过任何 AWS SDK 轻松完成。您需要执行以下操作:

  1. 检索位于 S3 存储桶中的所有对象的列表。
  2. 使用正则表达式根据您的标准过滤列表。
  3. 使用最终对象列表下载文件

如果您使用 PHP,以下文档可能对您有用: http://docs.aws.amazon.com/aws-sdk-php/v3/api/api-s3-2006-03-01.html

注意:我可以用 Python 帮你实现。如果你感兴趣的话可以给我留言(我的联系邮箱在个人资料描述里)

相关内容