当新文件上传到云存储桶时，如何在 Google 计算引擎上触发 shell 脚本

Question

我正在构建一个程序，该程序处理 csv 文件，并在用户将文件上传到 Google 存储桶时使用 shell 脚本从中提取数据。用户一天可以上传文件任意次，并且必须立即处理。我该如何实现这一点？

Answer 1

您可以创建一个计划任务并根据需要定期或每分钟运行脚本。检查是否有新文件上传，并使用您创建的 shell 脚本处理 csv 文件以提取数据。

Answer 2

如果您有在 Linux 机器上处理 csv 文件的程序，您可以执行以下操作：

1. 创造一个 IAM 用户可以通过 csv 访问存储桶。
2. 安装在你的 Linux 上安装 gsutil 并使用我是 用户。

3. 使用 gsutil rsync 命令创建一个 shell 脚本，例如，这里文档。

   gsutil rsync -d -r 存储桶本地目录

4. 使用此命令，您可以将存储桶与本地文件夹同步，反之亦然，因此只会下载新文件，您可以每分钟或在任何地方执行此操作。

5. 处理新的 cvs 文件