如何在 Google Cloud Dataprep 中运行完整流程?

如何在 Google Cloud Dataprep 中运行完整流程?

我正在使用 Google Cloud Dataprep。我可以运行单个配方,但我想运行由多个配方组成的完整作业。我知道我可以安排,但现在有没有“运行流程”的选项?

另外,我想知道我是否可以更改配方的输出并写入不同于 csv 的输出,例如我想在 Google Big Query 表中写入。

提前致谢

答案1

无论您处于显示所有流程的“流程”屏幕,还是处于流程概览屏幕,您都可以单击省略号 (...) 并安排流程。这要求您安排它多次运行,并且没有一次性/临时选项。您可以安排它,然后在它运行一次后删除计划。

如果配方相互依赖,那么当您在流程末尾运行与配方相关的作业时,它应该执行前面的配方。

除此之外,这似乎是数据准备工具的一个功能缺陷。这意味着它更像是一个对最终用户友好的工具,而不是一个成熟的自动化工具。对于技术更精通的人来说,如果您能在数据流中完成您需要做的事情,那么它可能值得研究。

以下是相关的 stackoverflow 线程,其中提供了有关最后一个选项的更多详细信息: https://stackoverflow.com/questions/53224329/how-do-i-chain-multiple-google-cloud-dataprep-flows

答案2

我正在使用处于测试阶段的新流程视图。我点击输出,然后出现“运行作业”按钮,该按钮会临时运行流程。

在此处输入图片描述

相关内容