我正在使用 Google Cloud Dataprep。我可以运行单个配方,但我想运行由多个配方组成的完整作业。我知道我可以安排,但现在有没有“运行流程”的选项?
另外,我想知道我是否可以更改配方的输出并写入不同于 csv 的输出,例如我想在 Google Big Query 表中写入。
提前致谢
答案1
无论您处于显示所有流程的“流程”屏幕,还是处于流程概览屏幕,您都可以单击省略号 (...) 并安排流程。这要求您安排它多次运行,并且没有一次性/临时选项。您可以安排它,然后在它运行一次后删除计划。
如果配方相互依赖,那么当您在流程末尾运行与配方相关的作业时,它应该执行前面的配方。
除此之外,这似乎是数据准备工具的一个功能缺陷。这意味着它更像是一个对最终用户友好的工具,而不是一个成熟的自动化工具。对于技术更精通的人来说,如果您能在数据流中完成您需要做的事情,那么它可能值得研究。
以下是相关的 stackoverflow 线程,其中提供了有关最后一个选项的更多详细信息: https://stackoverflow.com/questions/53224329/how-do-i-chain-multiple-google-cloud-dataprep-flows