ETL 的双因素监控

ETL 的双因素监控

这个名称类似于 2FA 安全模式,源于这样一种场景:我想定期确保某些 ETL 触发器已到位。

我不仅想通过警报监控某个程序是否有效/失败(我已经实施了警报)。还想使用第二个基础设施检查触发器是否到位。这样,如果我没有收到错误,我就可以确定一切都正常了。

假设您有一个计划每月运行的 ETL。您的项目要求是每月运行此 ETL。您将其设置为每月运行,并且一段时间内一切都正常。但是一个季度后,有人进行了一些配置更改,并且不再触发 ETL。它显然不会引发任何新错误。我需要一个环境之外的工具来监控并执行要求。

是否存在类似上述的工具/方法/技术?

答案1

我建议使用云监控它可让您了解云驱动应用程序的性能、正常运行时间和整体运行状况。如果您计划使用 Dataflow,它包含一个基于 Web 的监控界面。监控界面可让您查看和与 Dataflow 作业交互,允许您创建警报和仪表板以及确定失败原因在你的管道中

相关内容