我有一个包含数十个任务的计算密集型 DAG。每个任务都使用 airflow kubernetes 运算符运行 kubernetes pod。我目前使用 Apache Airflow 来协调这些任务。当我多次同时运行我的 DAG 时，airflow 服务器无法处理负载并开始返回错误。（我正在使用托管 airflow -> gcp 作曲家）我喜欢 airflow 的简单性和灵活性，但它无法处理我所需的规模，我正在寻找能够扩展的替代解决方案
有人可以推荐一些东西吗？
可扩展的气流替代方案
我有一个包含数十个任务的计算密集型 DAG。每个任务都使用 airflow kubernetes 运算符运行 kubernetes pod。我目前使用 Apache Airflow 来协调这些任务。当我多次同时运行我的 DAG 时，airflow 服务器无法处理负载并开始返回错误。（我正在使用托管 airflow -> gcp 作曲家）我喜欢 airflow 的简单性和灵活性，但它无法处理我所需的规模，我正在寻找能够扩展的替代解决方案
有人可以推荐一些东西吗？