我有一个包含数十个任务的计算密集型 DAG。每个任务都使用 airflow kubernetes 运算符运行 kubernetes pod。我目前使用 Apache Airflow 来协调这些任务。当我多次同时运行我的 DAG 时，airflow 服务器无法处理负载并开始返回错误。（我正在使用托管 airflow -> gcp 作曲家）我喜欢 airflow 的简单性和灵活性，但它无法处理我所需的规模，我正在寻找能够扩展的替代解决方案 有人可以推荐一些东西吗？ ...
我有一个用于抓取数据的 Python 程序，需要花费大量时间才能运行。为了使其并行化，我修改了代码，以便该程序可以在不同的机器上并行运行。我还创建了一个 docker 镜像并将其推送到 Dockerhub。 我尝试使用 Airflow 和 KubernetesPodOperator 创建 10 个 Kubernetes pod 来实现这一点。但到目前为止我还没有成功，而且这方面的文档也不够详细。还有其他方法可以实现这一点吗？GCP、Spark 和 Airflow 怎么样？或者只是由 Airflow 以某种方式协调的 GCE 机器？还有其他选择吗？ ...
由于公司安全政策，我只能使用 G Suit SMTP 邮件服务器。 我想配置第三方 SMTP 服务以使用 G Suit 邮件服务，但无法在 Cloud Composer 的 AIRFLOW CONFIGURATION OVERRIDES 点击中设置“smtp smtp_password”配置。 GCP 指南说“smtp smtp_password Airflow 的默认 SMTP 密码。您无法配置新密码。” GCP Cloud Composer 第三方电子邮件设置指南 有没有方法可以在 Cloud Composer 配置中设置 smtp_password？或...
从昨天起，我的 Google Cloud Composer 就无法运行了。 我无法访问气流接口，返回： Error: Server Error The server encountered a temporary error and could not complete your request. Please try again in 30 seconds. Google Cloud Compose Console 中显示一条警告： UPDATE operation on this environment failed 9 hours ago w...
我已经使用 python 完成了从 MySql 到 bigQuery 的 ETL，但是因为我没有权限连接谷歌云存储/云 SQL，所以我必须按最后日期转储数据和分区，这种方式很容易但不值得因为花费太多时间，我想使用 airflow 从 MySql/mongo 到 bigQuery 进行 ETL，而无需谷歌云存储/云 SQL，可以吗？ ...
我正在尝试使用 Airflow 做一些事情。我已经使用 pip（后者在虚拟中）安装了它，但问题是当我想要启动 Web 服务器时。 airflow webserver -p 8080 [2017-07-29 12:20:45,913] [4585] {models.py:167} INFO - Filling up the DagBag from /home/milenko/airflow/dags Running the Gunicorn Server with: Workers: 4 sync Host: 0.0.0.0:8080 Timeout: 12...