无需许可，使用 airflow 将 ETL 转换为 bigquery 云存储/云 SQL

Question

我已经使用 python 完成了从 MySql 到 bigQuery 的 ETL，但是因为我没有权限连接谷歌云存储/云 SQL，所以我必须按最后日期转储数据和分区，这种方式很容易但不值得因为花费太多时间，我想使用 airflow 从 MySql/mongo 到 bigQuery 进行 ETL，而无需谷歌云存储/云 SQL，可以吗？

Answer 1

Apache Airflow（用于Google Cloud 中的 Cloud Composer）通常用于安排迁移。实际迁移以及完整的 ETL 过程可以使用云数据流（使用 Apache Beam）是此用例的推荐工具。这是一个完整的教程使用 Cloud Dataflow 从关系数据库（例如 MySQL）执行 ETL 过程到 BigQuery。