我已经使用 python 完成了从 MySql 到 bigQuery 的 ETL,但是因为我没有权限连接谷歌云存储/云 SQL,所以我必须按最后日期转储数据和分区,这种方式很容易但不值得因为花费太多时间,我想使用 airflow 从 MySql/mongo 到 bigQuery 进行 ETL,而无需谷歌云存储/云 SQL,可以吗?
答案1
Apache Airflow(用于Google Cloud 中的 Cloud Composer)通常用于安排迁移。实际迁移以及完整的 ETL 过程可以使用云数据流(使用 Apache Beam)是此用例的推荐工具。这是一个完整的教程使用 Cloud Dataflow 从关系数据库(例如 MySQL)执行 ETL 过程到 BigQuery。