我正在尝试了解使用 Azure 数据工厂在 Snowflake (基于 Azure) 中转换数据的效率。我们有两种可能的情况,并希望选择最有效的一种:
场景 1:
- 数据工厂协调将原始数据引入 Azure SQL
- 数据工厂协调将 Azure SQL 中的原始数据转换并加载到 Snowflake 中的摘要表中。历史原始数据保存在 Azure SQL 中。
场景 2:
- 数据工厂协调将原始数据导入 Snowflake
- 数据工厂负责协调 Snowflake 中的原始数据到 Snowflake 中的摘要表的转换。历史原始数据保存在 Snowflake 中。
场景 2 在转换步骤中将原始数据从 Snowflake 传输到 ADF(数据集)时是否会产生额外成本,还是这一切都发生在没有数据集传出的 Snowflake 中?
阅读 ADF 文档,似乎计算本身发生在链接服务(即 Snowflake)上,而不是在 ADF 本身内,但这是否意味着当 ADF 转换数据时数据不会离开 Snowflake?
如果问题不清楚,请告诉我。谢谢!
答案1
对于场景 2,数据被传递到 Snowflake 并在那里进行转换。ADF 在这里只扮演编排器角色,没有与操作 2 相关的出站流量。