如何配置 Azure 数据工厂来处理更大的文件?

如何配置 Azure 数据工厂来处理更大的文件?

我有一个 Azure 数据工厂管道,它从 Blob 存储中读取 100 MB CSV,并将其插入具有大量空间 (200 GB) 的 Azure SQL DB。我还有一个相同文件的 1 MB 版本,只是删除了大部分数据,作为测试版本。

当我使用完整文件运行管道时,出现错误:DF-Executor-InternalServerError。它没有提供其他有用的信息。

但是,当我运行简短版本时,它运行得很好。结合关于此错误的其他一些讨论,我认为问题只是我需要增加执行/计算机资源和/或超时时间。我只是不确定我应该在链中的哪个位置执行此操作。

有人遇到过类似的事情吗?

相关内容