Azure Data -创建管道来读取和循环Azure SQL表中的1000万个数据的最佳方法是什么？

Question

我有一个，我想从一个SQL表中读取数据，并选择4-5列(行总数可能超过100万)。一旦我有了记录，我必须循环通过发送一条消息到Azure服务总线队列。每条记录将被获取一次消息。

当前的解决方案是使用查找来读取数据并将数据保存到变量中。然后Foreach对该变量进行循环以向服务总线队列发送消息。(这在性能上可能会很慢。)

Answer 1

ForEach Activity在Azure Data或Synapse管道中定义重复的控制流。此活动用于迭代集合并在循环中执行指定的活动。此活动的循环实现类似于编程语言中的Foreach循环结构。

我认为您需要通过SQL查找任务驱动foreach，该任务填充数据集，然后调用每一行的活动：

我建议您将下列正式文件中所提供的细节积累起来，以满足您的要求。

Azure数据工厂的ForEach活性与Azure Synapse分析

Azure数据工厂中的查找活动与Azure Synapse分析

教程：使用Azure门户中的Azure Data批量复制多个表

Answer 2

如果您想遍历1,000万条记录，我不认为ADF查找活动是一种可行的方法，因为它有很少的限制。您可以尝试在ADF中探索数据流映射中的查找变换，看看它是否适合您的需求，否则将建议使用不同的ETL服务，该服务支持遍历1,000万条记录。