在一个批处理作业中可以有多个读取器(通过分页读取记录)吗？

Question

我有一份春季批次作业要写。其中：

1. 我需要通过分页读取10k记录(每次取1000 rec )(来自azure SQL db)
2. 我需要一次使用1000条记录，然后使用这些记录中的一列(比如一些id)从另一个cosmos db表中读取相应的记录。

在本例中，我如何实现两个读取器，因为我需要一次读取1000条记录，然后一次从cosmos db为这1000条记录提取记录，并对其进行处理。

Answer 1

有一个名为“驱动查询模式”的通用模式，在该模式中，读取器只读取项in，处理器执行另一个查询来获取项目详细信息。

这种模式对于小型/中型数据集很有效，但是您应该注意，它对于大型数据集的性能并不好，因为每个项都会有一个额外的查询(也称为n+1问题)。