带有脚本组件的SSIS平衡数据分配器

Question

我们有一个小的数据流任务，它将行从表导出到平面文件。

我们为转换操作(将Varbinary转换为String )添加了一个脚本组件。

由于脚本组件需要一段时间，因此我们决定使用新的Integration Services

Balanced Data Distributor，并将导出任务划分为两个更多的平面文件。

在执行任务时，BBD似乎没有划分工作区，也没有

在并行模式下工作。

你知道为什么吗？

Answer 1

您是否尝试过使用NTILE并在数据流中创建多个OLE DB源？

下面的例子说明了如何对两个组执行此操作。当然，您可以将您的源代码拆分成所需的数量：

-- SQL Command text for OLE DB Source #1 named "MyGroup NTILE 1"
SELECT v.*
FROM
  (SELECT t.* ,
          NTILE(2) OVER(
                        ORDER BY t.my_key) AS MyGroup
   FROM my_schema.my_table t) v
WHERE v.MyGroup = 1;


-- SQL Command text for OLE DB Source #2 named "MyGroup NTILE 2"
SELECT v.*
FROM
  (SELECT t.* ,
          NTILE(2) OVER(
                        ORDER BY t.my_key) AS MyGroup
   FROM my_schema.my_table t) v
WHERE v.MyGroup = 2;

如果您预先知道所需的NTILE的最大数量(比如10个)，那么您可以预先创建10个旧的DB源。