基于数据融合的带参数增量管道

Question

是否可以从Big Query中的表中创建参数，在本例中是最大ID (最后插入的行)，以便使用数据融合作为增量管道的起始点？

我对管道使用数据融合，它从MySQL数据库中提取数据并插入大查询表中，但我想从MySQL中提取增量数据，使用当前来自大查询表的最大ID作为起点，这意味着只从MySQL中从ID大于大查询中的最大ID的行中提取数据。

Answer 1

是的，如果你可以使用插件"BigQuery执行“

并在SQL块中，对BQ表进行写查询(选择max(last_row_inserted)作为parameter_1 form BQ_table)。

然后点击“作为参数的行”。

现在，您可以使用/传递parameter_1作为运行时参数从源表中获取数据。