如何在数据流模板中运行多个查询？

Question

我正在执行Mysql到bigquery的数据迁移，使用jdbc到数据流中的bigquery模板。

但在mysql上执行"select * from teable1“命令时，由于某种原因，我也想将选中的数据插入到同一数据库中的另一个表中。

如何在数据流模板中同时执行select和insert查询？在两个查询之间使用分号时出现错误。

Answer 1

Jdbc to Bigquery模板将把您读取的所有数据写入"Bigquery output table“(<my-project>:<my-dataset>.<my-table>)下指定的表，因此不需要编写insert语句。

(gcloud/REST参数为"outputTable“)

Answer 2

正如@PeterKim提到的，对于你的用例来说，JDBC to BigQuery termplate可能不是最好的方法。

您可以尝试使用该模板作为参考，并将其修改为写入MySQL，在此post中，您将找到有关如何在MYSQL数据库中插入的实现。

修改pipeline source code后，您可以创建custom template。