Oracle cdap到BigQuery多表的管道

Question

我在cdap上构建了一条管道，其中有一个oracle数据库，我在其中连接并获取一个表，然后将此数据连接到BigQuery多表组件。

当我测试完整管道的执行时，我收到了错误：

ERROR Spark program 'phase1' failed with error: BQ_TEST has no outputs.Please check that the sink calls addOutput at some point.

​

​

Answer 1

听起来消息来源可能没有任何记录。

除了@Yaojie Feng的响应，接收器需要Avro格式的模式，但是，Multiple Database Tables 源 plugin将生成BigQuery Multi Table插件所需的模式，如下面的示例所示。

使用Avro格式的模式的管道运行时参数示例：

密钥：multisink.NEW_TABLE_NAME

值：

{ 
  "name": "NEW_TABLE_NAME", 
  "type": "record", 
  "fields": [
      {"name": "id", "type": "long" }, 
      { "name": "name", "type": "string"} 
    ]
}

Source。

Answer 2

要使用bigquery多接收器，您需要设置一些运行时参数来告诉接收器写入哪个表。参数的键将类似于多宿.{dataset-name}.{ table -name}，并且参数的值将是表模式的json字符串表示。