数据流IO到BigTable [2.9.0]

Question

我找到了这个Bigtable with Dataflow示例https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/HelloWorldWrite.java

但是，它使用

束流运行程序-google-cloud-dataflow java 2.4.0

在2.9.0中，org.apache.beam.runners.dataflow.options.DataflowPipelineOptions不再存在。

是否有一个最新的从数据流写入BigTable的示例？

我发现：https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/io/gcp/bigtable/BigtableIO.html -这是正确的轨道吗？

Answer 1

我使用了您链接到的BigTable连接器示例，按照这里的说明，使用了Dataflow JavaSDK2.9.0，它工作得很好。唯一需要的额外步骤是更改pom.xml文件(线路)中的SDK：

将<beam.version>2.4.0</beam.version>替换为<beam.version>2.9.0</beam.version>。

数据流作业将启动(您将在std输出中看到Dataflow SDK version: 2.9.0 )。一旦成功，您就可以在HBase shell中验证是否写入了正确的行：

hbase(main):001:0> scan 'Dataflow_test'
ROW                                                                              COLUMN+CELL
 Hello                                                                           column=cf:qualifier, timestamp=1548151071821, value=value_21.60451762361535
 World                                                                           column=cf:qualifier, timestamp=1548151064955, value=value_21.60451762361535
2 row(s) in 1.4230 seconds