如何使用Python通过云端数据流将CSV文件导入云Bigtable？

Question

描述我正在做什么的最简单的方法基本上是遵循这个教程：Import a CSV file into a Cloud Bigtable table，但是在他们开始数据流作业的部分中，他们使用了Java：

mvn package exec:exec \
    -DCsvImport \
    -Dbigtable.projectID=YOUR_PROJECT_ID \
    -Dbigtable.instanceID=YOUR_INSTANCE_ID \
    -Dbigtable.table="YOUR_TABLE_ID" \
    -DinputFile="YOUR_FILE" \
    -Dheaders="YOUR_HEADERS"

有没有办法在python中完成这一特定的步骤？我能找到的最接近的是apache_beam.examples.wordcount示例here，但最终我希望看到一些代码，我可以在其中使用Python向数据流作业中添加一些定制。

Answer 1

有一个a connector for writing to Cloud Bigtable，您可以将其用作导入CSV文件的起点。

Answer 2

Google Dataflow没有用于BigTable的Python连接器。

以下是Java和Python的Apache光束连接器的链接：

Built-in I/O Transforms

Answer 3

我建议做这样的事情。

DataFrame.to_gbq(destination_table, project_id, chunksize=10000, verbose=True, reauth=False, if_exists='fail', private_key=None)

您可以在下面的链接中找到所有参数以及每个参数的解释。

https://pandas.pydata.org/pandas-docs/version/0.21/generated/pandas.DataFrame.to_gbq.html#pandas.DataFrame.to_gbq