有没有办法使用流式插入将AVRO格式的数据插入到BigQuery中?如果是,我们使用的是google-cloud-python,但似乎不支持。仅支持json类型。我是不是遗漏了什么?
关于BQ流插入的文档似乎没有涵盖数据类型。我只能找到提到here的AVRO数据格式,但在流式插入的上下文中找不到。
有没有一种方法可以使用流式插入插入AVRO格式的数据,你能链接我到任何示例吗?如果无法使用流式插入插入AVRO数据,那么使用AVRO将大量数据插入BQ的推荐方式是什么?我们的使用需求超过了load作业每天每个表1000个作业的限制。
发布于 2017-01-31 03:38:39
不,目前JSON是bigquery streaming API唯一支持的格式。正如您所提到的,BigQuery支持AVRO作为加载作业输入。
https://stackoverflow.com/questions/41942989
复制相似问题