Google模板\ Python \ LImitations

Question

请社区总结Python在Google DataFlow模板上的局限性

1. Python对源代码有限制:我们没有可以接受运行时参数的BigQuery、BigTable和Pubsub源的连接器。
2. 我们支持运行时参数，但它只支持简单的参数替换。
3. 不支持NestedValueProvider (它允许我们计算来自另一个ValueProvider对象的值)。

如果我错了，请纠正我。如果我漏掉了什么就告诉我。

Answer 1

根据文档，BigQuery读取连接器支持ValueProvider对象，因此应该可以在BigQuery源上使用运行时参数。

BigTable连接器还没有提供读取/源代码支持，目前只能使用BigTable作为写入输出；但是，ValueProvider参数还不支持。

Pub/Sub连接器支持源和接收器，只支持流管道。与BigTable连接器一样，ValueProvider参数尚未得到支持。

关于NestedValueProvider，是的，正如数据流模板文档中提到的，Apache不支持NestedValueProvider。

您可以始终检查Apache波束释放说明以随时更新最新特性，或者跟踪Jira上的相关特性请求，例如，已经有了一个打开对DynamicDestinations实现的BigtableIO请求，尽管它是用于Java的。