experiments=no_use_multiple_sdk_containers在谷歌云数据流中的应用

Question

问题摘要:嗨，我正在使用avro版本1.11.0解析一个avro文件并对其进行解码。我们有一个定制的需求，所以我不能使用ReadFromAvro。当使用数据流进行尝试时，会出现依赖问题，因为版本1.82的avro-python3 3已经可用。这个问题属于TimestampMillisSchema类，在avro-python3 3中不存在。它无法声明在TimestampMillisSchema中找不到的属性avro.schema。然后，我尝试用avro==1.11.0传递一个需求文件，但现在数据流无法开始提供错误"Error syncing“，这似乎是因为依赖关系冲突。

为了解决这个问题，我们设置了一个运行良好的实验标志(- the =no_use_multiple_containers)。

我想知道一个更好的解决方案，我的问题，也做上述标志将影响管道的性能。

Answer 1

请尝试使用数据流运行命令：

--prebuild_sdk_container_engine=cloud_build --experiments=use_runner_v2

这将使用云构建来构建带有额外依赖项的容器，然后在数据流运行中使用它。