在apache beam 2.9上导入cloud-spanner时出错

Question

我正在尝试将一些python apache beam脚本更新到apache beam的最新2.9版本。在google cloud dataflow runner上运行一个导入from google.cloud.spanner import Client的脚本时，我遇到了以下错误(direct runner运行良好)：https://gist.github.com/pascaldelange/f43cc1f6dc290291804b64b0db1cadfe

我有一个合适的setup.py，它在2.9之前的版本中工作得很好，特别是在

REQUIRED_PACKAGES = [
    "Flask==0.12.2",
    "apache-beam[gcp]==2.9",
    "gunicorn==19.7.1",
    "gevent==1.2.1",
    "google-api-core==1.7.0",
    "google-apitools==0.5.24",
    "google-auth==1.6.2",
    "google-cloud-bigquery==1.6.1",
    "google-cloud-core==0.29.0",
    "google-cloud-pubsub==0.35.4",
    "google-cloud-spanner==1.7.1",
    "google-cloud-storage==1.13.1",
    "google-resumable-media==0.3.1",
    "googleapis-common-protos==1.5.5",
    "googledatastore==7.0.2",
    "grpc-google-iam-v1==0.11.4",
    "proto-google-cloud-datastore-v1==0.90.4",
    "six==1.11",
]

可能相关:在不同的作业(流)上，我有错误日志

No unique name set for transform generatedPtransform-45

和

Missing required coder_id on grpc_port for -3; using deprecated fallback.

尽管它们看起来并不会真正阻止执行

是什么导致了这个错误，特别是只使用google cloud dataflow runner？提前感谢

Answer 1

此错误：

Missing required coder_id on grpc_port for -3; using deprecated fallback.

在beam 2.9中引入，在2.10中仍然存在。

虽然the commit that added this error记录了“错误”的严重性，但它似乎实际上并没有破坏任何东西。

以下是beam jira问题的更多详细信息：

https://jira.apache.org/jira/browse/BEAM-5415