附加安装程序2.10.0时的数据流SDK 2.7.0

Question

我正在尝试运行数据流作业，具有以下setup.py文件：

import setuptools

setuptools.setup(
              name='Some-Name',
              version='0.0.1',
              install_requires=[
                  'apache-beam==2.10.0',
                  'tensorflow-transform==0.12.0'
                  ],
              packages=setuptools.find_packages(),
              )

但是当我向GCP提交作业时，SDK显示为2.7.0，并且作业不会运行。它将在1小时后停止，并显示以下错误：

工作流失败。原因:数据流作业似乎被卡住了，因为在过去的1小时内没有看到任何工作进程活动。

Answer 1

我通过在提交数据流作业的本地虚拟环境中更新tensorflow-transform和apache-beam修复了这个问题。一旦我更新了我本地的apache-beam、tensorflow-transform和tensorflow，它似乎可以工作了。我不确定为什么，因为setup.py声明了包的版本。