Python中的Apache Beam，beam.io.TextFileSource错误

Question

我正在尝试在GCP代码库上运行数据科学中的代码，并不断地在Beam代码中遇到错误。

这是给出错误的行: beam.Read(beam.io.TextFileSource('airports.csv.gz')

下面是我得到的错误: AttributeError：'module‘对象没有'TextFileSource’属性

下面是完整的文件：https://github.com/GoogleCloudPlatform/data-science-on-gcp/blob/master/04_streaming/simulate/df01.py

有没有人知道怎么让它工作，或者我错过了什么？

Answer 1

Google Dataflow正在迁移到Apache Beam标准，这意味着你应该使用apache_beam.io.textio.ReadFromText。该标准仍在发展中，因此当您升级包时，最好咨询Release Notes。

Answer 2

看起来您使用的是apache- appears /cloud-dataflow的旧版本。

执行以下操作：

pip freeze | grep dataflow

当我这样做的时候，我会得到：

google-cloud-dataflow==0.4.3

如果您得到的版本较旧，请尝试：

pip install google-cloud-dataflow

并重复pip freeze命令。如果你一直使用较旧的版本，那么你就在Python库的地狱里，我建议使用virtualenv来确保你使用的是所有包的最新版本……