我正在做一个Google Dataflow项目,以下是该项目的要求:
absl-py==0.7.1
apache-beam==2.5.0
astor==0.7.1
avro==1.8.2
backports.weakref==1.0.post1
cachetools==3.1.0
certifi==2019.3.9
chardet==3.0.4
crcmod==1.7
dill==0.2.6
docopt==0.6.2
enum34==1.1.6
fasteners==0.14.1
funcsigs==1.0.2
future==0.16.0
futures==3.2.0
gapic-google-cloud-pubsub-v1==0.15.4
gast==0.2.2
google-api-core==1.10.0
google-apitools==0.5.20
google-auth==1.6.3
google-auth-httplib2==0.0.3
google-cloud-bigquery==0.25.0
google-cloud-core==0.25.0
google-cloud-dataflow==2.5.0
google-cloud-datastore==1.7.3
google-cloud-pubsub==0.26.0
google-cloud-storage==1.15.0
google-gax==0.15.16
google-resumable-media==0.3.2
googleapis-common-protos==1.5.10
googledatastore==7.0.1
grpc-google-iam-v1==0.11.4
grpcio==1.20.1
h5py==2.9.0
hdfs==2.5.2
hdfs3==0.3.0
httplib2==0.9.2
idna==2.8
Keras-Applications==1.0.7
Keras-Preprocessing==1.0.9
Markdown==3.1
mock==2.0.0
monotonic==1.5
numpy==1.16.3
oauth2client==3.0.0
pbr==5.2.0
Pillow==6.0.0
ply==3.8
proto-google-cloud-datastore-v1==0.90.4
proto-google-cloud-pubsub-v1==0.15.4
protobuf==3.7.1
pyasn1==0.4.5
pyasn1-modules==0.2.5
pytz==2019.1
PyVCF==0.6.8
PyYAML==3.13
requests==2.21.0
rsa==4.0
six==1.10.0
tensorboard==1.13.1
tensorflow==1.13.1
tensorflow-estimator==1.13.0
termcolor==1.1.0
typing==3.6.6
urllib3==1.24.2
Werkzeug==0.15.2我遇到的问题是,管道中的一个步骤是将文件上传到谷歌存储(使用blob.upload_from_file)。这在以前是有效的,但后来我不得不重新创建虚拟环境,因为我有其他问题。我正在使用Python2.7,并使用pip安装了必要的包。
我从pip install google-cloud-dataflow开始,虽然根据文档,我应该做pip install apache-beam[gcp],但这对我来说从来都不起作用(no matches found: apache-beam[gcp])。我知道这是一些包的版本冲突,但我无法找到解决方案。
有没有人遇到过类似的问题?
我尝试升级到最新的google云包,但不出所料,它引发了各种各样的问题。
发布于 2019-05-01 08:39:09
方括号可能是shell的特殊字符。你可以试试pip install 'apache-beam[gcp]'。
https://stackoverflow.com/questions/55930301
复制相似问题