在这里,我使用setup.py为我的数据流作业安装依赖项,但在GCP dataflow Stackdriver错误日志中,我在下载包时遇到错误。
下面的代码,当我在本地运行时,dataflow是否有权访问它们,而与artifactory或pip服务器数据流链接到哪一个无关?
from __future__ import absolute_import
from setuptools import setup, find_packages
setup(name='DataflowpipelineDependencies',
version='0.1',
description='Dependencies',
install_requires=[
'google-cloud-storage==1.16.1',
'jsonschema==2.6.0',
'vm-cloudevents==0.1.0' // Private artifactory package
],
packages = find_packages()
)发布于 2019-09-04 02:31:07
您可以使用--setup_file选项上传您的依赖项。
https://stackoverflow.com/questions/57712404
复制相似问题