将tar.gz库复制到apache工作者

Question

我希望你们都好。我想将一个工具库复制到worker机器中，并使用setup.py文件。我已经更新了CUSTOM_COMMANDS：

 CUSTOM_COMMANDS = [
  ["wget", "-O", "/usr/local/sratoolkit.tar.gz","http://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/current/sratoolkit.current-centos_linux64.tar.gz"],
  ["tar", "-xzf", "/usr/local/sratoolkit.tar.gz","-C","/usr/local/"]]

当我在/user/local文件夹中查找执行文件时，我找不到我复制到worker的工具。将工具库复制到worker机器的正确和最简单的方法是什么？我能够获得本地runner的预期行为，现在的问题是找到正确的方法为数据流runner重现它。

我正在使用Python3.5和最新的apache-beam2.20和最新的数据流，非常感谢，eilalan

Answer 1

worker机器是单独设置的，可能无法通过internet下载文件。

一种方法是使用gsutil cp -r /mytools gs://my-bucket/mytools手动将文件上传到gcs，然后使用gsutil cp -r gs://my-bucket/mytools /mytools复制所有文件作为第一个自定义命令

然后执行适当的自定义命令。