Python + Beam + Flink

Question

我一直试图让与Python和Apache一起工作，但我似乎找不到一套完整的指令来使环境正常工作。是否有任何具有完整的先决条件和步骤列表的引用来使一个简单的python管道工作？

Answer 1

总的来说，对于本地便携式转轮(ULR)，看维基，引用如下：

运行Python管道：

1. 将容器编译为本地构建：./gradlew :beam-sdks-python-container:docker
2. 启动ULR作业服务器，例如：./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning。有关详细信息，请参阅上面链接中的Java部分。3正确设置python环境。更多细节可以在这里找到。
3. 使用以下方法运行管道(在文件夹sdk/python下)，

示例：

python -m apache_beam.examples.wordcount\
  --input=gs://dataflow-samples/shakespeare/kinglear.txt \
  --output=/tmp/output \
  --runner=PortableRunner \
  --job_endpoint=localhost:8099 \
  --experiments beam_fn_api

对于Flink，您需要使用不同的作业服务器：./gradlew beam-runners-flink_2.11-job-server:runShadow。主机:端口是localhost:8099，

相关电子邮件讨论：一，二。

可能值得看一些代码：一、二。