在apache flink上运行apache波束

Question

我想在Apache上使用Apache运行Python代码。apache站点在Apache上启动Python代码的命令如下：

docker run --net=host apachebeam/flink1.9_job_server:latest --flink-master=localhost:8081

下面讨论了在Apache上使用Apache执行代码的不同方法。但我还没见过启动它的例子。

https://flink.apache.org/ecosystem/2020/02/22/apache-beam-how-beam-runs-on-top-of-flink.html

我希望这个代码在没有Docker的情况下运行。这段代码是如何被命令的？

Answer 1

您可以使用波束源直接旋转flink作业服务器。注意，您需要安装java。

1)克隆beam源代码：

git clone https://github.com/apache/beam.git

2)启动作业服务器

cd beam
./gradlew -p runners/flink/1.8/job-server runShadow -PflinkMasterUrl=localhost:8081

一些有用的建议：

这不是弗林克自己！你需要分开旋转flink。

flink作业服务实际上提供了一些服务：

• 扩展服务(端口8097)：该服务允许您在java中的管道中使用ExternalTransforms。例如，在python中找到的转换击中了这个扩展service.
• Artifact服务(端口8098)：这是管道上传您的python工件(例如泡菜文件等)的地方，以便flink任务管理器在执行您的python代码时使用它。据我所知，您必须在flink任务工人和此工件服务之间共享工件暂存区域(默认为/tmp/beam-artifact-staging)。
• 作业服务(端口8099)：这是您提交管道的内容。它将管道转换为flink并提交它。