Apache光束数据流作业在本地执行什么操作？

Question

我有一些关于Apache光束Python SDK定义的数据流的问题。如果我单步执行我的代码，它会到达pipeline.run()步骤，我认为这意味着成功地定义了执行图。然而，该作业从未在数据流监控工具上注册，这让我认为它永远不会到达管道验证步骤。

我想更多地了解这两个步骤之间发生了什么，以帮助调试问题。我看到输出显示我的requirements.txt和apache-beam中的包正在进行pip安装，似乎有什么东西在被发送到谷歌的服务器之前已经被浸泡过了。为什么会这样呢？如果我已经下载了apache-beam，为什么还要再下载一次？到底是什么在泡菜？

我不是在这里寻找我的问题的解决方案，只是想更好地理解这个过程。

Answer 1

在图形构造期间，数据流检查管道中的错误和任何非法操作。一旦检查成功，执行图将被转换为JSON并传输到数据流服务。在数据流服务中，JSON图被验证并成为作业。但是，如果管道在本地执行，则不会将图形转换为JSON或传输到数据流服务。因此，该图不会在监控工具中显示为作业，它将在本地计算机1上运行。您可以按照文档配置本地计算机2。

1

2