我是阿帕奇光束环境的新手。尝试为批处理编排安装apache束管道。
我对批处理的定义如下
Batch==>一组工作,
Job==>可以有一个或多个子作业.
作业/子作业之间可能存在依赖关系。
可以用我的自定义批处理映射apache束管道吗??
发布于 2022-05-03 12:55:21
发布于 2022-04-30 14:24:57
我相信作曲家可能更适合你想要做的事情。从这里,您可以使用气流操作符从您的环境中启动Dataflow作业(例如,如果您使用的是DataflowCreatePythonJobOperator,则可以使用该)。
https://stackoverflow.com/questions/72067793
复制相似问题