首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache Beam管道能用于批量编排吗?

问Apache Beam管道能用于批量编排吗?
EN

Stack Overflow用户
提问于 2022-04-30 10:43:12
回答 2查看 240关注 0票数 0

我是阿帕奇光束环境的新手。尝试为批处理编排安装apache束管道。

我对批处理的定义如下

Batch==>一组工作,

Job==>可以有一个或多个子作业.

作业/子作业之间可能存在依赖关系。

可以用我的自定义批处理映射apache束管道吗??

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2022-05-03 12:55:21

Apache统一开发可在数据流上运行的批处理和流管道。可以使用Dataflow创建和部署管道。束流管道是便携式的,这样你就可以根据你的要求使用任何可用的流道。

根据您的需求,云作曲家可以用于批处理编排。云编写器建立在Apache气流上。Apache Beam和Apache气流可以一起使用,因为Apache气流可以用来触发梁作业。因为您有自定义作业正在运行,所以您可以为批处理业务配置波束和气流。

气流用于执行编排和管道依赖管理,而Beam用于构建执行数据处理系统的数据管道。

票数 2
EN

Stack Overflow用户

发布于 2022-04-30 14:24:57

我相信作曲家可能更适合你想要做的事情。从这里,您可以使用气流操作符从您的环境中启动Dataflow作业(例如,如果您使用的是DataflowCreatePythonJobOperator,则可以使用该)。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72067793

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档