开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >火花上的Kedro气流

问火花上的Kedro气流
EN

Stack Overflow用户

提问于 2020-08-14 05:08:48

回答 1查看 156关注 0票数 0

在spark上寻找kedro+ airflow的实现。这个插件现在可以用于spark了吗？

查看了PipelineX，但在spark上找不到相关的示例？

EN

回答 1

Stack Overflow用户

发布于 2020-08-14 09:22:33

我还没有准备或者看过在PipelineX或Airflow中使用Spark的例子，但是应该可以使用kedro-airflow在Spark上运行任务。

下面的文档和DataEngineerOne的视频可能会有所帮助。

https://kedro.readthedocs.io/en/stable/10_tools_integration/01_pyspark.html?highlight=Spark

https://www.youtube.com/watch?v=vYBMpPZep6E

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63403226

复制

相似问题