开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Luigi可以运行远程Hadoop作业吗？

问Luigi可以运行远程Hadoop作业吗？
EN

Stack Overflow用户

提问于 2019-03-12 22:16:51

回答 1查看 77关注 0票数 0

如果Luigi图中的某个任务需要在远程Hadoop集群上运行，这是否可行？运行Luigi的机器与Hadoop集群不同。luigi是否仍能检查远程集群中的HDFS文件是否存在？

我试图找到相关的文档，但是找不到。

directed-acyclic-graphs

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-03-13 07:56:07

您可以运行可启动任何脚本的作业。

HDFS目标文档在这里：

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.html

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/55123662

复制

相似问题