获取oozie火花作用中的火花变量

Question

我是新的火花和oozie的技术。我试图从火花中得到几个变量，并在下一个oozie操作中使用它。

在“决策”中，将调用节点火花提交，很少进行处理，并生成一个计数器变量。

来自火花的var计数器=8

所以现在我需要在下一个oozie操作中使用这个变量，即“作出决定”节点。

take decision
 [Decision ][counter]

当我在谷歌上搜索的时候，我找不到什么解决方案。

1. Write to hdfs
2. Wrap spark submit in shell and use <capture-output> 
(I am not able to use this as I use oozie spark action node)

还有其他方法可以做到吗？

Answer 1

最好的方法是将值存储在HDFS (Hive)或HBase/Cassandra中，然后您的决策操作读取这些值。

如果您是包装火花提交与外壳操作，如果您提交作业在集群模式，因为火花提交作业到纱线集群和运行任何节点，您无法获得输出。