从代码中按需启动火花作业。

Question

从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：

1. 用Spark和Scala重写耗时的过程。
2. 参数将作为命令行参数传递给JAR。星火作业然后从数据库中获取源数据。执行处理，并将输出保存在企业应用程序可读的位置。

问题1：如何在企业应用程序中按需启动火花作业？Spark集群(独立的)位于同一个LAN上，但与运行企业应用程序的服务器不同。

问题2：将处理结果传输回调用方代码的推荐方法是什么？

问题3：如何将作业完成情况通知调用方代码(或故障(如星火群集关闭、作业超时、火花代码中的异常)

Answer 1

你可以试试火花观察者。将您的spark.jar上传到服务器。从应用程序中，可以使用rest接口调用spark.jar中的作业。要知道您的工作是否已经完成，您可以继续轮询rest接口。当您的工作完成，如果结果非常小，您可以从rest接口本身获得它。但是，如果结果很大，最好将其保存到某个db。