问AWS lambda函数用于提交spark作业
EN

Stack Overflow用户

提问于 2017-09-25 22:59:42

回答 1查看 1.5K关注 0票数 1

我想在AWS lambda函数中使用Spark-sumit REST apis来提交作业。我已经查看了Spark-Jobserver，但看起来需要将其部署在\n Ec2实例中，但我希望使用Spark REST interface.Please建议使用AWS Lambda函数提交作业。

发布于 2017-09-25 23:30:07

您可以将步骤从lambda添加到EMR集群。该步骤可以是shell脚本、配置单元或spark作业。

帮助实现这一点的函数是

emr.addJobFlowSteps(params, function(err, data)

我正在添加EMR http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html上可用的api调用的链接。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46408357

复制

相似问题

问AWS lambda函数用于提交spark作业EN