如何在kubernetes集群中自动缩放spark作业
如何在kubernetes集群中自动缩放spark作业
提问于 2018-12-03 23:19:23
需要关于运行spark/kubernetes的建议。我有Spark 2.3.0，它带有原生kubernetes支持。我正在尝试使用spark-submit运行spark作业，参数master为“kubernetes-apiserver:port”和其他必需的参数，如spark image和其他as mentioned here。如何开启弹性伸缩/根据负载增加工作节点数量？有没有我可以遵循的示例文档？一些基本的例子/文档会很有帮助。或者有没有其他方法可以在kubernetes上部署spark，帮助我实现基于负载的自动扩展。
回答 1
Stack Overflow用户
发布于 2019-06-16 20:28:51
基本上，正如您在future work after 2.3.0中看到的那样，Apache Spark 2.3.0并不正式支持K8S集群上的自动缩放。
顺便说一句，它仍然是一个正在开发中的功能，但你可以尝试一下Spark2.2的k8s分支
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53596651
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号