文章/答案/技术大牛

发布

社区首页 >问答首页 >如何使用spark运算符设置内存和CPU资源限制？

问如何使用spark运算符设置内存和CPU资源限制？
EN

Stack Overflow用户

提问于 2020-05-04 22:28:23

回答 1查看 397关注 0票数 1

我是spark-operator的新手，我很困惑如何在YAML文件中设置资源请求和限制。例如，在我的例子中，我请求512m的内存用于驱动程序包，但是限制呢，它是无界的？

spec:
  driver:
    cores: 1
    coreLimit: 200m
    memory: 512m
    labels:
      version: 2.4.5
    serviceAccount: spark

规格:驱动程序:内核:1个coreLimit: 200m内存: 512m标签:版本: 2.4.5 serviceAccount: spark

发布于 2020-05-04 23:54:29

最好在定义yaml文件时设置限制。如果您不这样做，您将冒着按照此doc使用节点上的所有资源的风险，因为没有上限。

驱动程序和执行器pods的内存限制由Spark中的Kubernetes调度程序后台在内部设置，并计算为spark的值。{ driver | executor }.memory+内存开销。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/61594588

复制

相似问题

问如何使用spark运算符设置内存和CPU资源限制？EN