火花执行器芯未在纱线资源管理器中显示

Question

纱线资源管理器没有显示火花应用程序的全部核心。例如，如果我们用300个执行器和执行器芯来完成火花作业，那么理想情况下，火花有900个芯，但在纱线资源管理器中只显示300个芯。

这仅仅是一个显示错误，还是Yarn没有看到其余600个核心？

环境: HDP2.2计划程序:容量-调度程序火花: 1.4.1

Answer 1

设置

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

在capacity-scheduler.xml中

纱线运行的容器比分配的芯多，因为默认情况下使用的是DefaultResourceCalculator。它只考虑记忆。

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

使用DominantResourceCalculator，它同时使用cpu和内存。

您可以阅读更多关于DominantResourceCalculator 这里的内容。