Yarn:如何让Yarn利用更多内存和vcore

Question

我们有一个由Yarn管理并运行hadoop的5节点群集

1个主名称节点8个vcore和24 and内存

4个数据节点，每个节点8个vcore和24 and内存

当我查看下图中突出显示的ui上的Yarn配置时，它仅使用16 it和6个vcore

​

​

我们的应用程序使用了所有的16 2gb内存，所以想要增加内存，因为它是可用的(24 -2 2gb的操作系统，因此可用是22 2gb)

我需要在哪里配置这个22 do而不是16 do？

研究发现yarn-site.xml可能是合适的地方，因此继续更新并重新启动yarn，但它仍然显示为16 it

由于我们是Yarn的新手，如果社区中的任何专家能提供帮助，我将不胜感激

这是yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdfs-name-node</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>6</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
    </property>

    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>500</value>
    </property>

    <property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>512</value>
    </property>

    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:8039</value>
    </property>

    </configuration>

Answer 1

你的理解是完全错误的。根据您的附图，yarn使用的总内存为64 24，VCores为24。

图像中突出显示的部分是由管理员为租户设计的调度程序内存和vcore。

如果您是调度程序队列的一部分，则最多可以使用16 GB和6个Vcore。

Answer 2

根据镜像，您的集群容量为64 24和24个vcore。

红色圆圈(实际上是椭圆形；)显示了为您的容量调度器配置的资源。

我需要在哪里配置这个22 of而不是16 of？

您需要配置您的队列(前提是您具有适当的权限)。有关更多信息，请阅读this