hive.tez.container.size与tez.task.resource.memory.mb的区别

Question

有人能知道并向我解释一下Tez设置的区别吗？

hive.tez.container.size和tez.task.resource.memory.mb

谢谢。

Answer 1

hive.tez.container.size

此属性指定tez容器大小。通常这种属性的价值应该与纱线容器大小的yarn.scheduler.minimum-allocation-mb相同或小倍数(1或2倍)，并且不应超过yarn.scheduler.maximum-allocation-mb.的值。

通常情况下，不要将值高于每个处理器的内存，因为您希望每个容器有一个处理器，并且希望拆分多个容器。

您可以在Hortonworks社区答案这里上找到非常详细的答案和一个很好的架构图。

tez.task.resource.memory.mb

TEZ容器中已启动任务所使用的内存量。通常，这个值是在DAG中设置的，但如果不是，默认情况下，它将被设置为1024 MB。

DAG中的所有任务都有相同的大小，这有利于容器的重用，也有利于性能的提高。