纱线容器尺寸与Tez容器管理

Question

我有一个15 TB左右纱线资源的集群。我试图通过Hive.My提交一个查询，纱线上的默认容器大小是4GB。映射器为该查询分配的值约为1000。我已经被分配了10 %的资源在我的纱线队列中。因此，在同一时间内，只会分配430个货柜。每个映射器总共分配一个容器。HDFS上的块大小为128 MB。如何选择查询。

Answer 1

您已经提到了内存设置，这听起来不错，因此优化查询的下一步步骤(因为您没有给它)是

• 另外，优化Tez容器
• 使您的HDFS输入文件近似于HDFS块的大小。
• 如果您的队列已满，请使用不同的队列。(SET tez.queue.name)
• 根据WHERE子句将您的Hive表划分到最有意义的列上。
• 确保数据存储为ORC w/ ZLib压缩。
• 如果可能的话使用LLAP