一、冷热数据分离1、热点数据相对冷数据更小,可以配置低一点的heap-size,比如26G,冷数据配置31G 。2、在业务低峰期把热数据迁移到冷节点。
mapreduce.map.java.opts -Xmx4096M Larger heap-size for child jvms of maps. mapreduce.reduce.java.opts -Xmx4096M Larger heap-size for child jvms of reduces.
BUILD-MAX-HEAP.A/ 1 A:heap-size D A:length 2 for i D bA:length=2c downto 1 3 MAX-HEAPIFY.A
Hadoop YARN mapreduce.map.memory.mb 1536 每个Map Task需要的内存量 mapreduce.map.java.opts -Xmx1024M map子jvm的最大 heap-size mapreduce.reduce.memory.mb 3072 每个reduce需要的最大内存 mapreduce.reduce.java.opts -Xmx2560M reduces子jvm的最大 heap-size
Hadoop YARN mapreduce.map.memory.mb 1536 每个Map Task需要的内存量 mapreduce.map.java.opts -Xmx1024M map子jvm的最大 heap-size mapreduce.reduce.memory.mb 3072 每个reduce需要的最大内存 mapreduce.reduce.java.opts -Xmx2560M reduces子jvm的最大 heap-size