确定Hadoop集群中减少时隙的数目

Question

使用Java，如何确定当前集群减少插槽的总数？(如果我能得到目前使用的插槽数量，那将是一种奖励。)

我的用例:我有一个Hadoop作业，它启动另一个Hadoop作业。对于第二份工作，我必须设置减速器的数量。这应该基于可用的插槽数量。此外，集群的大小可能会发生变化。

我正在使用Hadoop2.7.3。它通常运行在Amazon上，但我更喜欢只使用Hadoop的解决方案。

Answer 1

您可以使用Java客户端使用ResourceManager REST从纱线中请求集群度量。

响应将是一个JSON，包含集群上的总内存、分配内存、保留内存和可用内存以及vcore。

$ curl -G -k https://<resource-manager-host>:8090/ws/v1/cluster/metrics
{"clusterMetrics":      
{"appsSubmitted":999999,"appsCompleted":999999,"appsPending":0,"appsRunning":99,"appsFailed":99,"appsKilled":999,
 "reservedMB":0,"availableMB":99999999,"allocatedMB":9999999,
"reservedVirtualCores":0,"availableVirtualCores":9999,"allocatedVirtualCores":9999,
"containersAllocated":9999,"containersReserved":0,"containersPending":999,
"totalMB":9999999,"totalVirtualCores":99999,
"totalNodes":999,"lostNodes":9,"unhealthyNodes":9,"decommissioningNodes":0,"decommissionedNodes":99,"rebootedNodes":0,"activeNodes":999}}
$

不确定您所说的“插槽”是什么意思，因为您实际上可以在提交MR job时指定减速机容器大小。