Spark Streaming CPU利用率低

Question

在我的Spark Streaming作业中，CPU未得到充分利用(仅5-10%)。

它从Kafka获取数据并发送到DynomoDB或thridparty端点。

假设端点不是瓶颈，是否有任何建议的作业可以更好地利用cpu资源。

Answer 1

Kafka的并行度取决于主题的分区数量。

如果一个主题中的分区数量很少，那么您将无法在spark streaming集群中高效地进行并行。

首先，增加主题的分区数量。

如果您无法增加Kafka topic的分区，请在DStream.foreachRdd后重新分区，以增加分区数量。

这将使数据分布在所有节点上，并且效率更高。