单节点风暴执行问题

Question

我们在单个节点开发服务器中配置了Storm，其中大多数配置设置为默认(不是本地模式)。仅在单个节点中运行的风暴式nimbus、主管和工作人员也配置了UI。

AFAIK的并行性和配置因拓扑而异。我认为只有尝试和错误的方法才能找到正确的并行性和配置。

因此，为了找到最好的并行性，我们已经开始测试我们的Storm拓扑，在一个节点上使用不同的配置。

奇怪的是，结果是出乎意料的：

我们的拓扑处理来自HDFS目录的xml文件流。有一个喷口(平行度总是1)和四个螺栓。

• 单身工人

无论拓扑并行性如何，我们都得到了几乎相同的性能结果(数据处理率)。

• 多名工人

无论拓扑并行性如何，我们直到某个时候才能获得与单个工作人员相似的性能(大多数情况下只有10分钟)。

但是在这个完整的拓扑被重新启动之后，没有任何错误跟踪。

我们观察到，在20分钟内处理单个工人的数据需要90分钟，而5名工作人员具有相同的并行性。拓扑恢复7次，有5名工人。CPU使用率相对较高。(其他人也曾面临这种拓扑重新启动问题http://search-hadoop.com/m/LrAq5ZWeaU，但没有答案)

在对多个配置进行测试后，我们发现并行度较低的单个工作人员(每个螺栓有2个或3个实例)的工作效率优于高并行度或更多的工作人员。

理想情况下，Storm拓扑的性能应该更好，没有更多的工作人员/并行性。

很明显，这条规则在这里不太适用。

为什么我们不能在一个节点中设置多个工作人员？

在单个节点中可以运行的工作人员的最大no是多少？

什么是暴风配置的变化，是需要规模的性能？(我试过nimbus.childopts和worker.childopts)

Answer 1

如果在一个节点上CPU使用率很高，那么当您增加并行性时，就不会获得更好的性能。如果您确实增加了并行性，那么对于一定数量的CPU周期就会有更大的争用。不知道您的特定拓扑，我只能建议您寻找方法来减少CPU的使用，通过您的螺栓和喷口。只有这样，你才有理由增加更多的螺栓和喷口实例。