我想用Storm计算由int id,int value组成的传入元组的平均值。如您所见,我不能使用字段分组来对数据进行分区。我需要一个拓扑架构来分布这个计算,我想的唯一方式是在每个螺栓实例中进行小批量处理,然后聚合。
我有点理解三叉树是在storm中进行小批量处理的合适解决方案。
当您不能根据属性对数据进行分区时,使用std-devs、std-devs、std-devs等方法计算全局分析的最佳实践是什么?有没有拓扑示例?
发布于 2013-09-05 16:50:26
您可以轻松计算流统计数据,如使用Trident-ML计算的平均值、标准差和计数。a section in the README解释了如何在一个三叉树拓扑中计算这些统计数据。
希望能有所帮助。
https://stackoverflow.com/questions/18130937
复制相似问题