星星之火:一起数两个字段

Question

我试着用星火计算一些参数。我用了单词计数的例子。在本例中，我们可以计算一个单词，但我想知道如何同时计算两个字段。

以下是我想做的事：

输入文件

{
    "redundancy":1,
    "deviceID":"dv1"
}
{
    "redundancy":1,
    "deviceID":"dv2"
}
{
    "redundancy":2,
    "deviceID":"dv1"
}
{
    "redundancy":1,
    "deviceID":"dv1"
}
{
    "redundancy":2,
    "deviceID":"dv5"
}

输出文件

{
    "redundancy":1,
    "count":3,
    "nbDevice":2
}
{
    "redundancy":2,
    "count":2,
    "nbDevice":2
}

我想知道是否已经有这个用例的例子，或者如果您有任何文档或链接，我将非常感谢。

Answer 1

你可以用对作为钥匙。

解决方案可以如下所示：

rdd.map(record => (record.firstField, record.secondField) -> 1)
   .reduceByKey(_ + _)