RDD API Python如何计数

Question

我有一个包含如下元素的文件：

1,1_id，卢卡斯，10岁

2,2_is，皮埃尔，30岁

2,3_id，卢卡斯，20岁

我想要这样的结果：

(卢卡斯，30)，(皮埃尔，30)

我只需要使用RDD方式。

你有什么想法吗？

非常感谢

Answer 1

这很容易。

# get last two elements
def f(s):
    s_list = s.split(',')
    return (s_list[2], int(s_list[3]))

r = sc.textFile('YOUR_FILE').\
        map(lambda line:f(line)).\
        reduceByKey(lambda x, y: x + y)