首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用mapPartitions实现下面的映射逻辑?

如何使用mapPartitions实现下面的映射逻辑?
EN

Stack Overflow用户
提问于 2015-12-10 06:30:15
回答 1查看 172关注 0票数 0

这是我使用map编写的scala代码,我需要使用mapPartitions编写这2行代码。数据在底部。

代码语言:javascript
复制
val deckofcardsRDD=sc.textFile("/user/root/decks/deckofcards.txt")
deckofcardsRDD.map(card => card.split("\\|")(2)).countByValue().toList.sortBy(_._1).foreach(println)

输出

(2,4) (3,4) (4,4) (5,4)

数据

黑色球杆2黑心2红心2红心2红心4红心2红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻4红钻

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-12-10 06:47:47

我能想出答案。

这是代码片段。

代码语言:javascript
复制
val deckofcardsRDD=sc.textFile("/user/root/decks/deckofcards.txt", 13)
deckofcardsRDD.mapPartitions(card => card.map(item => item.split("\\|")(2))).countByValue().toList.sortBy(_._1).foreach(println)
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34195164

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档