首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在火花数据集中保留除函数之外的顺序

问如何在火花数据集中保留除函数之外的顺序
EN

Stack Overflow用户
提问于 2018-04-03 07:30:48
回答 1查看 304关注 0票数 0

我必须对spark数据集应用一些限制,并且必须创建spark数据集的子集,并且需要从该数据集中提取一行。我通过使用dataset的除了函数和限制函数实现了这个逻辑。这里的问题是,当我使用时,数据集的顺序已被更改。就我的逻辑而言,维持秩序是很重要的。

例如:我的数据集是:有3行的数据集

Chocolates IceCreams SoftDrinks

我想获取Icecreams,当我申请限制,除了我得到我的子集为

SoftDrinks IceCreams

它将给我提供SoftDrinks(将子集转换为Java并获取列表的第一个元素)

还是有任何方法通过只传递索引来获取数据集中的行??类似于dataset.get(0)。

EN

回答 1

Stack Overflow用户

发布于 2018-04-03 09:20:34

通常情况下,您不能使用expcept保留订单,因为这是一种需要洗牌的操作。在某些情况下(小引用),您可以使用宽频连接或布卢姆过滤器来达到类似的效果。

但是,从排序的角度考虑Datasets是一个巨大的错误,除非使用orderBy显式执行订单。一般来说,Dataset和关系一样,是无序的。所以如果

就我的逻辑而言,维持秩序是很重要的。

你看错工具了。

相同:

通过只传递索引来获取数据集中的行?

是不可能的,因为Dataset没有索引的概念。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49624585

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档