我必须对spark数据集应用一些限制,并且必须创建spark数据集的子集,并且需要从该数据集中提取一行。我通过使用dataset的除了函数和限制函数实现了这个逻辑。这里的问题是,当我使用时,数据集的顺序已被更改。就我的逻辑而言,维持秩序是很重要的。
例如:我的数据集是:有3行的数据集
Chocolates IceCreams SoftDrinks
我想获取Icecreams,当我申请限制,除了我得到我的子集为
SoftDrinks IceCreams
它将给我提供SoftDrinks(将子集转换为Java并获取列表的第一个元素)
还是有任何方法通过只传递索引来获取数据集中的行??类似于dataset.get(0)。
发布于 2018-04-03 09:20:34
通常情况下,您不能使用expcept保留订单,因为这是一种需要洗牌的操作。在某些情况下(小引用),您可以使用宽频连接或布卢姆过滤器来达到类似的效果。
但是,从排序的角度考虑Datasets是一个巨大的错误,除非使用orderBy显式执行订单。一般来说,Dataset和关系一样,是无序的。所以如果
就我的逻辑而言,维持秩序是很重要的。
你看错工具了。
相同:
通过只传递索引来获取数据集中的行?
是不可能的,因为Dataset没有索引的概念。
https://stackoverflow.com/questions/49624585
复制相似问题