问dropDuplicates in SparkR
EN

Stack Overflow用户

提问于 2016-05-02 04:53:31

回答 1查看 298关注 0票数 1

SparkR是否包含dropDuplicates函数(根据特定列删除重复行)？

我在SOF中遇到了这个回答。但是，我们没有使用GroupBy，而是在SparkR中有一个dropDuplicates函数吗？

回答已采纳

发布于 2016-05-02 07:42:12

要做到这一点，所有的列，它是不同的

distinct(x)

或

unique(x)

要做到这一点，“基于特定的列”，正如您所说的，您最好的选择是GroupBy，因为星火无法决定保存哪一条“不完全不同”的记录。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/36975200

复制

相似问题

问dropDuplicates in SparkREN