首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >根据Java列上的自定义函数在Spark中删除重复行

问根据Java列上的自定义函数在Spark中删除重复行
EN

Stack Overflow用户
提问于 2020-07-20 18:54:12
回答 2查看 750关注 0票数 0

我试图在中删除数据集中的副本,在Java中使用。我的数据集有三列。假设列的名称是name, timestamp, and score。名称是员工名称的字符串表示形式,而时间戳位于员工所做活动的长(时代表示)中。得分是代表员工得分的整数。

现在,假设我有以下数据集:

代码语言:javascript
复制
Name --> timestamp       -->  scores 
John --> 1595239200000   -->  10  
John --> 1595242800000   -->  10
Bob  --> 1595246400000   -->  20
John --> 1595239200000   -->  10  

注意,在上面的数据集中,第一行和第四行是相同的。

当我在上面的数据集上使用distinct()函数时,可以这样做

代码语言:javascript
复制
myDataset.distinct()

我得到的结果是

代码语言:javascript
复制
Name --> timestamp       -->  scores 
John --> 1595239200000   -->  10  
John --> 1595242800000   -->  10
Bob  --> 1595246400000   -->  20

本例中的第四行被删除,这是预期的行为。

我想要的是将timestamp字段转换为yyyy-MM-dd格式,然后使用Name字段的组合删除重复项。因此,在原始数据集中,第一行、第二行和第四行的日期值相同,即名称= John的2020-07-20值。我只想用一行来表示名字= 'John‘。

因此,从上面的数据集中删除重复行后,如上面所解释的,结果数据集将变成

代码语言:javascript
复制
Name --> timestamp       -->  scores 
John --> 1595239200000   -->  10  
Bob  --> 1595246400000   -->  20

请注意,我没有任何限制只保留同一名称的第一个时间戳。只要所有的时间戳都属于同一日期,任何时间戳都会对我有效。

到目前为止,我尝试的是

代码语言:javascript
复制
Dataset<Row> duplicateRemovedDataset = myDataset
                .dropDuplicates("Name", String.valueOf(functions.from_unixtime
                        (functions.col("timestamp").divide(1000), "yyyy-MM-dd")));

但这让我产生了这个错误

代码语言:javascript
复制
User class threw exception: org.apache.spark.sql.AnalysisException: 
Cannot resolve column name "from_unixtime((timestamp / 1000), yyyy-MM-dd)" among list of my column name

我该怎么做呢?

或者在更一般的术语中,如何在数据集中调用dropDuplicates时调用自定义函数?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-07-20 20:00:28

您可以使用所需的日期格式创建一个新的column,并在所需的列上复制drop,如下所示

For

代码语言:javascript
复制
import static org.apache.spark.sql.functions.*;
Dataset<Row> resultDF = df.withColumn("date", to_date(to_timestamp(df.col("Timestamp").divide(1000)), "yyyy-MM-dd"));

resultDF.dropDuplicates("Name", "date")
        .drop("date")
        .show(false);

For Scala

代码语言:javascript
复制
import org.apache.spark.sql.functions._
val resultDF = df.withColumn("date", to_date(to_timestamp(col("Timestamp") / 1000), "yyyy-MM-dd"))

resultDF.dropDuplicates("Name", "date")
  .drop("date")
  .show(false)

输出:

代码语言:javascript
复制
+----+-------------+-----+
|Name|Timestamp    |score|
+----+-------------+-----+
|Bob |1595246400000|20   |
|John|1595239200000|10   |
+----+-------------+-----+
票数 1
EN

Stack Overflow用户

发布于 2020-07-20 20:00:10

试试这个:

代码语言:javascript
复制
val myDataset = Seq(("John","1595239200000",10),           
              ("John", "1595242800000" ,10),
             ("Bob", "1595246400000" ,20),
             ("John", "1595239200000" ,10)
            )
.toDF("Name", "timestamp","score")
myDataset.show()

+----+-------------+-----+
|Name|    timestamp|score|
+----+-------------+-----+
|John|1595239200000|   10|
|John|1595242800000|   10|
| Bob|1595246400000|   20|
|John|1595239200000|   10|
+----+-------------+-----+

import org.apache.spark.sql.functions.{col, to_date, to_timestamp}

myDataset.withColumn("datestamp",to_date(from_unixtime($"timestamp" / 1000))).dropDuplicates("name","datestamp").show()

+----+-------------+-----+----------+
|name|    timestamp|score| datestamp|
+----+-------------+-----+----------+
| Bob|1595246400000|   20|2020-07-20|
|John|1595239200000|   10|2020-07-20|
+----+-------------+-----+----------+
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63002055

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档