我试图在中删除数据集中的副本,在Java中使用。我的数据集有三列。假设列的名称是name, timestamp, and score。名称是员工名称的字符串表示形式,而时间戳位于员工所做活动的长(时代表示)中。得分是代表员工得分的整数。
现在,假设我有以下数据集:
Name --> timestamp --> scores
John --> 1595239200000 --> 10
John --> 1595242800000 --> 10
Bob --> 1595246400000 --> 20
John --> 1595239200000 --> 10 注意,在上面的数据集中,第一行和第四行是相同的。
当我在上面的数据集上使用distinct()函数时,可以这样做
myDataset.distinct()我得到的结果是
Name --> timestamp --> scores
John --> 1595239200000 --> 10
John --> 1595242800000 --> 10
Bob --> 1595246400000 --> 20本例中的第四行被删除,这是预期的行为。
我想要的是将timestamp字段转换为yyyy-MM-dd格式,然后使用Name字段的组合删除重复项。因此,在原始数据集中,第一行、第二行和第四行的日期值相同,即名称= John的2020-07-20值。我只想用一行来表示名字= 'John‘。
因此,从上面的数据集中删除重复行后,如上面所解释的,结果数据集将变成
Name --> timestamp --> scores
John --> 1595239200000 --> 10
Bob --> 1595246400000 --> 20请注意,我没有任何限制只保留同一名称的第一个时间戳。只要所有的时间戳都属于同一日期,任何时间戳都会对我有效。
到目前为止,我尝试的是
Dataset<Row> duplicateRemovedDataset = myDataset
.dropDuplicates("Name", String.valueOf(functions.from_unixtime
(functions.col("timestamp").divide(1000), "yyyy-MM-dd")));但这让我产生了这个错误
User class threw exception: org.apache.spark.sql.AnalysisException:
Cannot resolve column name "from_unixtime((timestamp / 1000), yyyy-MM-dd)" among list of my column name我该怎么做呢?
或者在更一般的术语中,如何在数据集中调用dropDuplicates时调用自定义函数?
发布于 2020-07-20 20:00:28
您可以使用所需的日期格式创建一个新的column,并在所需的列上复制drop,如下所示
For
import static org.apache.spark.sql.functions.*;
Dataset<Row> resultDF = df.withColumn("date", to_date(to_timestamp(df.col("Timestamp").divide(1000)), "yyyy-MM-dd"));
resultDF.dropDuplicates("Name", "date")
.drop("date")
.show(false);For Scala
import org.apache.spark.sql.functions._
val resultDF = df.withColumn("date", to_date(to_timestamp(col("Timestamp") / 1000), "yyyy-MM-dd"))
resultDF.dropDuplicates("Name", "date")
.drop("date")
.show(false)输出:
+----+-------------+-----+
|Name|Timestamp |score|
+----+-------------+-----+
|Bob |1595246400000|20 |
|John|1595239200000|10 |
+----+-------------+-----+发布于 2020-07-20 20:00:10
试试这个:
val myDataset = Seq(("John","1595239200000",10),
("John", "1595242800000" ,10),
("Bob", "1595246400000" ,20),
("John", "1595239200000" ,10)
)
.toDF("Name", "timestamp","score")
myDataset.show()
+----+-------------+-----+
|Name| timestamp|score|
+----+-------------+-----+
|John|1595239200000| 10|
|John|1595242800000| 10|
| Bob|1595246400000| 20|
|John|1595239200000| 10|
+----+-------------+-----+
import org.apache.spark.sql.functions.{col, to_date, to_timestamp}
myDataset.withColumn("datestamp",to_date(from_unixtime($"timestamp" / 1000))).dropDuplicates("name","datestamp").show()
+----+-------------+-----+----------+
|name| timestamp|score| datestamp|
+----+-------------+-----+----------+
| Bob|1595246400000| 20|2020-07-20|
|John|1595239200000| 10|2020-07-20|
+----+-------------+-----+----------+https://stackoverflow.com/questions/63002055
复制相似问题