Spark SQL语句

Question

如何在一个范围内找到薪水？下面是我的代码，用于查找10000到20000年间的薪资：

empData.where($"Salary" > 10000 && $"Salary" < 20000).orderBy($"Salary".desc).show()

我认为应该有一个使用between的替代解决方案。如何使用between方法？

Answer 1

我相信在两者之间有其他的解决方案。

就像这样：

empData.where($"Salary".between(10000, 20000))

Answer 2

如果希望在之间使用，可以使用sparkSQL并运行逻辑作为查询。例如：

empData.createOrReplaceTempView("empDataTempTable")

val filteredData = spark.sql("select * from empDataTempTable where salary between 10000 and 20000 order by salary desc")

 filteredData.show()

对于列中的随机查找和筛选过程，sparkSQL和DataFrame提供了几乎相同的性能结果。

Answer 3

empData.filter(col("Salary").between(10000 ,20000)).orderBy(col("Salary").desc());

或

empData.where(col("Salary").between(10000 ,20000)).orderBy(col("Salary").desc());