如何在spark python中过滤删除空值

文章/答案/技术大牛

发布

1回答

python、pandas、spark-streaming、aws-glue

我试图过滤掉列中的null值，如果它大于1，则进行计数。col("_corrupt_record")), badRows = df.filter("_corrupt_record isNotnull") 如果_corrupt_record列中有数据，正确的过滤方法是什么

浏览 18提问于2020-06-23得票数 0

回答已采纳

1回答

当空值不是预期值时，Spark filter函数会过滤它

scala、apache-spark、apache-spark-sql

spark filter函数在不应该过滤空值的时候过滤空值。我的条件$"test" =!= "T"不应该删除空行。val seq = Seq((null, "T"),(null, "F"),(null, "F"),("F", "F"),("T", "C")) import

浏览 31提问于2021-04-23得票数 0

回答已采纳

1回答

我有下面的Java Spark数据集/dataframe。 Col_1 Col_2 Col_3 ...如果第二个记录为NULL，则必须删除NULL (如COl_1 = A)，如果有多个有效值(如Col_1 =B)，则每次只应保留一个有效的Col_2 =2和Col_3 =2。如果只有一条记录为null，如Col_1 = C，则必须保留该记录预期输出： Col_1 Col_2 Col_3 ...C 1 NULL 到目前为止，我尝试了以下内容：我尝试将group

浏览 17提问于2020-11-25得票数 0

回答已采纳

1回答

将Spark DataFrame过滤器与列名列表一起使用

scala、apache-spark、apache-spark-sql

我必须使用List[String]过滤Spark DataFrame中的非空列值 val keyList = List("columnA", "columnB", "columnC", "columnD对于名为key的单个列，语法应为： val nonNullDf = df.filter(col("key").isNotNull) 我的问题是如何在前面的过滤器中使用keyList？

浏览 16提问于2021-04-19得票数 1

回答已采纳

1回答

当列名为空时，如何使用pyspark筛选器？

pyspark、pyspark-sql

我的吡火花数据框架有几个列，其中有几个列是空的，例如，入站交付(中间是便条空间)。当我试图使用.filter进行比较时，我得到了一个错误。我不想重新定义模式，删除空白，因为我有一个巨大的表，几乎所有的表都有相同的名称空间。是否有一种快速使用名称为空的筛选器的方法？dfjoin.where (‘入站Delivery=0090043373’).show()~\Deskto

浏览 0提问于2019-06-12得票数 1

1回答

如何使用Pyspark从mongodb中仅提取特定行？

apache-spark、pyspark、apache-spark-sql、spark-streaming

我正在从mongodb集合中提取数据，并使用Spark python代码将其写入bigquery表。下面是我的代码片段： .format("com.mongodb.spark.sql.DefaultSource")\ .option("uri","mongodb_url但我只想提取满足条件的文档(如sql查询中的where条件)。我发现的一种方法是读取dataframe中

浏览 1提问于2021-02-18得票数 0

1回答

在Python代码中获取Azure数据砖块的实例

apache-spark、azure-databricks

我正在开发一个python包，它将部署到databricks集群中。我们经常需要引用python代码中的"spark“和"dbutils”对象。我们可以使用“星星之火”(如spark.sql())在笔记本中轻松地访问这些对象。如何在包中的python代码中获得spark实例？

浏览 0提问于2019-03-22得票数 1

回答已采纳

1回答

如何在拼图文件中使用K-means

scala、apache-spark、k-means、parquet

我想学习如何在Spark上使用K-Means算法。我有一个镶木文件，我想用k-means对它进行分析。如何让spark只分析特定的列？如何从行中删除空值？有没有人能写一段简单的代码来教你怎么做呢？

浏览 0提问于2019-09-16得票数 1

1回答

基于可用值的多列Scala Spark数据帧过滤器

scala、apache-spark、apache-spark-sql

我需要用下面的条件过滤一个数据帧。我有2列4Wheels(斯巴鲁，丰田，通用，空/空)和2Wheels(雅马哈，哈雷，印度，空/空)。我必须过滤4Wheels的值(斯巴鲁，丰田)，如果4Wheels包含空/空，那么过滤2Wheels的值(Yamaha，Harley) 我在不同的例子中找不到这种类型的过滤。我是spark</e

浏览 12提问于2021-08-19得票数 0

1回答

创建空的dataframe Java Spark

java、dataframe、apache-spark

关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。

浏览 27提问于2020-07-14得票数 0

回答已采纳

1回答

为什么filter默认删除spark* dataframe上的空值？*

sql、apache-spark、null、spark-dataframe

包含null值的基本scala集合上的filter具有以下(且相当直观的)行为：res0: List[String] = List(b, null)scala> val df = List= "d").sho

浏览 27提问于2018-03-05得票数 9

回答已采纳

5回答

Spark Dataframe验证拼接写入的列名

apache-spark、pyspark、apache-spark-sql、spark-streaming、parquet

但是，一些JSON事件在键中包含空格，我希望在将其转换为Parquet之前记录和过滤/删除数据帧中的此类事件，因为;{}()\n\t=在拼图方案(CatalystSchemaConverter)中被视为特殊字符，如中所列1下面因此不应允许在列名中使用。如何在Dataframe中对列名执行此类验证，并完全删除此类事件，而不会导致Spark Streaming作业出错。1Spark的CatalystSchema

浏览 188提问于2016-07-05得票数 17

1回答

从Spark* RDD中删除空分区*

hadoop、apache-spark、pyspark、rdd

我正在从HDFS获取数据，并将其存储在Spark RDD中。Spark根据HDFS块的数量创建分区的数量。这会导致大量的空分区，这些分区也会在管道过程中被处理。为了消除这种开销，我想从RDD中过滤出所有空分区。我知道合并和重新分区，但不能保证所有的空分区都会被删除。有没有其他的办法来解决这个问题？

浏览 2提问于2015-10-22得票数 10

2回答

Spark 2.0，DataFrame，筛选字符串列，不等运算符(!==)已弃用

apache-spark、spark-dataframe

我正在尝试过滤DataFrame，只保留那些具有特定字符串列的行不为空。df.filter($"stringColumn" !== "")如何检查Spark > 2.0中的字符串列值是否为空？

浏览 1提问于2016-10-20得票数 22

回答已采纳

2回答

scala、date、apache-spark、apache-spark-sql

如果输入数据的格式不同，我如何在Spark中按日期进行过滤。dataframe.filter(to_date(from_unixtime(unix_timestamp(col(columnName),"dd-M-yy"))).gt(lit(filteredDate))) 即使有数据，过滤后的数据也是空的

浏览 1提问于2017-03-30得票数 0

点击加载更多